llama.cpp: 내 컴퓨터에서 실행하는 오픈소스 AI

← 피드로

llama.cpp는 API 키·텔레메트리·사용량 제한 없이 AI 모델을 실행하고, 모델과 대화 데이터를 컴퓨터 안에 유지하는 오픈소스 로컬 런타임임 개인용 노트북부터 클러스터까지 같은 바이너리와 모델을 사용하며, 여러 GPU·CPU 환경에 맞춘 수작업 최적화 커…

원문 보기 ↗