llama.cpp: 내 컴퓨터에서 실행하는 오픈소스 AI

llama.cpp는 API 키·텔레메트리·사용량 제한 없이 AI 모델을 실행하고, 모델과 대화 데이터를 컴퓨터 안에 유지하는 오픈소스 로컬 런타임임 개인용 노트북부터 클러스터까지 같은 바이너리와 모델을 사용하며, 여러 GPU·CPU 환경에 맞춘 수작업 최적화 커널을 제공함 llama serve와 pi-llama를 이용하면 Pi가 로컬 모델을 자동 탐색해 별도 설정이나 API 키 없이 코딩 에이전트를 실행할 수 있음 Qwen 3.6, Gemma 4, GPT-OSS, Gemma 3를 안내하며 멀티모달 추론, 에이전트 작업, 함수 호출, 도구 사용 등을 지원함 파일과 요청이 컴퓨터 밖으로 나가지 않아 모델 실행과 코딩 작업을 로컬 환경에서 처리할 수 있음 데이터가 컴퓨터에 머무는 로컬 런타임 llama.cpp는 AI 모델을 전적으로 사용자 컴퓨터에서 실행하는 오픈소스 로컬 런타임임 API 키와 텔레메트리가 없고 사용량 제한도 적용되지 않으며, 모델과 대화 데이터의 소유권을 사용자가 유지함 다음 명령으로 설치할 수 있음 curl -LsSf https://llama.app/install.sh | sh Pi와 로컬 코딩 에이전트 연동 llama serve로 모델 서버를 띄우고 pi-llama 플러그인을 설치하면 Pi가 로컬 모델을 자동 탐색함 별도 설정이나 API 키가 필요 없고, 파일은 컴퓨터에 남으며 요청도 외부로 전송되지 않음 # 1. 모델 제공 llama serve # 2. pi-llama 플러그인 설치 pi install git:github.com/huggingface/pi-llama # 3. Pi 실행 pi 노트북부터 클러스터까지 지원 개인용 노트북부터 클러스터까지 보유한 하드웨어에서 실행할 수 있음 모든 GPU와 CPU에서 같은 바이너리와 모델을 사용하며, 각 환경에 맞춘 수작업 최적화 커널을 제공함 실행 가능한 모델 Qwen 3.6 Alibaba의 차세대 네이티브 멀티모달 추론 모델임 Dense와 MoE 변형을 제공하며, 코딩과 비전 작업에서 훨씬 큰 모델에 견줄 수 있음 Gemma 4 Gemini 3 기술로 구축된 Google의 오픈 모델임 멀티모달 추론과 에이전트 워크플로를 지원하고 140개 이상의 언어를 다룸 GPT-OSS GPT-2 이후 OpenAI가 처음 공개한 오픈 가중치 모델임 추론, 에이전트 작업, 개발자 활용을 위해 만들어졌으며 함수 호출과 도구 사용을 지원함 Gemma 3 Gemini 기술...