로컬 우선 AI 비서 LocalGPT – Rust 기반, 지속 메모리 지원

9 hours ago 4

Rust로 개발된 로컬 실행형 AI 비서로, 인터넷 연결 없이 개인 기기에서 완전 동작하며 데이터가 외부로 전송되지 않음
단일 실행 파일 구조로 Node.js, Docker, Python 설치 없이 구동 가능하며, 약 27MB 크기의 경량 바이너리 형태
지속 메모리 시스템은 Markdown 기반 지식 저장소와 SQLite FTS5 및 semantic search를 통해 장기 기억과 검색 기능을 제공
CLI, 웹 UI, 데스크톱 GUI를 모두 지원하며, OpenAI·Anthropic·Ollama 등 다중 LLM 제공자와 호환
OpenClaw 포맷과 호환되어 SOUL, MEMORY, HEARTBEAT 파일을 활용한 자율 작업 수행이 가능함

개요

LocalGPT는 로컬 장치 중심의 AI 비서로, 지속적인 메모리와 자율 작업 기능을 갖춘 Rust 기반 애플리케이션
- 외부 서버 의존 없이 개인 기기에서 완전 실행
- OpenClaw 프로젝트에서 영감을 받아 호환성 유지
설치는 cargo install localgpt 명령으로 가능하며, GUI 포함 또는 헤드리스 모드로 선택 가능

주요 특징

단일 바이너리 구조로 Node.js, Docker, Python이 필요 없음
로컬 데이터 보존: 모든 메모리와 설정이 사용자의 기기 내에 저장
지속 메모리: Markdown 파일 기반의 지식 저장소를 사용하며, SQLite FTS5 및 sqlite-vec을 통한 빠른 검색과 의미 기반 검색 지원
자율 하트비트(heartbeat) 기능으로 백그라운드에서 작업 수행 가능
다양한 인터페이스: CLI, 웹 UI, 데스크톱 GUI 제공
다중 LLM 지원: Anthropic(Claude), OpenAI, Ollama 등과 연동 가능

작동 방식

메모리는 ~/.localgpt/workspace/ 디렉터리에 저장되며, 주요 파일 구성은 다음과 같음
- MEMORY.md: 장기 지식 저장
- HEARTBEAT.md: 자율 작업 큐
- SOUL.md: 성격 및 행동 지침
- knowledge/: 주제별 구조화된 지식 저장소
SQLite FTS5로 키워드 검색, sqlite-vec으로 로컬 임베딩 기반 의미 검색 수행

설정 및 CLI 명령

설정 파일은 ~/.localgpt/config.toml에 저장되며, 기본 모델·API 키·하트비트 주기·작업 시간대 등을 지정
주요 CLI 명령
- localgpt chat: 대화 세션 시작
- localgpt ask "질문": 단일 질의 실행
- localgpt daemon start: 백그라운드 데몬 실행
- localgpt memory search "query": 메모리 검색
- localgpt config init: 기본 설정 생성

HTTP API

데몬 실행 시 REST API 제공
- GET /health: 상태 확인
- POST /api/chat: 대화 요청
- GET /api/memory/search?q=<query>: 메모리 검색
- GET /api/memory/stats: 메모리 통계 조회

기술 스택

Rust, Tokio, Axum, SQLite (FTS5 + sqlite-vec) , fastembed, eframe 기반
Apache-2.0 라이선스 하에 공개되어 있으며, 약 93%의 코드가 Rust로 작성됨

기타 정보

GitHub에서 약 646개의 스타와 39개의 포크를 보유
블로그 글 *“Why I Built LocalGPT in 4 Nights”*에서 개발 과정과 커밋별 세부 내역을 공개
주요 기여자는 Yi Wang, Claude, objectkit, Ax73 등 4명으로 확인됨

Read Entire Article