Mozilla의 LLM 비용 관리 솔루션: any-llm-gateway 오픈소스 공개

2 weeks ago 8

Mozilla AI가 LLM(대형 언어 모델) 사용 시 발생하는 비용 폭증과 혁신 억제 문제를 해결하기 위해 오픈소스 프록시 서버 'any-llm-gateway'를 공개했습니다. 이는 기존 any-llm 라이브러리를 기반으로 예산 관리, API 키 관리, 사용량 분석 기능을 강화한 프로덕션급 도구입니다.

핵심 기능:

스마트 예산 관리: 공유 예산 티어를 설정해 여러 사용자가 공동으로 활용. 일/주/월 단위 자동 리셋, 강제 적용 또는 추적 선택 가능.
유연한 API 키 시스템: 마스터 키(신뢰 서비스용)와 가상 키(만료/메타데이터 설정, 활성화/폐기 가능) 지원. 사용자별 지출 자동 추적.
완전한 사용량 분석: 요청별 토큰 수, 비용, 메타데이터 기록. 사용자 지출 보고 및 비용 배분 지원.

실용성:

OpenAI 호환 API를 제공하며, provider:model 형식(예: openai:gpt-4o-mini)으로 모델 지정. 스트리밍과 자동 토큰 추적 포함. Docker로 간단 배포 가능하며, YAML/환경 변수 설정과 Kubernetes 프로브 지원으로 프로덕션 환경에 적합.

이 도구는 SaaS 요금제 구현, 연구팀 관리 등에 유용하며, 비용 통제와 혁신 균형을 강조합니다. 오픈소스로 누구나 자유롭게 사용·커스터마이징 가능.

Read Entire Article