Kimi-K3 기술 보고서 [PDF]

Hacker News 의견들 월 추론비로 수백만 달러를 쓰는 대기업이라면 약 600만 달러짜리 GB300 랙을 직접 구매할 만함 20.7TB 메모리 중 MXFP4 모델 전체를 올리는 데 10%도 필요하지 않고, 총 HBM 대역폭은 576TB/s라 평균 10만 토큰 문맥의 에이전트 작업 6,000개 이상을 약 30토큰/s로 병렬 실행할 수 있음 연간 감가상각과 전기료를 150만 달러, 평균 가동률을 50%로 잡으면 출력 토큰 100만 개당 0.6달러 미만이며 데이터도 사내에 남고 호스팅 서비스보다 10배 이상 저렴해짐 개방형 가중치 모델이 계속 발전하고 AI가 지속될 것이라 믿는 회사에는 랙 직접 구매를 결정할 확실한 근거가 처음 생긴 셈임 10만7천 달러 서버에서 Kimi 2.8을 실행해 대부분의 작업에서 초당 약 5만 토큰 이상을 처리하고 있음 이미 지난해 Claude와 Gemini에 지출했던 토큰 비용보다 더 많이 절약함 운영을 맡을 DevOps 인력 2~3명을 고용하면 40만~70만 달러가 추가되고, 장애와 유지보수도 모두 회사 책임이 됨 그래도 비공개여야 하는 데이터에는 호스팅 LLM을 신뢰하지 않음 액체 냉각과 초고밀도 전력 설비를 갖춘 공간도 필요하므로 일반적인 코로케이션 시설이나 사내 서버실로는 감당하기 어려움 600만 달러짜리 랙과 기반 시설을 살 수 있는 회사라면 적용될 상업용 라이선스 조건까지 고려해야 해서 계산이 단순하지 않음 모델과 함께 여러 오픈소스 기반 시설도 공개함 https://github.com/MoonshotAI/MoonEP https://github.com/kvcache-ai/AgentEnv https://github.com/MoonshotAI/FlashKDA 개방형 소스와 가중치 모델을 AI 발전을 늦추는 행위로 보는 건 납득하기 어려움 오히려 발전을 늦추는 행위라고 봤음 다른 연구소가 따라잡을 수 있는 건 최첨단 연구소의 모델을 증류하면서 그 연구소가 다음 세대에 재투자할 수익 일부를 빼앗기 때문임 완전한 가속을 원한다면 양대 연구소를 국유화하고 재귀적 자기개선(RSI)에 도달할 때까지 Manhattan Project처럼 폐쇄해야 한다고 봤지만, 답글의 반론을 보고 관점이 크게 바뀌었음 Kimi-K3 라이선스는 https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE에서 확인할 수 있음 연속된 12개월 동안 계열사 합산 매출...