망고부스트의 야심 "독자 설계 하드웨어로 AI 추론 서비스까지"

최효경 기자 입력 2026.10.12 15:23 AI 추론 서비스 첫 공개⋯LLMBoost·DPU·스토리지 통합 "동일 AMD MI355X서 GLM-5.3 처리량 2.8배" 효율성 강조 [아이뉴스24 최효경 기자] 김장우 망고부스트 대표는 "망고부스트는 네오클라우드 회사를 넘어선 AI 팩토리 회사로, 전세계에서 유일하게 독자 설계한 하드웨어를 기반으로 서비스까지 바로 연결할 수 있는 기업"이라며 "이제 고객에게 바로 가는 서비스를 시작한다"라고 말했다.김장우 망고부스트 대표가 12일 열린 신규 서비스 론칭 간담회에서 발표하고 있다. [사진=최효경 기자]김장우 대표는 12일 서울에서 열린 신규 서비스 출시 간담회에서 이같이 말했다. 그래픽서버장치(GPU) 서버를 구매해 가상화한 뒤 빌려주는 네오클라우드와 달리, 망고부스트는 직접 설계한 하드웨어와 소프트웨어를 묶어 직접 인공지능(AI) 서비스를 제공하는 것을 지향한다.그 첫번째 상품이 이날 공개한 '망고 인퍼런스'다. 권동업 망고부스트 최고기술책임자(CTO)는 "망고 인퍼런스는 기업이나 개발자가 GPU 클러스터를 직접 구축·운영하지 않고도 공개형(오픈웨이트) 거대언어모델(LLM)을 응용프로그램 인터페이스(API)로 연결해 쓸 수 있게 한 AI 추론 서비스"라고 설명했다.망고 인퍼런스는 문맥 데이터를 나눠 관리하는 방식으로 효율성을 높였다는 게 권 COT의 설명이다. 그는 "긴 문맥을 처리할 때 GPU 메모리와 서버 자원에만 의존하면 성능이나 비용 측면에서 비효율이 발생할 수밖에 없다"며 "LLM부스트(Boost)가 GPU 유휴 시간을 줄이고, 데이터처리장치(DPU)와 스토리지가 길어진 문맥 데이터를 나눠 관리함으로써, 같은 장비로 더 많은 요청을 처리할 수 있다"고 강조했다. GPU를 빌려주는 대신, 모델 운영을 맡는다 핵심은 단순히 GPU를 빌려주는 서비스가 아니라, 기업이 AI 모델을 실제 서비스에 붙이고 운영하는 과정을 대신하는 것이다.권 CTO는 "오픈웨이트 모델을 망고부스트 자체 인프라에 탑재해 API 형태로 제공하는 것"이라며 "개발자는 망고 인퍼런스에서 API 키를 발급받아 기존 애플리케이션이나 AI 에이전트에 연결하면 된다"고 말했다.망고부스트는 모델별 추론 엔진 최적화, GPU 자원 배분, 요청량 변화에 따른 서버 운영을 담당한다. 권 CTO는 "지난 한 달간 한국·일본·미국·싱가포르에서 테스트를 거친 뒤 이날 정식 유료 서비스를 시작했다"고 설명...