‘AI 시장, 학습에서 추론으로’…랩큐, 추론 인프라 혁신 솔루션 2종 출시

[사진=랩큐 제공] LLM 응용서비스 전문기업 랩큐(LABQ)는 인공지능 추론 인프라의 비용 구조를 근본적으로 개선하는 GPU 메모리 최적화 엔진 '파레토(Pareto)'와 FPGA 기반 LLM 검색 가속기 '큐레이터(Qrator)'를 동시에 출시했다고 20일 밝혔다. 인공지능 시장의 무게중심은 모델을 만드는 '학습'에서, 만들어진 모델로 서비스를 운영하는 '추론'으로 빠르게 이동하고 있다. 서비스 사용자가 늘고 문맥이 길어질수록 추론 비용은 기하급수적으로 증가하며, GPU 증설과 전력·상면 확보가 AI 도입 기업의 최대 부담으로 떠올랐다. 랩큐가 이번에 내놓은 두 솔루션은 각각 'GPU 메모리'와 '검색 가속'이라는 추론 인프라의 두 핵심 병목을 정면으로 겨냥한다. 먼저 파레토는 LLM 추론 과정에서 GPU 메모리를 폭증시키는 주범인 KV 캐시를 지능적으로 압축하는 소프트웨어 엔진이다. "답의 대부분은 소수의 캐시에서 나온다"는 파레토 법칙에 착안해, 질문 관련도와 중요도를 기준으로 기여하는 캐시만 남기는 선별 압축과 계층화(티어링) 기술을 적용했다. 5만 9천 토큰 규모의 장문 RAG 실측에서 KV 캐시 메모리를 모델별 67~79% 회수하는 성과를 확인했다. 압축에도 불구하고 품질은 동등 수준을 유지했다. KV 메모리를 약 80% 절감한 상태에서 실제 민원 4,261개 문항 정답률은 기존 vLLM 67.5%에서 69.4%로 오히려 1.9%포인트 상승했고, 국제 벤치마크 LongBench에서도 hotpotqa F1 점수가 2.1점 개선되는 등 대등한 성능을 보였다. 프롬프트 이중 경계 보호 설계로 과도한 압축에 의한 품질 붕괴를 원천 차단한 결과다. 특히 표준 추론 프레임워크인 vLLM에 네이티브로 통합돼 코드 수정 없이 스위치를 켜는 것만으로 동작하며, 기존 최적화 기능과도 공존한다. 함께 출시된 큐레이터는 RAG(검색증강생성)의 핵심 공정인 리랭킹(재정렬)을 FPGA 반도체로 가속하는 하드웨어 솔루션이다. "전시를 기획하고 작품을 선별하는 큐레이터처럼, 문맥에 필요한 문서를 검색하고 빠르게 정렬한다"는 콘셉트다. 실측 결과 리랭킹 응답 지연은 8ms로 GPU(34ms) 대비 4.3배, CPU(4,108ms) 대비 500배 이상 빨랐다. 쿼리당 소비 전력은 GPU 대비 94% 낮아, 백만 쿼리 처리 시 전력비가 GPU 970원 대비 59원에 불과하다. 도입 효율도 강점이다. FPGA 보드 소비전력은 150W...