100배 저렴한 오픈 모델로 검색에서 GPT-5.6 Sol 능가하기

Castform으로 강화학습 후처리한 4B 오픈 소스 모델이 GPT-5.6 Sol과 같은 수준의 검색 정확도를 달성하면서 비용은 100분의 1로 낮춤 에이전트 검색은 한 번의 임베딩 검색에서 여러 차례 계획·검색하는 방식으로 진화했으며, GPT-5.6 Sol 기반 다중 턴 검색은 요청당 10초 이상·약 0.03달러가 들어 비용과 지연이 커짐 Castform은 문서·제품 기록·지원 자료·고객 상호작용·운영 데이터에서 질문과 정답을 생성하고, 검색 도구와 보상 함수를 결합해 모델을 강화학습 후처리함 Neon은 원문 저장부터 합성 데이터 생성, 학습 롤아웃, 프로덕션 추론까지 동일한 Lakebase Search 환경을 제공하고 급격한 병렬 검색 부하는 동적 컴퓨팅 확장으로 처리함 모델별 검색 학습에 데이터베이스 자동 확장과 브랜칭을 결합하면, 고가의 프런티어 모델을 반복 호출하지 않고도 검색 및 상태 변경 에이전트를 대규모로 훈련할 수 있음 단일 검색에서 에이전트 검색으로 좋은 에이전트에는 올바른 데이터를 찾는 도구와 컨텍스트, 무엇을 검색할지 판단하는 모델이 모두 필요함 Neon과 Search 확장은 데이터 검색 환경을 담당함 Castform은 모델이 검색 방법을 학습하도록 지원함 2022년 무렵 데이터베이스 업체들이 임베딩 검색을 도입했으며, pgvector는 Neon에서 가장 많이 내려받은 확장이었음 개발자들이 LLM에 컨텍스트를 제공하려고 직접 구축한 RAG 파이프라인도 본질적으로 임베딩 유사도 검색을 사용함 2025년 무렵 에이전트가 확산하면서 큰 문제를 작은 단계로 나누는 다중 홉 검색이 등장함 모델은 단일 쿼리를 보내는 대신 반복문 안에서 계획하고 여러 번 검색함 매 반복마다 프런티어 모델을 호출하므로 사용자 요청당 비용과 지연 시간이 늘어남 GPT-5.6 Sol을 사용한 일반적인 다중 턴 검색은 종단 간 10초 이상 걸리고 약 0.03달러가 필요함 소형 오픈 가중치 모델은 비용이 100분의 1이지만, 별도 학습 없이 사용하는 기본 성능은 폐쇄형 API 모델보다 낮음 특정 검색 작업에 강화학습 후처리를 적용하면 훨씬 낮은 요청당 비용으로 프런티어 모델과 같거나 더 높은 성능을 달성할 수 있음 Castform은 머신러닝과 GPU 내부 구조를 직접 다루지 않고도 후처리할 수 있게 해, 이를 프롬프트 엔지니어링만큼 접근하기 쉽게 만드는 것을 목표로 함 Neon을 활용하는 Castform 파이프라인 Castfo...