Jev를 검색 리랭커로 활용하기: 확률 기반 점수화와 평가 기준 설계

TypeSafe의 판단 모델 Jev를 활용해 검색 결과를 재정렬하는 구현 방식과 평가 결과를 소개 주제가 비슷한 문서 중에서 실제로 질문에 답하고 요구 조건을 충족하는 문서를 상위로 배치하는 것이 목적 검색으로 확보한 후보를 평가하는 단계로, 키워드 검색과 벡터 검색, 하이브리드 검색에 적용하는 사례를 설명 관련성 단계별 확률을 가중 평균해 정렬 점수로 변환 기본 평가 기준은 관련성을 10단계로 구분하며, Jev는 각 단계에 대한 확률 분포를 반환 가장 가능성이 높은 단계 하나를 선택하는 대신, 단계별 확률을 가중 평균해 중간 수준의 판단도 순위에 반영 이 값은 후보를 정렬하기 위한 점수이며, 문서가 관련 있을 확률로 보정된 값은 아님 자연어로 관련성 기준을 정의 문서가 질문의 주제뿐 아니라 필수 조건과 제외 조건까지 충족하는지 평가 관련성이 낮은 순서부터 높은 순서까지 2~10개의 기준을 지정할 수 있음 FiQA 실험에서 벡터 검색 대비 nDCG@10이 상대적으로 14.7% 개선 공개 금융 질의 데이터셋 FiQA의 영어 질문 100개에서 후보 50개를 재정렬하고, 질문별로 두 번 실행 text-embedding-3-small을 사용한 벡터 검색과 비교한 nDCG@10은 0.4555에서 0.5223으로 상승 nDCG@10은 관련 문서가 상위 10개 결과에서 얼마나 좋은 순서로 배치되는지 평가하는 지표 글에서 보고한 문서 검색 품질 평가이며, RAG가 생성한 답변의 품질 개선을 직접 측정한 것은 아님 한 질문에서는 관련 문서가 두 번의 실행 모두 12위에서 1위로 상승 상위 10개 문서만 사용하는 애플리케이션에서도 해당 문서를 활용할 수 있게 된 사례 전체 실험에서는 개별 문서의 순위가 실행 간 달라질 수 있었음 품질 개선에 따른 추가 지연 시간도 공개 AWS 서울 리전에서 후보 50개를 평가한 200개 요청의 리랭킹 단계 지연 시간은 p50 488ms, p95 673ms 검색과 클라이언트 네트워크 시간을 제외한 서버 내부 단계의 소요 시간 해당 200개 요청은 모두 폴백이나 재시도 없이 성공 평가 기준은 순위 품질과 토큰 사용량에 함께 영향 검색 지시 준수 여부를 평가하는 FollowIR의 40개 주제에서 기본 10단계와 커스텀 2단계, 3단계, 10단계 기준을 비교 커스텀 기준은 필수 조건과 제외 조건을 중심으로 구성 기본 10단계 대비 커스텀 3단계는 입력 토큰이 15.7% 적었고, 커스텀 10단계만 통계적...