AI한테 시험을 냈는데 출제자가 5번 틀렸다 - LLM 파이프라인 검증기

카톡 주문 메시지를 상품 코드로 바꿔주는 LLM 파이프라인을 만들기 전에, 테스트 29개(정답지·채점기 포함)부터 만들었습니다.

결과는 두 모델 모두 치명 오류 0건 통과. 그런데 그 과정에서 제가 쓴 정답지가 3번, 채점기가 2번 틀렸습니다. 헷갈리게 심어둔 함정에 출제자인 제가 빠졌고, 모델이 "확인 필요"라고 되물은 게 정답이었습니다.

• 애매한 문제의 정답은 확정이 아니라 "확인 필요"로 두는 규칙
• 데이터에 함정 심는 법 (같은 이름 상품 2종, 비슷한 규격 5종)
• 잘린 JSON 복구, 판정 필드 우선 채점 같은 채점기 버그 2건
• 싼 모델(Haiku 4.5)과 3배 비싼 모델(Sonnet 5)의 차이는 딱 1문제

직접 만들며 겪은 기록이라 자작글로 올립니다. AI 검증을 하려다 검증당한 이야기입니다.