AI 시험지는 함정이 9할이다 - LLM 테스트 케이스 설계법

주문 메시지를 읽는 LLM 파이프라인을 검증하려고 테스트 29개를 만들었는데, 그 중 정상 케이스는 4개뿐입니다. 나머지는 전부 함정입니다.

• 제일 많은 그룹은 "주문이 아닌 것" 6개. 상품명과 숫자가 다 있는 단순 문의를 주문으로 잡으면 안 시킨 물건이 출고됩니다
• 문제만 어렵게 내지 않고 대조할 상품 데이터에도 함정을 심었습니다. 폭만 다른 투명테이프 2종, 같은 숫자로 시작하는 상품 5종, 제각각인 박스 입수. 깨끗한 데이터로 시험보면 전부 통과하고 실전에서 무너집니다
• 가장 놓치기 쉬운 건 "학습이 쌓인 뒤"의 동작입니다. 테이프=48mm로 학습된 상태에서 "테이프 60 2박스"가 오면 명시 규격이 학습을 이겨야 합니다. 카탈로그 기능이 사고 기능이 되는 지점입니다

테스트 케이스 29개와 함정 심은 상품 목록은 전부 공개해 두었습니다. https://github.com/ramses203/llm-test-harness