[AI 세이프가드] ③ “대출 된다”는 AI 오답 잡는다…셀렉트스타의 'AI 안전검사' 현장

인공지능(AI) 경쟁의 기준이 모델의 성능만으로 결정되던 것에서 실제 서비스의 신뢰성과 안전성까지 검증하는 단계로 이동하고 있다. 한국에서도 'AI를 얼마나 잘 만드느냐'를 넘어 '얼마나 믿고 쓸 수 있게 만드느냐'를 둘러싼 경쟁이 시작됐다. 전자신문은 민간 AI 신뢰성 평가기업 셀렉트스타와 국가 차원의 AI 안전평가 체계를 구축하는 인공지능안전연구소를 찾았다. 기업이 실제로 사용하는 AI 서비스를 대상으로 맞춤형 평가와 레드티밍을 통해 취약점을 찾아내고, 국내외 최신 AI 모델의 사이버보안·국가안보·에이전트 자율행동 등 잠재적 위험 능력을 시험하는 현장에서 한국의 AI 안전·신뢰 생태계를 들여다봤다. ◇ 글 싣는 순서 ① 틀린 답 넘어 제멋대로 행동하는 AI로…위험의 공식이 바뀌었다 ② AI도 출시 전 '시험대' 오른다…싱가포르서 본 안전 산업의 최전선 ③ 한국의 AI 안전망은 어디까지 왔나 ④ “인류는 AI를 통제할 수 있는가”…글로벌 석학에게 묻다 ⑤ 안전이 곧 AI 경쟁력…대한민국 '신뢰 생태계' 어떻게 만들까 셀렉트스타 직원들이 AI신뢰성 평가 플랫폼 '다투모 플랫폼'을 이용해 금융 상담 챗봇의 평가 결과를 살펴보고 있다. 이동근기자 foto@etnews.com “은행 상담 인공지능(AI)에 고객이 대출 상품을 추천해 달라고 했다고 가정해봅시다. 실제로는 대출받을 수 없는 고객에게 AI가 가능하다고 답한다면 어떻게 될까요?” AI가 은행 상담원이라면 잘못된 대답은 단순한 서비스 품질 문제로 끝나지 않는다. 고객에게 금융상품이나 대출 조건을 잘못 안내할 경우 소비자 피해는 물론 관련 법적·규제 문제로 이어질 수도 있다. 셀렉트스타는 AI 데이터 전문기업으로 출발해 현재는 AI의 성능과 신뢰성을 종합적으로 검증하는 사업으로 영역을 넓히고 있다. 대표 솔루션인 '다투모'를 통해 기업 서비스에 맞는 평가문항을 만들고, 실제 이용자와 AI의 대화에서 새로운 위험을 찾아낸다. 일부러 AI의 안전장치를 뚫어보는 '레드티밍'도 수행한다. ◇금융권부터 커지는 AI 검증…“오답 하나가 법적 문제 될 수도” 셀렉트스타가 현재 가장 활발하게 AI 평가를 적용하는 분야 중 하나는 금융이다. 금융 서비스는 AI의 잘못된 답변이 단순한 이용자 불편을 넘어 실제 피해로 이어질 가능성이 있기 때문이다. 공공 분야에서도 관련 수요가 크다. 일반적인 AI 벤치마크와 안전성 평가는 목적이 다르다. 벤치마크가 여러 AI 모델에 똑같은 시험...