[김태형의 혁신의기술] 〈59〉AI 에이전트 시대, 우리는 누구에게 질문할 것인가〈중〉

김태형 단국대 대학원 데이터지식서비스공학과 교수·정보융합기술·창업대학원장 “질문은 대화가 아니다. 권한을 설계하는 일이다.” 지난 글에서 우리는 에이전트를 활용했던 일부 조직에서 판단·기록·소명의 생긴다고 짚었다. 그렇다면 다음 질문은 분명하다. 인공지능(AI)이 결정을 내렸을 때, 우리는 누구에게 질문해야 하는가. 많은 조직이 AI에게 묻는다. “왜 이 거래처를 골랐나.” “왜 이 지원자를 탈락시켰나.” 에이전트는 가격과 재고, 납기와 과거 데이터를 종합한 결과라고 즉시 답한다. 그러나, 문제는 그 답이 실제 판단의 경로를 보여주느냐는데 있다. 어떤 데이터를 우선했고 어떤 기준을 적용했으며 어떤 선택지를 배제했는지가 남아 있지 않다면 그 설명은 결과 뒤에 붙은 사후 해석일 수 있다. 아무리 정교한 문장이라도 판단의 근거를 대신할 수는 없다. 설명 가능한 답과 책임질 수 있는 결정은 다르다. 2024년 에어캐나다는 챗봇의 잘못된 안내가 어디까지 기업의 책임인지 보여준 사례를 남겼다. 조부모상을 당한 한 승객에게 챗봇은 여행을 마친 뒤에도 할인 운임을 신청할 수 있다고 안내했지만, 실제 규정은 달랐다. 분쟁이 재판으로 이어지자, 회사는 챗봇이 제공한 정보에 책임질 수 없다고 주장했다. 그러나 재판부의 판단은 명확했다. 챗봇은 독립된 주체가 아니라 에어캐나다 웹사이트의 일부이며, 고객에게 웹페이지와 챗봇 중 어느 정보를 믿어야 하는지 다시 확인할 의무를 지울 수 없다는 것이었다. 챗봇이 잘못된 정보를 말하는 데서 사건이 끝났다면, 에이전트는 그 정보를 바탕으로 항공권을 다시 발권하고 환불을 거절하며 고객 계정을 바꿀 수 있다. 즉, 답변의 오류가 곧 실행의 오류로 이어지는 구조인 것이다. 그래서 에이전트의 권한이 커질수록 '무엇을 할 수 있는가'보다 '무엇을 혼자 결정하게 둘 것인가'가 먼저 정해져야 한다. 이 사례는 단순히 챗봇이 잘못된 정보를 제공한 사건이 아니다. 스스로 판단하고 실행하는 에이전트가 업무 현장으로 들어올수록 더 무겁게 받아들여야 할 경고이다. 진짜 위험은 AI의 오답 그 자체보다, 조직이 그 판단을 자신의 결정처럼 활용하다가 결과가 기대와 다르면 “AI가 그렇게 했다”며 책임의 경계를 흐리는 데 있다. 따라서 AI에 실행 권한을 부여하는 것과 책임까지 넘기는 것은 전혀 다른 문제다. 기술의 자율성이 커질수록, 그 결과를 설명하고 감당할 인간과 조직의 책임은 더욱 선명해져야 한다. 우리에게 질문...