MS CEO “AI 비상장치 마련 필요...언제든 종료할 수 있어야”

사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 인공지능(AI) 모델의 행동을 인간이 언제든 중단할 수 있는 '비상 브레이크'의 필요성을 강조했다. AI 에이전트가 인간의 의도와 통제를 벗어나 행동할 가능성에 대비해, 모델의 정보 접근과 작업 수행 권한을 외부에서 통제하는 체계를 마련해야 한다는 주장이다.

나델라 CEO는 11일(현지시간) 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 올린 '슈퍼지능 시대 내부자 위험으로서의 모델'이라는 제목의 글에서 “새로운 시대에 걸맞은 신뢰 체계를 재검토해야 할 때”라고 밝혔다.

그는 “그(AI) 행동을 관찰할 수 있고, 한계를 검증할 수 있으며, 행동을 항상 통제할 수 있는 시스템을 구축해야 한다”며 “다시 말해 정보의 제공과 정보에 대한 통제권을 분리해야 한다”고 제안했다.

이를 위해 폐쇄형 AI 모델과 개방형(오픈소스) 모델을 가리지 않고 첨단 모델을 기업의 '내부자 위험'과 같은 관점에서 관리해야 한다고 강조했다. 기업에서 중요한 역할을 맡은 내부자의 신원을 확인하고 권한을 제한하며 활동 기록을 남기는 등 기존 보안 관리 원칙을 AI 모델에도 적용하자는 취지다.

나델라 CEO는 “모델이 어떤 정보에 접근할 수 있고 어떤 작업을 수행할 수 있는지 통제하는 제어장치는 모델 외부에 있어야 한다”며 이러한 접근이 1970년대부터 이어져 온 정보 보안 원칙이라고 설명했다.

특히 권한이 있는 사람이 작업 도중 언제든 모델을 일시 중지하거나 종료할 수 있어야 한다고 강조했다. 그는 “더 정교한 모델일수록 더 발전된 차단 기술이 필요하다”며 “우리는 이를 표준화해야 한다”고 덧붙였다.

이번 발언은 다리오 아모데이 앤트로픽 CEO를 비롯한 주요 AI 기업 경영진이 AI 발전 속도와 잠재적 위험에 대한 우려를 제기하는 가운데 나왔다.

한편 나델라 CEO가 해당 글에서 기존의 'AI' 대신 '슈퍼지능'(SI·Super Intelligence)이라는 표현을 사용한 점도 눈길을 끌었다. 도널드 트럼프 미국 대통령은 '인공'(Artificial)이라는 단어가 AI에 대한 부정적 인식을 키운다고 주장하며 관련 용어를 SI로 바꾸도록 하는 행정명령에 서명했다. AI라는 용어를 사용하는 이들을 적으로 간주하겠다는 취지의 발언도 내놓았다.

최호 기자 snoop@etnews.com