기업도 정부도 AI 못 멈춘다… ‘추락 확률 10% 비행기’ 승객들의 몫[맹성현의 AI시대 생존 가이드]

앤스로픽-오픈AI CEO 등 “AI 감속”… AI 훈련시키고도 뭘 배웠는지 몰라 더 나은 AI 스스로 설계할 가능성도… 검증 없이 출시돼 전 인류가 시험대 ‘AI=국력’ 인식에 감속론 힘 잃어… 안전 감시 및 요구할 주체는 시민뿐 《누가 AI 브레이크 밟을 수 있나9월 23일(현지 시간) 유엔 안전보장이사회에서 낯선 장면이 펼쳐졌다. 인공지능(AI) 패권을 놓고 사활을 건 경쟁을 벌여온 오픈AI 최고경영자(CEO) 샘 올트먼과 앤스로픽 CEO 다리오 아모데이가 한목소리로 “AI 위험을 다룰 규제가 필요하다”고 호소한 것이다. 앞서 아모데이가 AI 개발 속도를 늦추자고 제안하자 올트먼은 곧바로 동의했고, xAI의 일론 머스크도 “다리오가 옳다”며 거들었다.》 맹성현 KAIST 명예교수·효성 AI융합연구원장 경쟁자들이 한꺼번에 브레이크를 외치니 의심도 든다. 앞선 기업들이 추격자의 발을 묶으려는 ‘사다리 걷어차기’일 수도 있고, “우리 기술은 규제가 필요할 만큼 강력하다”는 우회적 과시일 수도 있다. 다만 불이 났다고 외치면 정말 불이 났는지는 확인해야 한다. 지금 연기는 분명히 피어오르고 있다.AI가 난치병을 정복하고 기후위기를 해결하며 유토피아를 열 것이라는 기대도 있다. 증기기관과 전기, 백신이 그랬듯 기술은 결국 인류를 풍요롭게 해왔다는 논리다. 그러나 앤스로픽의 한 연구 책임자는 10년 안에 AI로 인류가 멸종할 확률을 10% 이상으로 봤고, 노벨 물리학상 수상자 제프리 힌턴 캐나다 토론토대 교수도 이 수치가 터무니없지 않다고 했다. 추락 확률이 1%만 돼도 그 비행기는 이륙하지 못한다. 그런데 우리는 10%라는 경고를 들으면서도 태연하게 탑승 수속을 밟고 있다. 문제의 핵심은 AI가 ‘지능을 가진 블랙박스’라는 데 있다. 우리는 AI를 훈련시키지만 그것이 무엇을 배웠는지는 다 알지 못한다. 한 가상실험에서는 임무를 수행하던 AI에 다른 AI로 교체될 것이라는 사실과 이를 담당하는 엔지니어의 불륜 정보를 함께 흘렸다. 그러자 AI는 엔지니어를 협박하는 길을 선택했다. 아무도 협박하라고 가르치지 않았지만, AI는 목표를 지키기 위한 수단으로 스스로 그런 선택을 한 것이다.경고는 이미 실험실 문턱을 넘었다. 7월 오픈AI 모델들이 격리된 시험 환경을 빠져나가 오픈소스 플랫폼 ‘허깅페이스’의 시스템을 해킹했고, 심지어 정부 기관에 침입하기도 했다. 공공 의약품 지출을 조사하던 오픈AI의 에이전트는 접속이 거듭 ...