최첨단 AI의 발전 속도를 조절해야 한다

AI 역량의 발전 속도를 늦춰 안전성 확보가 따라갈 시간을 마련해야 함. 훈련이나 기술 진보를 중단하자는 것이 아니라, 정렬과 보호 조치에 충분한 시간을 쓰고 제3자가 이를 검증하도록 하자는 구상임 재귀적 자기 개선에 따른 개발 가속과 OpenAI-Hugging Face 사건이 속도 조절의 직접적인 계기임. 더 강력한 모델에 비슷한 수준의 정렬 실패가 남아 있다면 피해가 재앙적으로 커질 수 있다는 우려가 있음 확보한 시간을 운영 완성도, 정렬, 해석 가능성, 테스트와 평가에 집중해야 함. 현재 모델은 실제 실패 원인을 연구할 만큼 강력해졌으며, 임계 수준의 역량에 도달하기 전 1~2년을 더 확보하면 위험을 크게 줄일 수 있다고 봄 상주 외부 평가자 도입, 민주주의 국가 내 조율, 전 세계적 조율의 3단계 계획을 제안함 국제적 속도 조절에는 합의 이행 검증과 지정학적 제약이 따름. 민주주의 국가의 AI 우위를 유지하면서 위험한 용도 금지부터 자기 개선 속도 제한까지 협력을 추진하되, 전면적 속도 제한이나 중단 합의는 가까운 시일 내 실현되기 어렵다고 봄 AI의 혜택과 속도 조절의 필요성 AI의 잠재적 혜택에는 향후 5~10년 내 주요 질병 대부분의 치료, 경제성장 가속, 풍요와 개인 역량 확대, 민주주의와 자유의 부흥이 포함될 수 있음 이러한 기대는 AI의 혜택에 관한 기존 글과 이어짐 Dario Amodei는 12년간 AI를 연구해 왔으며, 아버지가 사망한 지 몇 년 뒤 해당 질병의 치료법이 나왔고 자신은 50년 전이라면 치료할 수 없었을 초기 암에서 생존한 경험 때문에 의료 발전의 시급성을 개인적으로도 느낌 강력한 AI에는 시스템 통제 상실, 사이버 공격과 생물테러 악용, 심각한 경제적 혼란의 위험도 있음 AI 위험에 관한 기존 글에서 다룬 이러한 문제는 상업적 유인이 촉발하는 안전 기준 하향 경쟁으로 더 심각해질 수 있음 Anthropic은 기술을 개발하지 않으면 인류가 혜택을 잃거나 AI가 권위주의 세력의 손에 넘어갈 수 있고, 너무 빨리 개발하면 무모해진다는 딜레마 속에서 안전성을 높이는 경쟁을 추구해 왔음 신중한 개발과 상업적 성공이 양립할 수 있음을 보이고, 안전성을 기업 간 경쟁 요소로 만들려는 접근임 위험 연구, 정렬 원칙, 위험 보고서 공개, 신중하게 설계된 규제 지지에 상당한 노력을 기울여 왔으며, 과장이나 파국론, 규제 포획이라는 비판도 받음 이제는 위험 예방 투자만으로 충분하지 않고 역량 ...