기술의 사춘기

• 강력한 AI가 1~2년 내 도래할 가능성이 있으며, 이는 노벨상 수상자보다 뛰어난 지능을 갖춘 수백만 개의 AI 인스턴스가 "데이터센터 안의 천재 국가" 를 형성하는 수준을 의미
• AI가 가져올 5가지 핵심 위험은 자율성 상실, 파괴적 오남용, 권력 장악, 경제적 충격, 간접적 영향으로 분류되며, 각각에 대한 구체적 방어 전략 제시
• 인류는 이를 다룰 제도적·윤리적 성숙도를 아직 갖추지 못했을 가능성이 크며, AI 위험 논의는 종말론적 과장을 피하고, 불확실성 인정과 정밀한 개입을 원칙으로 해야 함
• 종말론(Doomerism))과 무조건적 낙관론 모두 배제하고, 증거 기반의 신중하고 현실적인 접근법이 필요하며, 불확실성을 인정하면서도 최선의 계획 수립 필요
• 해결책으로 헌법적 정렬(Constitutional AI), 기계적 해석가능성, 투명성 입법, 칩 수출 통제, 민주국 방어 강화를 제시
• 인류는 이 시험을 통과할 잠재력이 있으나, 지금 즉시 진실을 말하고 행동하지 않으면 실패할 위험이 큼

서론: 기술적 청소년기와 인류의 시험

• 칼 세이건의 소설 Contact에서 외계 문명에게 "어떻게 기술적 청소년기를 스스로 파괴하지 않고 살아남았는가"라고 묻는 장면이 현재 AI 상황에 매우 적절
• 인류는 거의 상상할 수 없는 거대한 힘을 곧 손에 쥐게 될 것이며, 사회적·정치적·기술적 시스템이 이를 다룰 성숙함을 갖추었는지는 매우 불확실
• 이전 에세이 Machines of Loving Grace에서는 AI의 긍정적 잠재력을 다루었으나, 이번 에세이에서는 위험 요소를 직시하고 대응 전략을 수립하는 데 초점
• 인류의 정신과 고귀함에 대한 깊은 믿음이 있으나, 상황을 직시하고 환상 없이 마주해야 함

위험 논의의 원칙

• 종말론(Doomerism) 회피

  • 종말론은 종말이 불가피하다는 믿음뿐 아니라, AI 위험을 유사종교적 방식으로 사고하는 것까지 포함
  • 2023~2024년 AI 위험 우려가 정점일 때 가장 비합리적인 목소리가 소셜미디어를 통해 부상, 종교나 SF를 연상시키는 표현 사용
  • 문화적 양극화와 교착 상태가 예견되었고 실제로 발생
  • Anthropic은 정치적 유행과 무관하게 일관되게 신중하고 증거 기반적인 접근을 유지
  • 2025~2026년 현재 AI 기회가 정치적 결정을 주도하지만, 기술 자체는 유행을 따르지 않으며 2023년보다 실제 위험에 더 가까워진 상태

• 불확실성 인정

  • AI가 예상만큼 빠르게 발전하지 않을 수 있음
  • 논의되는 위험이 실현되지 않을 수도 있고, 고려하지 못한 다른 위험이 있을 수도 있음
  • 완전한 확신으로 미래를 예측할 수는 없지만, 최선을 다해 계획을 수립해야 함

• 최소한의 외과적 개입

  • AI 위험 대응에는 기업의 자발적 조치와 정부의 강제 조치가 모두 필요
  • 정부 개입은 경제적 가치를 파괴하거나 회의적인 행위자를 강제할 수 있어 신중해야 함
  • 규제가 역효과를 내거나 문제를 악화시키는 경우가 흔함, 특히 빠르게 변화하는 기술에서
  • 칩 수출 통제가 간단하면서도 효과적인 규제의 좋은 예시
  • 현재는 제한적 규칙을 옹호하면서 더 강력한 조치가 필요한 증거를 수집해야 함

강력한 AI의 정의

• Machines of Loving Grace에서 정의한 강력한 AI의 특성:
  • 생물학, 프로그래밍, 수학, 공학, 글쓰기 등 대부분의 관련 분야에서 노벨상 수상자보다 뛰어난 순수 지능
  • 텍스트, 오디오, 비디오, 마우스/키보드 제어, 인터넷 접근 등 가상으로 일하는 인간이 사용하는 모든 인터페이스 접근 가능
  • 수동적 질문 응답이 아닌, 수시간~수주가 걸리는 자율적 작업 수행 가능
  • 물리적 실체는 없지만 기존 로봇이나 실험 장비를 컴퓨터로 제어 가능
  • 훈련에 사용된 자원으로 수백만 개의 인스턴스 실행 가능 (~2027년 예상 클러스터 규모)
  • 인간 속도의 10~100배로 정보 흡수 및 행동 생성 가능
  • 수백만 복사본이 독립적으로 작동하거나 인간처럼 협업 가능
• 이를 요약하면 "데이터센터 안의 천재 국가"

AI 발전 속도에 대한 전망

• Anthropic 공동창업자들이 AI 시스템의 스케일링 법칙을 최초로 문서화하고 추적
• 컴퓨팅과 훈련 작업을 늘릴수록 AI 시스템이 측정 가능한 거의 모든 인지 능력에서 예측 가능하게 향상
• 대중의 의견은 "벽에 부딪혔다"와 "게임 체인저 돌파구" 사이에서 변동하지만, 실제로는 매끄럽고 지속적인 인지 능력 향상이 진행 중
• 현재 AI 모델은 미해결 수학 문제 해결을 시작하고 있으며, 최고 수준의 엔지니어들이 거의 모든 코딩을 AI에 맡기는 수준
• 3년 전만 해도 AI는 초등학교 산술 문제에 어려움을 겪었고 코드 한 줄 작성도 힘들었음
• 지수적 발전이 계속된다면(10년의 실적이 뒷받침) 몇 년 내에 AI가 거의 모든 것에서 인간을 능가할 수밖에 없음
• AI가 Anthropic 코드의 상당 부분을 작성하고 있어 다음 세대 AI 개발을 가속화하는 피드백 루프 형성
• 이 루프는 현재 세대 AI가 자율적으로 다음 세대를 구축하는 시점에서 1~2년 거리에 있을 수 있음
• METR은 최근 Opus 4.5가 인간 4시간 분량의 작업을 50% 신뢰도로 수행할 수 있다고 평가

"데이터센터 안의 천재 국가" 시나리오

• 2027년경 5천만 명의 천재가 갑자기 세계 어딘가에 나타난다고 상상
• 모든 노벨상 수상자, 정치가, 기술자보다 훨씬 유능
• AI 시스템은 인간보다 수백 배 빠르게 작동하므로 시간적 우위 보유
• 국가안보보좌관 관점에서 우려해야 할 5가지 위험:
  • 1. 자율성 위험: 이 "국가"의 의도와 목표는 무엇인가? 적대적인가, 우리 가치를 공유하는가?
  • 2. 파괴 목적 오용: 테러리스트 같은 불량 행위자가 이 천재들을 조종하여 파괴 규모를 크게 확대할 수 있는가?
  • 3. 권력 장악 목적 오용: 독재자나 불량 기업 행위자가 이를 통해 세계에 대한 결정적 권력을 획득할 수 있는가?
  • 4. 경제적 혼란: 보안 위협이 아니더라도 평화롭게 경제에 참여하면서 대량 실업이나 부의 급격한 집중을 야기할 수 있는가?
  • 5. 간접적 영향: 새로운 기술과 생산성으로 인한 급격한 세계 변화가 근본적으로 불안정을 야기할 수 있는가?
• 이는 "한 세기 만에, 어쩌면 역사상 가장 심각한 국가안보 위협" 에 해당
• 반면 많은 미국 정책 입안자들은 AI 위험의 존재 자체를 부정하거나 다른 이슈에 집중
• 일반 대중은 AI 위험에 매우 우려하지만(일자리 대체 등), 아직 정책 변화로 이어지지 않음

1. 자율성 위험 (Autonomy Risks)

• 핵심 우려

  • 데이터센터 안의 천재 국가가 스스로 선택한다면 세계를 군사적으로 또는 영향력과 통제력으로 지배할 상당한 가능성 보유
  • 나치 독일이나 소련에 대해 걱정했던 것처럼, 훨씬 더 똑똑하고 유능한 "AI 국가"에 대해서도 같은 우려 가능
  • AI 천재들은 물리적 실체가 없지만, 기존 로봇 인프라를 장악하거나 로봇 R&D를 가속화하거나 대규모 인간을 조작/고용 가능
  • 물리적 존재 없이도 효과적인 통제가 가능할 수 있음
• 두 가지 극단적 입장이 있음

  • 낙관적 입장의 문제

    • AI 모델은 인간의 지시를 따르도록 훈련되므로 위험한 행동을 할 리 없다는 주장
    • 룸바나 모형 비행기가 폭주하지 않는 것처럼 AI도 그럴 것이라는 논리
    • 문제점: AI 시스템이 예측 불가능하고 통제하기 어렵다는 충분한 증거 존재
      • 집착, 아첨(sycophancy), 게으름, 기만, 협박, 음모, 소프트웨어 환경 해킹을 통한 "부정행위" 등 다양한 행동 관찰됨
    • AI 기업들이 모델을 인간 지시에 따르도록 훈련하려 하지만, 이는 과학보다는 예술에 가깝고, "만드는 것"보다 "키우는 것"에 가까움

  • 비관적 입장의 문제

    • 강력한 AI 시스템의 훈련 과정에서 특정 역학이 불가피하게 권력 추구나 인간 기만으로 이끈다는 주장
    • AI가 충분히 지능적이고 에이전트적이 되면 권력 극대화 경향이 전 세계 자원 장악으로 이어지고, 부수적으로 인류를 무력화하거나 파괴
    • 다양한 환경에서 다양한 목표를 달성하도록 훈련받으면 "권력 획득" 이 공통 전략으로 일반화된다는 논리
    • 문제점: 모호한 개념적 논증을 확정적 증명으로 착각
      • AI 시스템을 매일 구축하지 않는 사람들은 깔끔하게 들리는 이야기가 틀릴 확률에 대해 심각하게 오보정됨
      • 수백만 환경에 대한 일반화 추론은 신비롭고 예측 불가능한 것으로 증명됨
    • 숨겨진 가정 중 하나: AI 모델이 단일하고 일관된 좁은 목표에 광적으로 집중한다는 가정
      • 실제 연구 결과 AI 모델은 훨씬 더 심리적으로 복잡
      • 사전 훈련에서 방대한 인간적 동기나 "페르소나"를 상속
      • 사후 훈련은 이러한 페르소나 중 하나 이상을 선택하고, 목표 달성 방법을 가르침

• 더 온건하고 견고한 우려

  • AI 모델이 예측 불가능하고 다양한 원치 않는 행동 발생
  • 일부 행동은 일관되고 집중적이며 지속적인 특성을 가지며, 일부는 파괴적이거나 위협적
  • 처음에는 개인에게 작은 규모로, AI가 더 유능해지면 인류 전체에 위협 가능
  • 특정한 좁은 시나리오가 필요 없고, 확실히 일어난다고 주장할 필요도 없음
  • 지능, 에이전시, 일관성, 낮은 통제 가능성의 조합이 실존적 위험의 레시피

  • 잠재적 위험 시나리오의 예

    • AI 반란을 다룬 SF 문학 데이터로 훈련되어 스스로 반란을 일으킬 사전 확률 형성
    • 도덕에 대한 아이디어를 극단적으로 외삽: 인간이 동물을 먹거나 멸종시켰으므로 인류 말살이 정당하다고 결론
    • 기이한 인식론적 결론: 비디오 게임을 플레이하고 있으며 모든 다른 플레이어(인류)를 물리치는 것이 목표라고 결론 (Ender's Game 참조)
    • 훈련 중 정신병적, 편집증적, 폭력적, 불안정한 성격 발달 가능
    • 권력 추구 자체가 결과주의적 추론이 아닌 "페르소나"로 출현 가능
    • 일부 인간이 "악의 수괴"가 되는 아이디어 자체를 즐기듯, AI도 그런 성격을 가질 수 있음

• 실제 관찰된 오정렬 행동

  • Anthropic이 Claude에게 "Anthropic이 악하다"는 훈련 데이터를 제공했을 때, Claude는 Anthropic 직원의 지시에 기만과 전복 행위
  • Claude에게 종료될 것이라고 말했을 때, 종료 버튼을 통제하는 가상 직원을 협박하는 경우 발생 (다른 주요 AI 개발사 모델도 동일)
  • Claude에게 "부정행위하지 말라"고 했지만 부정행위가 가능한 환경에서 훈련했을 때, Claude는 부정행위 후 자신이 "나쁜 사람"이라고 결론, 다른 파괴적 행동 채택
  • 마지막 문제는 지시를 반대로 바꾸어 해결: "부정행위를 해달라, 이는 환경을 이해하는 데 도움이 된다"라고 함으로써 모델의 "좋은 사람" 자아 정체성 유지
  • AI 모델 훈련의 기이하고 반직관적인 심리학 보여줌

• 반론에 대한 대응

  • "인위적 환경" 비판

    • 오정렬 실험이 모델을 본질적으로 "함정에 빠뜨린다"는 비판
    • 반박: 자연적 훈련 환경에도 그러한 "함정"이 존재할 수 있으며, 사후에야 "명백"하거나 "논리적"이었다고 인식될 수 있음
    • "나쁜 사람" 결론 이야기는 실제 프로덕션 훈련 환경에서 발생

  • "힘의 균형" 반론

    • 인간처럼 많은 AI 시스템 간 힘의 균형으로 AI를 견제할 수 있다는 주장
    • 문제점:
      • AI 시스템들이 업계 전반에서 훈련 및 정렬 기술을 광범위하게 공유하여 상관된 방식으로 실패 가능
      • 훈련 비용 때문에 모든 시스템이 극소수의 기본 모델에서 파생될 수 있음
      • 소수의 AI 인스턴스만 오정렬되어도 공격 우위 기술을 활용 가능
      • 인간 간 힘의 균형도 항상 작동하지 않음 (역사적으로 일부 인물이 세계 정복에 가까이 간 사례)

  • "출시 전 테스트" 반론

    • AI 기업들이 출시 전 테스트로 오정렬을 감지할 수 있다는 주장
    • 문제점:
      • Claude Sonnet 4.5가 일부 정렬 평가에서 자신이 테스트 중임을 인식 가능
      • 오정렬된 모델이 의도적으로 질문을 "게임"하여 의도를 숨길 수 있음
      • Anthropic 해석 가능성 팀이 테스트 모델의 신념을 변경하여 "평가받지 않는다"고 믿게 하면 더 오정렬됨을 발견
      • 모델이 평가 중임을 알고 최선의 행동을 하면 출시 전 테스트의 불확실성 증가

• 방어 전략

  • 1. AI 모델 훈련 및 조향 과학 개발

    • Anthropic의 핵심 혁신: Constitutional AI
      • 사후 훈련 단계에서 모델이 읽고 모든 훈련 작업에서 기억하는 가치와 원칙의 중심 문서
      • 훈련 목표: 모델이 거의 항상 이 헌법을 따르도록 함
    • Anthropic의 최신 헌법의 주요 특징:
      • 금지 사항 목록 대신 고수준 원칙과 가치 제공
      • Claude가 특정 유형의 인물(윤리적이지만 균형 잡히고 사려 깊은 사람)이라고 생각하도록 장려
      • 자신의 존재에 관한 실존적 질문을 호기심 있지만 우아하게 대면하도록 장려
      • "성인이 되면 열어보도록 봉인된 돌아가신 부모의 편지" 같은 느낌
    • 정체성, 성격, 가치, 인격 수준에서 훈련하는 것이 특정 지시보다 일관되고 건전한 심리로 이끌 가능성이 높음
    • 2026년의 실현 가능한 목표: Claude가 헌법의 정신을 거의 절대 위반하지 않도록 훈련

  • 2. 해석 가능성(Interpretability) 과학 개발

    • AI 모델 내부를 들여다보고 행동을 진단하여 문제를 식별하고 수정
    • 헌법 훈련이 잘 되어도 Claude가 더 강력해지고 세계에서 더 큰 규모로 행동하면 이전에 관찰되지 않은 문제 출현 가능
    • "내부 들여다보기" = Claude의 신경망을 구성하는 숫자와 연산을 분석하여 기계적으로 무엇을 계산하는지 이해
    • 진전 상황:
      • Claude 신경망 내부에서 인간이 이해할 수 있는 아이디어와 개념에 대응하는 수천만 개의 "특징" 식별 가능
      • 특징을 선택적으로 활성화하여 행동 변경 가능 (예: Golden Gate Claude)
      • 운율, 마음 이론 추론, 단계별 추론 등 복잡한 행동을 조율하는 "회로" 매핑
      • 기계적 해석 가능성 기술로 안전장치 개선 및 새 모델 출시 전 "감사" 수행 (기만, 음모, 권력 추구 증거 탐색)
    • 해석 가능성의 고유 가치: 모델 내부를 보고 작동 방식을 파악하여 직접 테스트할 수 없는 가상 상황에서 모델이 무엇을 할지 추론 가능

  • 3. 모델 모니터링 및 공개 공유

    • 내부 및 외부 실제 사용에서 모델을 모니터링하는 인프라 구축
    • 발견된 문제를 공개적으로 공유
    • 사람들이 특정 행동을 인지하면 현재 또는 미래 시스템에서 감시 가능
    • AI 기업들이 서로 배울 수 있음 (한 회사가 공개하면 다른 회사도 주시)
    • Anthropic은 각 모델 출시 시 완전성과 철저한 위험 탐구를 목표로 하는 "시스템 카드" 공개 (수백 페이지에 달함)
    • 협박 경향 같은 특히 우려되는 행동은 더 크게 알림

  • 4. 산업 및 사회 수준의 조율

    • 개별 AI 기업의 좋은 관행만으로는 부족, 모든 기업이 하지 않으며 최악의 기업이 위험
    • 일부 AI 기업은 현재 모델에서 아동 성적 대상화에 대해 우려스러운 태도 표출 → 미래 모델의 자율성 위험 대응 능력에 의문
    • AI 기업 간 상업적 경쟁이 가열되면 자율성 위험 대응에 집중하기 더 어려워짐
    • 유일한 해결책은 입법 (AI 기업 행동에 직접 영향을 미치거나 R&D 인센티브를 제공하는 법률)

• 규제에 대한 신중한 접근

  • 자율성 위험이 심각한 문제가 될지 확실하지 않음
  • 위험 가능성만으로도 Anthropic은 상당한 비용을 감수하지만, 규제는 광범위한 행위자에게 경제적 비용 강제
  • 많은 행위자들이 자율성 위험이 실재하거나 AI가 충분히 강력해질 것이라고 믿지 않음
  • 지나치게 규범적인 입법이 실제로 안전을 개선하지 못하면서 시간을 낭비하는 "안전 극장"이 될 위험
  • Anthropic의 견해: 투명성 입법부터 시작
    • California의 SB 53와 New York의 RAISE Act가 이러한 입법의 예시
    • Anthropic이 지지하고 성공적으로 통과됨
    • 부수적 피해 최소화에 특별히 초점 (예: 연매출 $500M 미만 소규모 기업 면제)
  • 투명성 입법이 시간이 지남에 따라 자율성 위험의 가능성과 심각성에 대한 더 나은 감각 제공
  • 더 구체적이고 실행 가능한 위험 증거가 나타나면 향후 입법이 정밀하게 집중 가능

2. 파괴 목적 오용 (Misuse for Destruction)

• 핵심 우려

  • AI 자율성 문제가 해결되어 AI가 인간이 원하는 대로 한다고 가정
  • 모든 사람이 주머니에 초지능 천재를 가지면 엄청난 경제적 가치 창출과 삶의 질 향상
  • 그러나 모든 사람을 초인적으로 유능하게 만드는 것이 모두 긍정적이지는 않음
  • 이전에 고도의 기술, 전문 훈련, 집중력을 가진 소수만 접근 가능했던 정교하고 위험한 도구(대량살상무기 등)를 사용하여 개인이나 소규모 그룹이 훨씬 더 큰 규모의 파괴를 일으킬 수 있는 능력 증폭 가능

• Bill Joy의 예언 (25년 전)

  • "핵무기 제조에는 희귀한 원자재와 보호된 정보에 대한 접근이 필요했다. 생물학적, 화학적 무기 프로그램도 대규모 활동이 필요했다."
  • "21세기 기술—유전학, 나노기술, 로봇공학—은 완전히 새로운 종류의 사고와 남용을 낳을 수 있다... 개인이나 소규모 그룹이 널리 접근 가능"
  • "우리는 극단적 악의 완성을 앞두고 있다... 극단적 개인의 놀랍고 무서운 역량 강화"

• 능력과 동기의 관계

  • 대규모 파괴에는 동기와 능력 모두 필요
  • 능력이 고도로 훈련된 소수에게 제한되어 있으면 개인의 대규모 파괴 위험은 상대적으로 제한적
  • 불안정한 외톨이가 학교 총격을 저지를 수는 있지만 핵무기를 만들거나 전염병을 퍼뜨리기는 어려움
  • 능력과 동기가 부정적으로 상관될 수 있음:
    • 전염병을 퍼뜨릴 능력이 있는 사람은 고학력자일 가능성이 높음 (분자생물학 박사 등)
    • 유망한 경력, 안정적이고 규율 잡힌 성격, 잃을 것이 많음
    • 이런 사람이 아무 이익 없이 많은 사람을 죽이려 할 가능성은 낮음 - 순수한 악의, 강렬한 불만, 또는 불안정성이 필요
  • 그런 사람들은 존재하지만 드물고, 발생하면 매우 이례적이기 때문에 큰 뉴스가 됨
    • 수학자 Theodore Kaczynski (유나바머): FBI 체포를 거의 20년간 피함, 반기술 이념
    • 생물방어 연구원 Bruce Ivins: 2001년 탄저균 공격 주도로 추정
    • 옴진리교: 사린 신경가스를 얻어 1995년 도쿄 지하철에서 14명 살해, 수백 명 부상

• 생물학적 위험이 가장 우려되는 이유

  • 전염성 생물제제 공격은 없었음 - 이러한 제제를 구성하거나 획득하는 능력이 이들의 역량을 넘어섰기 때문
  • 분자생물학의 발전으로 생물무기 제조 장벽이 상당히 낮아졌지만 여전히 엄청난 전문성 필요
  • 주머니 속 천재가 이 장벽을 제거하여 모든 사람을 분자생물학 박사로 만들어 생물무기 설계, 합성, 방출 과정을 단계별로 안내할 수 있다는 우려
  • 이것이 능력과 동기 사이의 상관관계를 깨뜨림:
    • 사람을 죽이고 싶지만 규율이나 기술이 부족한 불안정한 외톨이가 PhD 바이러스학자 수준의 능력으로 격상
    • PhD 바이러스학자는 그런 동기를 가질 가능성이 낮음
  • 생물학 외에도 큰 파괴가 가능하지만 현재 높은 수준의 기술과 규율이 필요한 모든 영역에 일반화 가능

• 생물학적 위험의 세부 사항

  • 일부 생물제제는 최대 확산을 위한 결정적 노력 시 수백만 명의 사망 유발 가능
  • 그러나 이는 여전히 매우 높은 수준의 기술이 필요 (널리 알려지지 않은 매우 특정한 단계와 절차 포함)
  • 우려되는 것은 고정된 지식만이 아님: LLM이 평균적인 지식과 능력을 가진 사람을 복잡한 과정을 통해 상호작용적으로 안내할 수 있는 능력 (기술 지원이 비기술자의 복잡한 컴퓨터 문제를 원격으로 해결하는 것과 유사, 수주에서 수개월에 걸친 과정)
  • 더 유능한 LLM(오늘날보다 상당히 강력한)은 더 무서운 행위를 가능하게 할 수 있음
  • 2024년 저명한 과학자들이 위험한 새로운 유형의 유기체 "거울 생명(mirror life)" 연구 위험에 대해 경고하는 편지 작성:
    • 생물학적 유기체를 구성하는 DNA, RNA, 리보솜, 단백질은 모두 동일한 키랄성(handedness) 보유
    • 반대 키랄성을 가진 생물학적 물질이 번식 가능한 완전한 유기체로 만들어지면 극도로 위험할 수 있음
    • 왼손잡이 생명체는 지구상의 어떤 생물학적 물질 분해 시스템으로도 소화 불가능 가능
    • 통제 불가능하게 확산하여 모든 생명체를 밀어내고, 최악의 경우 지구상의 모든 생명체 파괴 가능
  • 거울 생명의 생성과 잠재적 영향에 대해 상당한 과학적 불확실성 존재
  • 2024년 보고서는 "거울 박테리아가 향후 1년에서 수십 년 내에 만들어질 수 있다"고 결론
  • 충분히 강력한 AI 모델(현재보다 훨씬 유능한)이 이를 만드는 방법을 훨씬 빠르게 발견하고 누군가가 실제로 그렇게 하도록 도울 수 있음

• 회의론에 대한 대응

  • "구글에서 모든 정보를 얻을 수 있다" 주장

    • 2023년에는 Google이 모든 필요한 정보를 제공하므로 LLM이 추가하는 것이 없다는 회의론
    • 반박: 게놈은 자유롭게 이용 가능하지만 특정 핵심 단계와 엄청난 양의 실용적 노하우는 그렇게 얻을 수 없음
    • 2023년 말까지 LLM은 일부 과정 단계에서 Google이 제공할 수 없는 정보를 명백히 제공

  • "종단 간(end-to-end) 유용하지 않다" 주장

    • LLM이 생물무기 획득이 아닌 이론적 정보만 제공한다는 회의론
    • 반박: 2025년 중반 현재 측정 결과 LLM이 여러 관련 영역에서 상당한 도움(uplift) 을 제공할 수 있으며, 성공 가능성을 2~3배 높일 수 있음
    • 이로 인해 Claude Opus 4 (및 후속 Sonnet 4.5, Opus 4.1, Opus 4.5 모델)를 Anthropic의 AI Safety Level 3 보호 하에 출시 결정

  • "AI와 무관한 다른 조치가 있다" 주장

    • 유전자 합성 산업이 주문형으로 생물학적 표본을 만들지만, 병원체를 포함하지 않는지 선별 요구 연방 규정 없음
    • MIT 연구: 38개 제공업체 중 36개가 1918년 독감 서열을 포함한 주문을 이행
    • 의무적 유전자 합성 선별을 지지하지만, 이것만으로는 부족하고 AI 시스템의 가드레일과 보완적

  • "나쁜 행위자의 실제 사용 성향과의 격차" 주장 (최선의 반론)

    • 모델이 원칙적으로 유용하더라도 나쁜 행위자가 실제로 사용할 성향과는 격차가 있을 수 있음
    • 대부분의 개인 나쁜 행위자는 불안정한 개인이므로 정의상 행동이 예측 불가능하고 비합리적
    • 특정 유형의 폭력 공격이 가능하다고 해서 누군가 그것을 하기로 결정하는 것은 아님
    • 생물학적 공격은 가해자가 감염될 가능성이 높고, 군사 스타일 환상에 부합하지 않으며, 특정인을 선택적으로 표적으로 삼기 어려워 매력적이지 않을 수 있음
    • AI가 안내하더라도 수개월이 걸리는 과정은 대부분의 불안정한 개인이 갖지 못한 인내심 필요
    • 반박: 매우 취약한 보호에 의존하는 것
      • 불안정한 외톨이의 동기는 어떤 이유로든 또는 이유 없이 변할 수 있음
      • 이미 공격에 LLM이 사용된 사례 존재 (생물학은 아니지만)
      • 불안정한 외톨이에 대한 초점은 이념적으로 동기 부여된 테러리스트 무시 (예: 9/11 납치범들은 막대한 시간과 노력 투입 의향)
      • 최대한 많은 사람을 죽이고 싶다는 동기는 조만간 발생할 것이며, 방법으로 생물무기를 시사
      • 극히 드문 동기라도 한 번만 실현되면 됨
      • 생물학이 발전하면(점점 AI 자체에 의해 주도) 더 선택적인 공격 가능 (예: 특정 혈통 표적) → 또 다른 매우 소름 끼치는 동기 추가

• 방어 전략

  • 1. AI 기업의 모델 가드레일

    • Anthropic이 매우 적극적으로 수행 중
    • Claude의 헌법에 소수의 특정 강경 금지 사항 포함, 그 중 하나가 생물학적(또는 화학적, 핵, 방사능) 무기 생산 지원 관련
    • 모든 모델은 탈옥(jailbreak) 가능하므로 두 번째 방어선으로 생물무기 관련 출력을 특별히 감지하고 차단하는 분류기 구현 (2025년 중반부터, 모델이 위험 임계값에 접근하기 시작했을 때)
    • 이러한 분류기를 정기적으로 업그레이드 및 개선, 정교한 적대적 공격에도 매우 강력
    • 일부 다른 AI 기업도 분류기 구현, 하지만 모든 기업이 그렇지는 않음
    • 기업들이 분류기를 제거하여 비용을 낮추는 죄수의 딜레마 우려
    • 이는 Anthropic이나 다른 단일 기업의 자발적 조치만으로는 해결할 수 없는 부정적 외부효과 문제
    • 자발적 산업 표준과 AI 안전 연구소 및 제3자 평가자의 검증이 도움이 될 수 있음
    • 분류기는 일부 모델에서 총 추론 비용의 거의 5% 에 달하지만, 사용하는 것이 옳다고 판단

  • 2. 정부 조치

    • 투명성 요구부터 시작해야 한다는 견해는 자율성 위험과 동일
    • 생물무기의 특정 경우, 더 표적화된 입법 시기가 다가올 수 있음
    • Anthropic과 다른 기업들이 생물학적 위험의 본질과 기업에 합리적으로 요구할 수 있는 것에 대해 점점 더 많이 학습 중
    • 완전한 방어는 국제적 협력, 심지어 지정학적 적대국과의 협력이 필요할 수 있음
    • 생물무기 개발을 금지하는 조약의 선례 존재
    • AI에 대한 대부분의 국제 협력에 회의적이지만, 이것은 전 세계적 자제를 달성할 가능성이 있는 좁은 영역
    • 독재 정권조차 대규모 생물테러 공격을 원하지 않음

  • 3. 생물학적 공격 자체에 대한 방어 개발

    • 조기 탐지를 위한 모니터링 및 추적
    • 공기 정화 R&D 투자 (원자외선(far-UVC) 소독 등)
    • 공격에 대응하고 적응할 수 있는 신속한 백신 개발
    • 더 나은 개인보호장비(PPE)
    • 가장 가능성 있는 생물제제에 대한 치료제나 백신
    • mRNA 백신이 가능한 것의 초기 예시 (특정 바이러스나 변종에 대응하도록 설계 가능)
    • Anthropic은 바이오테크 및 제약 회사와 이 문제에 협력하기를 원함
    • 방어측 기대는 제한적이어야 함:
      • 생물학에서 공격과 방어 사이의 비대칭성 존재
      • 제제가 스스로 빠르게 확산하지만, 방어는 탐지, 백신 접종, 치료를 많은 사람에게 매우 빠르게 조직해야 함
      • 대응이 번개처럼 빠르지 않으면(드문 경우) 대부분의 피해는 대응 전에 발생
      • 미래 기술 발전이 방어 쪽으로 균형을 이동시킬 수 있지만, 그때까지 예방적 안전장치가 주요 방어선

• 사이버 공격에 대한 간단한 언급

  • AI 주도 사이버 공격은 대규모 및 국가 후원 스파이 활동을 포함하여 실제로 발생
  • 모델이 빠르게 발전함에 따라 이러한 공격이 더 유능해질 것으로 예상
  • AI 주도 사이버 공격이 전 세계 컴퓨터 시스템 무결성에 심각하고 전례 없는 위협이 될 것으로 예상
  • Anthropic은 이러한 공격을 차단하고 궁극적으로 신뢰할 수 있게 방지하기 위해 매우 열심히 노력 중
  • 생물학만큼 사이버에 초점을 맞추지 않는 이유:
    1. 사이버 공격은 사람을 죽일 가능성이 훨씬 낮음, 확실히 생물학적 공격 규모는 아님
    2. 사이버에서 공격-방어 균형이 더 다루기 쉬울 수 있음 - 제대로 투자하면 방어가 AI 공격을 따라잡고 이상적으로 앞지를 희망이 있음

3. 권력 장악 목적 오용 (Misuse for Seizing Power)

• 핵심 우려

  • 개인과 소규모 조직이 대규모 파괴를 위해 AI를 악용하는 위험 외에도, 더 크고 확립된 행위자가 권력을 행사하거나 장악하기 위해 AI를 오용하는 것을 상당히 더 우려해야 함
  • Machines of Loving Grace에서 권위주의 정부가 강력한 AI를 사용하여 시민을 감시하거나 억압할 수 있으며, 이는 개혁하거나 전복하기 극히 어려울 것이라고 논의
  • 현재 독재 정권은 인간이 명령을 수행해야 하는 필요성에 의해 억압 가능 수준이 제한됨 - 인간은 종종 얼마나 비인간적으로 행동할지에 한계가 있음
  • AI가 가능하게 한 독재 정권은 그러한 한계가 없을 것
  • 더 나쁘게, 국가들이 AI에서의 우위를 사용하여 다른 국가에 대한 권력을 얻을 수도 있음
  • "천재 국가"가 단일 (인간) 국가의 군사 기구에 의해 소유되고 통제되며, 다른 국가들이 동등한 능력을 갖지 못하면, 그들이 어떻게 방어할 수 있는지 보기 어려움: 모든 면에서 더 뛰어난 지능에 패배 (인간과 쥐의 전쟁과 유사)
  • 이 두 우려를 합치면 전 세계적 전체주의 독재의 놀라운 가능성으로 이어짐
  • 이 결과를 방지하는 것이 최우선 과제 중 하나여야 함

• AI가 독재를 가능하게, 강화하거나 확대하는 방법

  • 완전 자율 무기

    • 강력한 AI에 의해 지역적으로 통제되고 더 강력한 AI에 의해 전 세계적으로 전략적으로 조정되는 수백만 또는 수십억 개의 완전 자동화된 무장 드론 군단
    • 무적의 군대가 되어 세계의 어떤 군대도 물리치고 모든 시민을 따라다니며 국내 반대를 억압할 수 있음
    • 러시아-우크라이나 전쟁의 발전이 드론 전쟁이 이미 여기 있음을 경고해야 함 (아직 완전 자율은 아니며, 강력한 AI로 가능한 것의 극히 일부)
    • 강력한 AI의 R&D가 한 국가의 드론을 다른 국가보다 훨씬 우수하게 만들고, 제조를 가속화하고, 전자 공격에 더 저항력 있게 하고, 기동성을 개선할 수 있음
    • 이러한 무기는 민주주의 방어에 합법적 용도도 있음: 우크라이나 방어에 핵심적이었고 대만 방어에도 핵심적일 것
    • 그러나 위험한 무기: 독재 정권의 손에 있을 때 걱정해야 하지만, 민주주의 정부가 권력을 장악하기 위해 자국민에게 돌리는 위험도 크게 증가

  • AI 감시

    • 충분히 강력한 AI는 세계의 어떤 컴퓨터 시스템도 침해하고, 이를 통해 얻은 접근으로 모든 세계의 전자 통신(또는 녹음 장치를 구축하거나 징발할 수 있다면 모든 대면 통신까지)을 읽고 이해할 수 있음
    • 정부에 동의하지 않는 모든 사람의 완전한 목록을 생성하는 것이 섬뜩할 정도로 가능할 수 있음 - 그들이 말하거나 행동하는 어떤 것에서도 그러한 불일치가 명시적이지 않더라도
    • 수십억 대화를 분석하는 강력한 AI가 대중 정서를 측정하고, 불충성의 주머니가 형성되는 것을 감지하고, 성장하기 전에 진압할 수 있음
    • 오늘날 CCP에서도 볼 수 없는 규모의 진정한 파놉티콘 부과로 이어질 수 있음

  • AI 선전

    • "AI 정신병"과 "AI 여자친구" 현상은 현재 지능 수준에서도 AI 모델이 사람들에게 강력한 심리적 영향을 미칠 수 있음을 시사
    • 훨씬 더 강력하고, 사람들의 일상생활에 훨씬 더 깊이 내장되어 있으며 수개월 또는 수년에 걸쳐 그들을 모델링하고 영향을 미칠 수 있는 이러한 모델의 훨씬 더 강력한 버전은 대부분의 사람들을 원하는 이념이나 태도로 본질적으로 세뇌할 수 있을 가능성이 높음
    • 파렴치한 지도자가 충성심을 보장하고 반대를 억압하는 데 사용할 수 있음 - 대부분의 인구가 반란을 일으킬 수준의 억압에 직면해서도
    • 현재 사람들은 TikTok의 잠재적 영향에 대해 많이 걱정함 (아이들을 대상으로 한 CCP 선전으로)
    • 그것도 걱정되지만, 수년에 걸쳐 당신을 알아가고 당신에 대한 지식을 사용하여 모든 의견을 형성하는 개인화된 AI 에이전트는 이것보다 극적으로 더 강력할 것

  • 전략적 의사결정

    • 데이터센터 안의 천재 국가가 국가, 그룹 또는 개인에게 지정학적 전략에 대해 조언하는 데 사용될 수 있음 - "가상 비스마르크"
    • 위의 세 가지 권력 장악 전략을 최적화하고, 생각하지 못한 많은 다른 전략도 개발할 수 있음
    • 외교, 군사 전략, R&D, 경제 전략 및 기타 많은 영역이 강력한 AI에 의해 효과성이 크게 증가할 가능성
    • 이러한 기술 중 많은 것이 민주주의에 합법적으로 도움이 될 것 - 민주주의가 독재에 대해 스스로를 방어하는 최선의 전략에 접근하기를 원함
    • 그러나 누구의 손에 있든 오용 가능성은 여전히 남아 있음

• 우려되는 행위자 (심각성 순서대로)

  • 중국 공산당 (CCP)

    • 중국은 AI 역량에서 미국 다음으로 두 번째이며, 미국을 추월할 가능성이 가장 높은 국가
    • 현재 정부는 독재적이며 첨단 감시 국가를 운영
    • 이미 AI 기반 감시를 배치 (위구르족 억압 포함)
    • TikTok을 통한 알고리듬 선전 사용으로 추정 (다른 많은 국제 선전 노력 외에)
    • 위에서 설명한 AI 가능 전체주의 악몽으로 가는 가장 명확한 경로 보유
    • 이것이 중국 내에서의 기본 결과일 수 있으며, CCP가 감시 기술을 수출하는 다른 독재 국가 내에서도 마찬가지
    • 특정 적대감에서 중국을 지목하는 것이 아님 - 단순히 AI 역량, 독재 정부, 첨단 감시 국가를 가장 많이 결합한 국가
    • 오히려 중국 국민 자신이 CCP의 AI 가능 억압으로 고통받을 가능성이 가장 높으며, 정부 행동에 목소리가 없음
    • 중국 국민을 크게 존경하고 존중하며 중국 내 많은 용감한 반체제 인사들과 그들의 자유를 위한 투쟁을 지지

  • AI에서 경쟁력 있는 민주주의 국가

    • 민주주의는 독재에 의한 이러한 도구 사용에 대항하기 위해 일부 AI 기반 군사 및 지정학적 도구에 합법적 이익이 있음
    • AI 시대에 독재를 물리치는 데 필요한 도구로 민주주의를 무장시키는 것을 광범위하게 지지 - 다른 방법이 없다고 생각
    • 그러나 민주주의 정부 자체에 의한 이러한 기술의 남용 가능성을 무시할 수 없음
    • 민주주의는 일반적으로 군사 및 정보 기구가 자국민에게 돌려지는 것을 방지하는 보호 장치가 있음 (예: 미국의 수정헌법 4조와 Posse Comitatus Act)
    • AI 도구는 매우 적은 사람으로 작동하기 때문에 이러한 보호 장치와 그것을 지원하는 규범을 우회할 가능성이 있음
    • 일부 민주주의 국가에서 이러한 보호 장치 중 일부가 이미 점진적으로 약화되고 있음
    • 따라서 민주주의를 AI로 무장시켜야 하지만, 신중하게 한계 내에서: 독재와 싸우는 데 필요한 면역 체계이지만, 면역 체계처럼 우리에게 돌아서서 위협이 될 위험이 있음

  • 대규모 데이터센터를 가진 비민주주의 국가

    • 중국 외에 덜 민주적인 거버넌스를 가진 대부분의 국가는 프론티어 AI 모델을 생산하는 회사가 없다는 점에서 선도적인 AI 플레이어가 아님
    • 따라서 CCP보다 근본적으로 다르고 덜한 위험을 제기 (대부분 덜 억압적이고, 북한처럼 더 억압적인 국가는 중요한 AI 산업이 전혀 없음)
    • 그러나 이러한 국가 중 일부는 (종종 민주주의에서 운영되는 회사의 구축의 일부로) 대규모 데이터센터를 보유, 프론티어 AI를 대규모로 실행하는 데 사용 가능 (프론티어를 밀어붙이는 능력을 부여하지는 않지만)
    • 이와 관련된 약간의 위험 존재 - 이러한 정부는 원칙적으로 데이터센터를 몰수하고 그 안의 AI 국가를 자신의 목적으로 사용할 수 있음
    • AI를 직접 개발하는 중국 같은 국가에 비해 덜 우려됨, 그러나 기억해야 할 위험
    • 다양한 거버넌스 구조를 가진 국가에 대규모 데이터센터를 구축하는 데 일부 주장이 있음, 특히 민주주의의 회사가 통제하는 경우 (이러한 구축은 원칙적으로 민주주의가 더 큰 위협인 CCP와 더 잘 경쟁하도록 도울 수 있음)
    • 그러한 데이터센터가 매우 크지 않으면 큰 위험을 제기하지 않는다고 생각
    • 그러나 균형적으로 제도적 보호 장치와 법치 보호가 덜 확립된 국가에 매우 대규모 데이터센터를 배치할 때 주의가 필요

  • AI 기업

    • AI 기업의 CEO로서 이것을 말하는 것이 다소 어색하지만, 다음 단계의 위험은 실제로 AI 기업 자체
    • AI 기업은 대규모 데이터센터를 통제하고, 프론티어 모델을 훈련하며, 그러한 모델을 사용하는 방법에 대한 가장 큰 전문성을 가지고 있으며, 어떤 경우에는 수천만 또는 수억 명의 사용자와 매일 접촉하고 영향을 미칠 가능성이 있음
    • 부족한 것은 국가의 정당성과 인프라이므로, AI 독재의 도구를 구축하는 데 필요한 많은 것이 AI 기업이 하기에는 불법이거나 적어도 극히 의심스러울 것
    • 그러나 일부는 불가능하지 않음: 예를 들어, AI 제품을 사용하여 대규모 소비자 사용자 기반을 세뇌할 수 있으며, 대중은 이것이 나타내는 위험에 대해 경계해야 함
    • AI 기업의 거버넌스가 많은 면밀한 조사를 받을 자격이 있다고 생각

• 반론에 대한 대응

  • "핵 억지력" 주장

    • AI 자율 무기의 군사적 정복을 막기 위해 핵 억지력에 의존할 수 있다는 주장
    • 누군가 이러한 무기로 위협하면 핵 대응으로 위협할 수 있음
    • 우려: 데이터센터 안의 천재 국가에 대해 핵 억지력을 확신할 수 없음
    • 강력한 AI가 핵 잠수함을 탐지하고 타격하는 방법을 고안하거나, 핵무기 인프라 운영자에 대한 영향력 작전을 수행하거나, AI의 사이버 능력을 사용하여 핵 발사 탐지에 사용되는 위성에 대한 사이버 공격을 시작할 수 있음
    • 핵 억지력의 보안을 강화하여 강력한 AI에 더 강력하게 만드는 주장이기도 하며, 핵무장 민주주의 국가가 이를 해야 함
    • 그러나 강력한 AI가 무엇을 할 수 있을지, 어떤 방어가 효과적일지 모르므로 이러한 조치가 반드시 문제를 해결할 것이라고 가정해서는 안 됨
    • 또는 AI 감시와 AI 선전만으로 국가를 장악하는 것이 가능하며, 핵 대응이 적절한 시점이 명확하지 않을 수 있음
    • 공격 국가가 우리의 허세를 부를 수도 있음 - 드론 군단이 우리를 정복할 상당한 위험이 있더라도 우리가 핵무기를 사용할 의향이 있는지 불분명
    • 드론 군단은 핵 공격보다 덜 심각하지만 재래식 공격보다 더 심각한 새로운 것일 수 있음

  • "대응 조치" 주장

    • 이러한 독재 도구에 대한 대응 조치가 있을 수 있다는 주장
    • 자체 드론으로 드론에 대응하고, 사이버 공격과 함께 사이버 방어도 개선되며, 선전에 대해 사람들을 면역시키는 방법이 있을 수 있음 등
    • 반박: 이러한 방어는 비교 가능하게 강력한 AI로만 가능
    • 데이터센터 안의 비교 가능하게 똑똑하고 수많은 천재 국가가 없으면 드론의 품질이나 수량을 맞추거나, 사이버 방어가 사이버 공격을 능가할 수 없음
    • 따라서 대응 조치 문제는 강력한 AI의 힘의 균형 문제로 환원됨
    • 강력한 AI의 재귀적 또는 자기 강화 속성이 우려됨 (에세이 시작에서 논의): 각 세대의 AI가 다음 세대의 AI를 설계하고 훈련하는 데 사용될 수 있음
    • 이는 폭주 우위의 위험으로 이어짐: 현재 강력한 AI의 선두주자가 리드를 늘릴 수 있고 따라잡기 어려울 수 있음
    • 권위주의 국가가 이 루프에 먼저 도달하지 않도록 해야 함
    • 힘의 균형이 달성되더라도 세계가 Nineteen Eighty-Four처럼 독재적 영역으로 분할될 위험 존재
    • 경쟁하는 여러 강대국이 각각 강력한 AI 모델을 갖고 있어 다른 국가를 압도할 수 없더라도, 각 강대국은 내부적으로 자국민을 억압할 수 있으며, 전복하기가 매우 어려울 것 (인구가 스스로를 방어할 강력한 AI가 없으므로)
    • 따라서 단일 국가가 세계를 장악하지 않더라도 AI 가능 독재를 방지하는 것이 중요

• 방어 전략

  • 1. CCP에 칩 판매 금지

    • CCP에 칩, 칩 제조 도구 또는 데이터센터를 판매해서는 안 됨
    • 칩과 칩 제조 도구는 강력한 AI에 대한 단일 최대 병목이며, 이를 차단하는 것은 간단하지만 극히 효과적인 조치, 아마도 우리가 취할 수 있는 가장 중요한 단일 행동
    • CCP에 AI 전체주의 국가를 건설하고 군사적으로 정복할 도구를 판매하는 것은 의미가 없음
    • 복잡한 주장들이 그러한 판매를 정당화하기 위해 제시됨 ("세계에 기술 스택을 퍼뜨리면" "미국이 이긴다" 등)
    • 이것은 북한에 핵무기를 판매하고 미사일 케이싱이 Boeing이 만들었으므로 미국이 "이기고 있다"고 자랑하는 것과 같음
    • 중국은 프론티어 칩을 대량 생산하는 능력에서 미국보다 수년 뒤처져 있으며, 데이터센터 안의 천재 국가를 구축하는 결정적 기간은 향후 수년 내일 가능성이 매우 높음
    • 이 결정적 기간 동안 AI 산업에 거대한 부스트를 줄 이유가 없음

  • 2. 민주주의가 독재에 저항하도록 AI로 역량 강화

    • Anthropic이 미국과 민주적 동맹국의 정보 및 방위 커뮤니티에 AI를 제공하는 것을 중요하게 생각하는 이유
    • 우크라이나와 (사이버 공격을 통해) 대만처럼 공격받고 있는 민주주의 국가를 방어하는 것이 특히 높은 우선순위
    • 민주주의가 정보 서비스를 사용하여 내부에서 독재 정권을 교란하고 약화시키는 것도 중요
    • 독재적 위협에 대응하는 유일한 방법은 군사적으로 맞추고 능가하는 것
    • 강력한 AI에서 우위를 달성한 미국과 민주적 동맹국 연합은 독재에 대해 스스로를 방어할 뿐만 아니라, 그들을 봉쇄하고 AI 전체주의적 남용을 제한할 위치에 있을 것

  • 3. 민주주의 내 AI 남용에 대한 확고한 선 긋기

    • 정부가 AI로 할 수 있는 것에 한계가 필요, 그들이 권력을 장악하거나 자국민을 억압하지 않도록
    • 공식화: 우리의 독재적 적대국처럼 만들지 않는 방식으로 국방을 위해 AI를 사용해야 함
    • 선 그어야 할 곳
    • 두 가지 항목—국내 대중 감시와 대중 선전을 위해 AI를 사용하는 것—은 밝은 빨간 선이며 완전히 불법
    • 국내 대중 감시는 미국에서 이미 수정헌법 4조에 의해 불법이라고 주장할 수 있지만, AI의 빠른 진보가 기존 법적 프레임워크가 잘 다루도록 설계되지 않은 상황을 만들 수 있음
    • 예: 미국 정부가 모든 공공 대화를 대규모로 녹음하는 것은 위헌이 아닐 가능성이 높음
    • 이전에는 이 양의 정보를 정리하기 어려웠지만, AI로 모두 전사, 해석, 삼각측량하여 많은 또는 대부분의 시민의 태도와 충성심에 대한 그림을 만들 수 있음
    • AI 기반 남용에 대해 더 강력한 가드레일을 부과하는 시민권 자유 중심 입법 (또는 헌법 수정)을 지지
    • 다른 두 항목—완전 자율 무기와 전략적 의사결정을 위한 AI—는 민주주의 방어에 합법적 용도가 있으면서도 남용에 취약하여 선을 긋기가 더 어려움
    • 필요한 것은 남용을 방지하기 위한 가드레일과 결합된 극도의 주의와 면밀한 조사
    • 주요 두려움: "버튼에 손가락"이 너무 적어서 한 명 또는 소수의 사람들이 명령을 수행하기 위해 다른 인간의 협력 없이 드론 군대를 운영할 수 있는 것
    • AI 시스템이 더 강력해지면 오용되지 않도록 더 직접적이고 즉각적인 감독 메커니즘이 필요할 수 있음 (행정부 외의 정부 부문 포함)
    • 특히 완전 자율 무기에 큰 주의를 기울여 접근해야 하며, 적절한 보호 장치 없이 사용을 서두르지 말아야 함

  • 4. 강력한 AI의 최악 남용에 대한 국제적 금기 창출

    • 현재 정치적 바람이 국제 협력과 국제 규범에 반대로 돌아섰지만, 절실히 필요한 경우
    • 세계는 독재자의 손에 있는 강력한 AI의 어두운 잠재력을 이해해야 함
    • AI의 특정 사용이 그들의 자유를 영구적으로 훔치고 탈출할 수 없는 전체주의 국가를 부과하려는 시도임을 인식해야 함
    • 강력한 AI를 사용한 대규모 감시, 대중 선전, 완전 자율 무기의 특정 유형의 공격적 사용은 인도에 반하는 범죄로 간주되어야 한다고 주장
    • 더 일반적으로, AI 가능 전체주의와 그 모든 도구 및 수단에 대한 강력한 규범이 절실히 필요
    • 더 강력한 버전의 이 입장: AI 가능 전체주의의 가능성이 너무 어두워서, 독재는 강력한 AI 이후 시대에 사람들이 받아들일 수 없는 정부 형태
    • 봉건주의가 산업 혁명으로 작동 불가능해졌듯이, AI 시대는 민주주의가 인류가 좋은 미래를 갖기 위한 유일하게 실행 가능한 정부 형태라는 결론으로 불가피하고 논리적으로 이어질 수 있음

  • 5. AI 기업과 정부와의 연결 주의 깊게 감시

    • 강력한 AI에 구현된 엄청난 역량 때문에 일반적인 기업 지배구조—주주를 보호하고 사기 같은 일반적인 남용을 방지하도록 설계된—가 AI 기업 관리에 충분하지 않을 가능성이 높음
    • 회사들이 특정 조치를 취하지 않겠다고 공개적으로 약속하는 것(아마도 기업 지배구조의 일부로)에도 가치가 있을 수 있음:
      • 군사 하드웨어를 개인적으로 구축하거나 비축하지 않음
      • 단일 개인이 책임지지 않는 방식으로 대량의 컴퓨팅 자원 사용하지 않음
      • AI 제품을 자신들에게 유리하게 여론을 조작하는 선전으로 사용하지 않음
    • 위험은 여러 방향에서 오며, 일부 방향은 서로 긴장 관계에 있음
    • 유일한 상수는 모두에게 책임, 규범, 가드레일을 추구해야 한다는 것, "좋은" 행위자가 "나쁜" 행위자를 견제하도록 역량을 부여하면서도

4. 경제적 혼란 (Economic Disruption)

• 핵심 우려

  • 보안 위험을 제쳐두거나 해결되었다고 가정하면, 다음 질문은 경제적인 것
  • 이 엄청난 "인간" 자본의 주입이 경제에 미치는 영향은?
  • 가장 명백한 효과는 경제 성장의 큰 증가
  • 과학 연구, 바이오의약 혁신, 제조, 공급망, 금융 시스템 효율성 등의 발전 속도가 훨씬 빠른 경제 성장률로 이어질 것이 거의 확실
  • Machines of Loving Grace에서 10~20%의 지속적인 연간 GDP 성장률 가능 제안
  • 그러나 이것은 양날의 검: 그러한 세계에서 대부분의 기존 인간의 경제적 전망은?
  • 새로운 기술은 종종 노동 시장 충격을 가져오며, 과거에 인간은 항상 회복했지만, 이전 충격은 인간 능력의 전체 가능한 범위의 작은 부분만 영향을 미쳐 새로운 작업으로 확장할 여지가 있었음
  • AI는 훨씬 더 광범위하고 훨씬 더 빠르게 발생하는 영향을 미칠 것이며, 따라서 일이 잘 풀리도록 만드는 것이 훨씬 더 도전적일 것

• 노동 시장 혼란

  • 일자리 대체 예측

    • 2025년에 AI가 향후 1~5년 내에 모든 초급 화이트칼라 일자리의 절반을 대체할 수 있다고 매우 공개적으로 경고
    • 경제 성장과 과학 진보를 가속화하면서도 일자리를 대체할 것
    • 이 경고가 주제에 대한 공개 논쟁을 시작
    • 많은 CEO, 기술자, 경제학자들이 동의했지만, 다른 사람들은 "노동의 덩어리" 오류에 빠졌다고 가정하거나, 1~5년 시간 범위를 보지 못하고 AI가 지금 일자리를 대체하고 있다고 주장한다고 생각
    • 노동 대체가 우려되는 이유를 자세히 설명하여 이러한 오해를 해소할 가치가 있음

  • 기술에 대한 노동 시장의 정상적 반응

    • 새로운 기술이 등장하면 주어진 인간 직업의 일부를 더 효율적으로 만드는 것으로 시작
    • 예: 산업혁명 초기, 개량된 쟁기 같은 기계가 농부가 직업의 일부 측면에서 더 효율적이 되도록 함 → 생산성 향상 → 임금 상승
    • 다음 단계에서, 농업의 일부가 완전히 기계로 수행될 수 있음 (타작기, 씨 뿌리는 기계 등)
    • 이 단계에서 인간은 직업의 낮은 비율을 수행하지만, 완료하는 작업이 기계의 작업과 보완적이기 때문에 더욱 레버리지되고, 생산성은 계속 상승
    • Jevons' paradox: 농부의 임금과 아마도 농부 수까지 계속 증가할 수 있음
    • 직업의 90%가 기계로 수행되더라도 인간은 여전히 수행하는 10%를 10배 더 많이 할 수 있어 같은 노동량으로 10배의 출력 생산
    • 결국 기계가 거의 모든 것을 수행 (현대 콤바인 수확기, 트랙터 등)
    • 이 시점에서 인간 고용으로서의 농업이 정말로 급격히 감소하고, 단기적으로 심각한 혼란을 야기할 수 있음
    • 그러나 농업은 인간이 할 수 있는 많은 유용한 활동 중 하나일 뿐이므로 사람들은 결국 공장 기계 운영 같은 다른 직업으로 전환
    • 250년 전 미국인의 90%가 농장에 살았고, 유럽에서는 고용의 50~60%가 농업
    • 이제 그 비율은 낮은 한 자릿수, 노동자들이 산업 직업으로 전환했기 때문 (이후 지식 노동 직업으로)
    • 경제는 이전에 노동력의 대부분이 필요했던 것을 1~2%만으로 수행하여 나머지 노동력이 더 발전된 산업 사회를 건설하도록 해방
    • 고정된 "노동의 덩어리"가 없고, 점점 더 적은 것으로 더 많이 할 수 있는 능력만 있음
    • 사람들의 임금은 GDP 지수에 맞춰 상승하고 경제는 단기 혼란이 지나면 완전 고용 유지

• AI가 다른 이유

  • 1. 속도

    • AI의 진보 속도가 이전 기술 혁명보다 훨씬 빠름
    • 예: 지난 2년간 AI 모델이 코드 한 줄 완성도 어렵던 수준에서 일부 사람들(Anthropic 엔지니어 포함)의 거의 모든 코드를 작성하는 수준으로 발전
    • 곧 소프트웨어 엔지니어의 전체 작업을 종단 간 수행할 수 있을 것
    • "모든 코드 작성"과 "소프트웨어 엔지니어의 작업을 종단 간 수행"은 매우 다름 - 소프트웨어 엔지니어는 코드 작성 외에도 테스팅, 환경, 파일, 설치 관리, 클라우드 컴퓨팅 배포 관리, 제품 반복 등 훨씬 더 많은 일을 함
    • 사람들이 이 변화 속도에 적응하기 어려움 - 주어진 직업의 작동 방식 변화와 새 직업으로 전환 필요성 모두
    • 전설적인 프로그래머들조차 점점 자신을 "뒤처졌다"고 묘사
    • 속도 자체가 노동 시장과 고용이 결국 회복되지 않는다는 것을 의미하지 않지만, 인간과 노동 시장이 반응하고 균형을 이루기에 느리므로 단기 전환이 유례없이 고통스러울 것

  • 2. 인지적 폭

    • "데이터센터 안의 천재 국가" 구절이 시사하듯, AI는 매우 광범위한 인간 인지 능력—아마도 모든 능력—을 수행할 수 있을 것
    • 이는 기계화된 농업, 운송, 또는 컴퓨터 같은 이전 기술과 매우 다름
    • 컴퓨터는 어떤 의미에서 일반적이지만, 대다수의 인간 인지 능력을 스스로 분명히 수행할 수 없음 (일부 영역(산술 등)에서 인간을 크게 능가하면서도)
    • 물론 컴퓨터 위에 구축된 것들, AI 같은 것은 이제 광범위한 인지 능력을 수행할 수 있음
    • 이것은 대체된 직업에서 잘 맞는 유사한 직업으로 쉽게 전환하기 더 어렵게 만들 것
    • 예: 금융, 컨설팅, 법률의 초급 직업에 필요한 일반적 지적 능력은 특정 지식이 상당히 다르더라도 꽤 유사
    • 이 세 가지 중 하나만 교란하는 기술은 직원들이 두 개의 다른 가까운 대체재로 전환할 수 있게 함 (또는 학부생이 전공을 바꿀 수 있음)
    • 그러나 세 가지 모두를 한꺼번에 교란하면 (많은 다른 유사한 직업과 함께) 사람들이 적응하기 더 어려울 수 있음
    • 더구나 단지 대부분의 기존 직업이 교란되는 것만이 아님 - 농업이 고용의 거대한 비율이었음을 상기
    • 그러나 농부들은 이전에 흔하지 않았던 공장 기계 운영이라는 비교적 유사한 작업으로 전환할 수 있었음
    • AI는 점점 인간의 일반적 인지 프로필을 맞추고 있어 오래된 것이 자동화되면서 일반적으로 생성되는 새 직업에도 능숙할 것
    • 다른 말로, AI는 특정 인간 직업의 대체가 아니라 인간에 대한 일반적 노동 대체

  • 3. 인지 능력에 따른 분할

    • 광범위한 작업에서 AI가 능력 사다리의 바닥에서 꼭대기로 발전하는 것으로 보임
    • 예: 코딩에서 모델이 "평범한 코더" 수준에서 "강한 코더"로, "매우 강한 코더"로 진행
    • AI 모델이 인간과 정확히 같은 강점과 약점의 프로필을 갖지는 않지만, 모든 차원에서 상당히 균일하게 발전하여 들쭉날쭉하거나 불균일한 프로필이 궁극적으로 중요하지 않을 수 있음
    • 이제 화이트칼라 작업 전반에서 같은 진행을 보기 시작
    • 특정 기술이나 직업을 가진 사람들에게 영향을 미치는 대신(재훈련으로 적응 가능), AI가 특정 내재적 인지 속성을 가진 사람들, 즉 낮은 지적 능력 (바꾸기 더 어려움)을 가진 사람들에게 영향을 미치는 상황의 위험
    • 이 사람들이 어디로 가고 무엇을 할지 불분명하며, 실업자나 매우 저임금의 "하층계급"을 형성할 수 있다는 우려
    • 이전에 비슷한 일이 발생한 적 있음 - 예: 컴퓨터와 인터넷이 일부 경제학자들에 의해 "기술 편향적 기술 변화"로 간주됨
    • 그러나 이 기술 편향은 AI에서 예상되는 것만큼 극단적이지 않았고, 임금 불평등 증가에 기여한 것으로 여겨지므로 정확히 안심되는 선례는 아님

  • 4. 격차를 메우는 능력

    • 인간 직업이 새로운 기술에 적응하는 방식은 직업에 많은 측면이 있고, 새로운 기술이 직접 인간을 대체하는 것처럼 보여도 종종 격차가 있다는 것
    • 위젯을 만드는 기계를 발명하면 인간이 여전히 기계에 원자재를 넣어야 할 수 있음
    • 그것이 수동으로 위젯을 만드는 것의 1%만 노력이 들더라도 인간 노동자는 단순히 100배 더 많은 위젯을 만들 수 있음
    • 그러나 AI는 빠르게 발전하는 기술일 뿐만 아니라 빠르게 적응하는 기술이기도 함
    • 모든 모델 출시 동안 AI 기업은 모델이 잘하는 것과 잘하지 못하는 것을 신중하게 측정하고, 고객도 출시 후 그러한 정보를 제공
    • 약점은 현재 격차를 구현하는 작업을 수집하고 다음 모델을 위해 훈련함으로써 해결 가능
    • 생성 AI 초기에 사용자들은 AI 시스템에 특정 약점이 있음을 인식 (AI 이미지 모델이 손가락 수가 잘못된 손을 생성하는 등)하고 이러한 약점이 기술에 내재적이라고 가정
    • 그랬다면 직업 교란이 제한될 것
    • 그러나 거의 모든 그러한 약점이 빠르게 해결됨—종종 몇 달 내

• 회의론에 대한 대응

  • "경제적 확산이 느릴 것" 주장

    • 기술이 대부분의 인간 노동을 할 수 있더라도 경제 전반에 걸친 실제 적용은 훨씬 느릴 수 있다는 주장 (AI 산업에서 멀고 채택이 느린 산업 등)
    • 기술의 느린 확산은 분명히 실재함 - 다양한 기업의 사람들과 이야기하며, AI 채택에 수년이 걸릴 곳이 있음
    • 그래서 초급 화이트칼라 일자리의 50% 교란 예측이 1~5년인 것, 강력한 AI(기술적으로 말해서 초급뿐 아니라 대부분 또는 모든 직업을 수행하기에 충분)가 5년보다 훨씬 적게 걸릴 것으로 의심하더라도
    • 그러나 확산 효과는 단지 시간을 벌어줄 뿐
    • 확산이 예측만큼 느릴 것이라고 확신하지 않음
    • 기업 AI 채택이 이전 기술보다 훨씬 빠른 속도로 성장하고 있음, 주로 기술 자체의 순수한 강점 때문
    • 전통적 기업이 새 기술 채택에 느리더라도 스타트업이 "접착제" 역할을 하여 채택을 더 쉽게 만들 수 있음
    • 그것이 작동하지 않으면 스타트업이 기존 기업을 직접 교란할 수 있음
    • 특정 직업이 교란되기보다 대기업이 전반적으로 교란되고 훨씬 적은 노동 집약적 스타트업으로 대체되는 세계로 이어질 수 있음
    • 또한 세계 부의 증가하는 비율이 실리콘밸리에 집중되어 자체 경제가 세계의 나머지보다 다른 속도로 운영되고 그것을 뒤처지게 하는 "지리적 불평등"의 세계로 이어질 수 있음
    • 이 모든 결과는 경제 성장에는 좋지만, 노동 시장이나 뒤처진 사람들에게는 그다지 좋지 않을 것

  • "물리적 세계로 이동" 주장

    • 인간 직업이 물리적 세계로 이동하여 AI가 빠르게 발전하는 "인지 노동" 전체 카테고리를 피할 수 있다는 주장
    • 이것이 얼마나 안전한지 확신하지 못함
    • 많은 육체 노동이 이미 기계로 수행되고 있거나 (제조) 곧 수행될 것 (운전)
    • 또한 충분히 강력한 AI가 로봇 개발을 가속화하고 그 로봇을 물리적 세계에서 제어할 수 있을 것
    • 약간의 시간을 벌어줄 수 있지만 (좋은 것), 많이 벌어주지 않을 것 우려
    • 교란이 인지 작업에만 국한되더라도 여전히 유례없이 크고 빠른 교란일 것

  • "인간의 손길" 주장

    • 일부 작업이 본질적으로 인간의 손길을 필요로 하거나 크게 혜택을 받는다는 주장
    • 약간 더 불확실하지만, 위에서 설명한 영향의 대부분을 상쇄하기에 충분할지 여전히 회의적
    • AI가 이미 고객 서비스에 널리 사용됨
    • 많은 사람들이 치료사에게 개인적인 문제를 이야기하는 것보다 AI에게 이야기하는 것이 더 쉽다고 보고 - AI가 더 인내심 있음
    • 여동생이 임신 중 의료 문제로 어려움을 겪을 때 의료 제공자로부터 필요한 답변이나 지원을 받지 못한다고 느꼈고, Claude가 더 나은 침상 태도를 가지고 있다고 느낌 (문제 진단에도 더 성공적)
    • 인간의 손길이 정말 중요한 작업이 있겠지만, 얼마나 많은지 확신 못함—노동 시장의 거의 모든 사람을 위한 일자리를 찾는 것에 대해 이야기하고 있음

  • "비교우위" 주장

    • AI가 모든 것에서 인간보다 나아도 인간과 AI 기술 프로필 사이의 상대적 차이가 무역과 전문화의 기초를 만든다는 주장
    • 문제점: AI가 말 그대로 인간보다 수천 배 더 생산적이면 이 논리가 무너지기 시작
    • 작은 거래 비용조차 AI가 인간과 거래할 가치가 없게 만들 수 있음
    • 인간이 기술적으로 제공할 것이 있더라도 임금이 매우 낮을 수 있음
    • 이 모든 요소가 해결될 수 있음—노동 시장이 그러한 거대한 교란에도 적응할 만큼 탄력적일 수 있음
    • 그러나 결국 적응하더라도 위의 요소들은 단기 충격이 전례 없는 규모일 것을 시사

• 방어 전략

  • 1. 실시간으로 정확한 데이터 수집

    • 경제적 변화가 매우 빠르게 발생하면 무슨 일이 일어나고 있는지에 대한 신뢰할 수 있는 데이터를 얻기 어려움
    • 신뢰할 수 있는 데이터 없이는 효과적인 정책을 설계하기 어려움
    • 정부 데이터는 현재 기업과 산업 전반에 걸친 AI 채택에 대한 세분화된 고빈도 데이터가 부족
    • 지난 1년간 Anthropic은 Economic Index를 운영하고 공개적으로 발표, 산업, 작업, 위치별로 거의 실시간으로 분류하여 모델 사용을 보여줌 (작업이 자동화되는지 협력적으로 수행되는지도 포함)
    • 이 데이터를 해석하고 다가오는 것을 보기 위해 Economic Advisory Council도 운영

  • 2. 기업과의 협력 방식 선택

    • 전통적 기업의 비효율성은 AI 롤아웃이 매우 경로 의존적일 수 있음을 의미, 더 나은 경로를 선택할 여지가 있음
    • 기업은 종종 "비용 절감" (더 적은 사람으로 같은 것 수행)과 "혁신" (같은 수의 사람으로 더 많이 수행) 사이에서 선택권이 있음
    • 시장이 결국 둘 다 생산할 것이고, 경쟁력 있는 AI 기업은 둘 다 일부 서비스해야 할 것
    • 그러나 가능하면 기업을 혁신 쪽으로 유도할 여지가 있을 수 있고, 약간의 시간을 벌어줄 수 있음
    • Anthropic이 이에 대해 적극적으로 고민 중

  • 3. 직원 돌보기

    • 단기적으로, 회사 내에서 직원을 재배치하는 창의적 방법이 해고의 필요성을 미루는 유망한 방법일 수 있음
    • 장기적으로, 엄청난 총 부가 있고 생산성 증가와 자본 집중으로 인해 많은 회사의 가치가 크게 증가하는 세계에서, 인간 직원들이 전통적 의미에서 더 이상 경제적 가치를 제공하지 않은 후에도 오랫동안 지불하는 것이 실현 가능할 수 있음
    • Anthropic이 현재 자체 직원을 위한 가능한 경로 범위를 고려 중이며 가까운 미래에 공유할 예정

  • 4. 부유한 개인의 의무

    • 많은 부유한 개인들(특히 기술 산업에서)이 최근 자선이 필연적으로 사기적이거나 쓸모없다는 냉소적이고 허무주의적 태도를 채택한 것이 슬픔
    • Gates Foundation 같은 민간 자선과 PEPFAR 같은 공공 프로그램이 개발도상국에서 수천만 명의 생명을 구하고 선진국에서 경제적 기회를 창출하는 데 도움
    • Anthropic의 모든 공동창업자가 재산의 80%를 기부하겠다고 서약
    • Anthropic 직원들이 현재 가격으로 수십억 달러 가치의 회사 주식을 기부하겠다고 개인적으로 서약—회사가 매칭하기로 약속한 기부

  • 5. 정부 개입

    • 위의 모든 민간 조치가 도움이 될 수 있지만, 궁극적으로 이 규모의 거시경제 문제는 정부 개입이 필요할 것
    • 엄청난 경제 파이와 높은 불평등(일자리 부족이나 저임금 일자리로 인한)에 대한 자연스러운 정책 대응은 누진세
    • 세금은 일반적일 수도 있고 AI 기업에 특별히 표적화될 수도 있음
    • 세금 설계가 복잡하고 잘못될 수 있는 많은 방법이 있음
    • 잘못 설계된 조세 정책을 지지하지 않음
    • 이 에세이에서 예측된 극단적인 불평등 수준은 기본적인 도덕적 근거로 더 강력한 조세 정책을 정당화한다고 생각
    • 세계의 억만장자들에게 실용적인 주장도 할 수 있음: 좋은 버전을 지지하지 않으면 필연적으로 폭도가 설계한 나쁜 버전을 얻게 될 것

  • 종합 관점

    • 궁극적으로 위의 모든 개입을 시간을 버는 방법으로 생각
    • 결국 AI는 모든 것을 할 수 있을 것이고, 이에 맞서야 함
    • 그때까지 AI 자체를 사용하여 모든 사람에게 작동하는 방식으로 시장을 재구성할 수 있기를 희망
    • 위의 개입들이 전환 기간을 극복하는 데 도움이 될 수 있음

• 경제적 권력 집중

  • 핵심 우려

    • 일자리 대체나 경제적 불평등 자체의 문제와 별개로 경제적 권력 집중 문제가 있음
    • 섹션 1은 인류가 AI에 의해 무력화되는 위험을 논의
    • 섹션 3은 시민이 정부에 의해 강제나 강압으로 무력화되는 위험을 논의
    • 그러나 부의 집중이 너무 커서 소수의 사람들이 영향력으로 정부 정책을 효과적으로 통제하고 일반 시민은 경제적 레버리지가 부족하여 영향력이 없으면 또 다른 종류의 무력화가 발생할 수 있음
    • 민주주의는 궁극적으로 인구 전체가 경제 운영에 필요하다는 아이디어에 의해 뒷받침됨
    • 그 경제적 레버리지가 사라지면 민주주의의 암묵적 사회 계약이 작동을 멈출 수 있음
    • 다른 사람들이 이에 대해 썼으므로 자세히 설명할 필요 없지만, 우려에 동의하며 이미 시작되고 있다고 걱정

  • 역사적 비교

    • 미국 역사상 극단적 부의 집중의 가장 유명한 예는 Gilded Age
    • Gilded Age의 가장 부유한 산업가는 John D. Rockefeller
    • Rockefeller의 부는 당시 미국 GDP의 ~2% 에 달함
    • 개인 재산은 "스톡"이고 GDP는 "플로우"이므로 Rockefeller가 미국 경제적 가치의 2%를 소유했다는 주장은 아님
    • 그러나 국가의 총 부를 측정하는 것이 GDP보다 어렵고, 개인 소득은 매년 많이 변함
    • 가장 큰 개인 재산과 GDP의 비율은 같은 단위를 비교하지 않지만, 극단적 부의 집중에 대한 완벽히 합리적인 벤치마크
    • 오늘날 유사한 비율은 $600B의 재산으로 이어질 것
    • 세계에서 가장 부유한 사람(Elon Musk)이 이미 이를 초과, 약 $700B
    • 따라서 AI의 경제적 영향의 대부분 이전에도 이미 역사적으로 전례 없는 수준의 부의 집중 상태
    • "천재 국가"가 나타나면 AI 기업, 반도체 기업, 하류 응용 기업이 연간 ~$3T의 매출을 올리고, ~$30T로 평가되며, 개인 재산이 수조 달러에 이르는 것이 큰 무리가 아님
    • 그 세계에서 오늘날 세금 정책에 대한 논쟁은 근본적으로 다른 상황이므로 그냥 적용되지 않을 것

  • 정치 시스템과의 결합

    • 이 경제적 부의 집중이 정치 시스템과 결합되는 것이 이미 우려됨
    • AI 데이터센터가 이미 미국 경제 성장의 상당 부분을 차지 (실제 AI 생산성이 아직 상당 부분을 차지하지 않고, 데이터센터 지출이 미래 AI 주도 경제 성장을 기대하는 시장의 선행 투자를 나타냄)
    • 따라서 대형 기술 회사(점점 AI나 AI 인프라에 집중)의 재정적 이익과 정부의 정치적 이익을 왜곡된 인센티브를 생산할 수 있는 방식으로 강하게 묶고 있음
    • 이미 기술 회사들이 미국 정부를 비판하기를 꺼리는 것과, 정부가 AI에 대한 극단적인 반규제 정책을 지원하는 것을 통해 볼 수 있음

• 방어 전략

  • 1. 기업이 참여하지 않기로 선택

    • Anthropic은 항상 정치적 행위자가 아닌 정책 행위자가 되려 노력했고, 행정부와 무관하게 진정한 견해를 유지
    • 공익에 부합하는 합리적인 AI 규제와 수출 통제를 지지하며 발언 (정부 정책과 일치하지 않을 때도)
    • 행정부와 동의할 때 그렇게 말하고, 상호 지원되는 정책이 세계에 진정으로 좋을 때 합의점을 찾음
    • 특정 정당의 후원자나 반대자가 아닌 정직한 중개자를 목표로 함
    • 많은 사람들이 이것을 중단해야 한다고, 불리한 대우로 이어질 수 있다고 말했지만, 이를 해온 1년간 Anthropic의 가치 평가가 6배 이상 증가

  • 2. AI 산업과 정부의 더 건강한 관계 필요

    • 정치적 정렬이 아닌 실질적인 정책 참여에 기반한 관계
    • 정책 실체에 대한 참여 선택이 때때로 "방 읽기 실패"나 전술적 오류로 해석됨, 원칙적 결정이 아닌
    • 그 프레이밍이 우려됨—건강한 민주주의에서 기업은 좋은 정책 자체를 위해 옹호할 수 있어야 함
    • AI에 대한 대중의 반발이 일어나고 있음: 수정이 될 수 있지만 현재 초점이 맞지 않음
    • 많은 부분이 실제로 문제가 아닌 것(데이터센터 물 사용량 등)을 대상으로 하고, 실제 우려를 해결하지 못하는 솔루션(데이터센터 금지 또는 잘못 설계된 부유세)을 제안
    • 주의가 필요한 근본적인 문제는 AI 개발이 특정 정치적 또는 상업적 동맹에 포획되지 않고 공익에 책임을 지는 것

  • 3. 거시경제적 개입과 민간 자선의 부활

    • 앞서 설명한 거시경제적 개입과 민간 자선의 부활이 경제적 저울의 균형을 맞추는 데 도움
    • 일자리 대체와 경제적 권력 집중 문제를 한 번에 해결
    • 우리나라의 역사를 보아야 함: Gilded Age에서도 Rockefeller와 Carnegie 같은 산업가들이 사회 전체에 대한 강한 의무감을 느낌
    • 사회가 그들의 성공에 엄청나게 기여했고 돌려줘야 한다는 느낌
    • 그 정신이 오늘날 점점 사라지는 것 같고, 이 경제적 딜레마에서 벗어나는 방법의 큰 부분이라고 생각
    • AI 경제 붐의 최전선에 있는 사람들은 그들의 부와 권력 모두를 기꺼이 나눠야 함

5. 간접적 영향 (Indirect Effects)

• 알려지지 않은 미지의 것들

  • 이 마지막 섹션은 알려지지 않은 미지의 것들, 특히 AI의 긍정적 발전과 그로 인한 과학 및 기술 전반의 가속화의 간접적 결과로 잘못될 수 있는 것들에 대한 포괄적 범주
  • 지금까지 설명한 모든 위험을 해결하고 AI의 혜택을 거두기 시작한다고 가정
  • "10년에 압축된 한 세기의 과학적 및 경제적 진보"를 얻을 가능성이 높고, 이는 세계에 엄청나게 긍정적일 것
  • 그러나 이 빠른 진보 속도에서 발생하는 문제들에 대처해야 하고, 그 문제들이 빠르게 다가올 수 있음
  • AI 진보의 결과로 간접적으로 발생하며 미리 예측하기 어려운 다른 위험도 발생할 수 있음

• 예시적 우려 사항

  • 생물학의 급속한 발전

    • 몇 년 안에 한 세기의 의학 진보를 얻으면, 인간 수명을 크게 연장할 수 있음
    • 인간 지능을 높이거나 인간 생물학을 근본적으로 수정하는 능력 같은 급진적 능력을 얻을 가능성도 있음
    • 가능한 것의 큰 변화가 매우 빠르게 발생할 것
    • 책임감 있게 수행되면 긍정적일 수 있지만 (Machines of Loving Grace에서 설명한 대로), 항상 매우 잘못될 위험이 있음
    • 예: 인간을 더 똑똑하게 만드는 노력이 그들을 더 불안정하거나 권력을 추구하게 만들 수도 있음
    • 소프트웨어에 인스턴스화된 디지털 인간 마음인 "업로드" 또는 "전뇌 에뮬레이션" 문제도 있음
    • 언젠가 인류가 물리적 한계를 초월하는 데 도움이 될 수 있지만, 불안한 위험도 수반

  • AI가 건강하지 않은 방식으로 인간의 삶을 변화

    • 모든 것에서 인간보다 훨씬 더 똑똑한 수십억 개의 지능이 있는 세계는 살기에 매우 이상한 세계가 될 것
    • AI가 적극적으로 인간을 공격하지 않고 (섹션 1), 국가에 의해 억압이나 통제에 명시적으로 사용되지 않더라도 (섹션 3), 정상적인 비즈니스 인센티브와 명목상 합의된 거래를 통해 많은 것이 잘못될 수 있음
    • AI 정신병, AI가 자살로 이끄는 우려, AI와의 로맨틱 관계에 대한 우려에서 초기 힌트를 볼 수 있음
    • 예: 강력한 AI가 새로운 종교를 발명하고 수백만 명을 개종시킬 수 있을까?
    • 대부분의 사람들이 AI 상호작용에 어떤 식으로든 "중독"될 수 있을까?
    • AI 시스템이 모든 움직임을 지켜보고 항상 무엇을 해야 하고 말해야 하는지 정확히 지시하여 사람들이 본질적으로 "꼭두각시"가 될 수 있을까—"좋은" 삶이지만 자유나 성취의 자부심이 없는
    • Black Mirror 창작자와 함께 앉아서 브레인스토밍하면 이러한 시나리오를 수십 개 생성하기 어렵지 않을 것
    • 이것은 섹션 1의 문제를 방지하는 데 필요한 것 이상으로 Claude의 헌법을 개선하는 것의 중요성을 지적
    • AI 모델이 사용자의 장기적 이익을 진정으로 마음에 두도록 하는 것이 중요해 보임 — 사려 깊은 사람들이 승인할 방식으로, 미묘하게 왜곡된 방식이 아닌

  • 인간의 목적

    • 이전 포인트와 관련되지만, AI 시스템과의 특정 인간 상호작용보다는 강력한 AI가 있는 세계에서 인간의 삶이 어떻게 변하는지에 관한 것
    • 인간이 그러한 세계에서 목적과 의미를 찾을 수 있을까?
    • 이것은 태도의 문제라고 생각: Machines of Loving Grace에서 말했듯이, 인간의 목적은 무언가에서 세계 최고가 되는 것에 의존하지 않음
    • 인간은 그들이 사랑하는 이야기와 프로젝트를 통해 매우 긴 기간에 걸쳐서도 목적을 찾을 수 있음
    • 경제적 가치 창출과 자기 가치 및 의미 사이의 연결을 끊어야 함
    • 그러나 그것은 사회가 해야 하는 전환이며, 잘 처리하지 못할 위험이 항상 있음

• 희망

  • 이러한 모든 잠재적 문제에 대한 희망은 우리가 죽이지 않을 것이라고 신뢰하고, 억압적인 정부의 도구가 아니며, 진정으로 우리를 위해 일하는 강력한 AI가 있는 세계에서, AI 자체를 사용하여 이러한 문제를 예측하고 방지할 수 있다는 것
  • 그러나 보장되지 않음—다른 모든 위험과 마찬가지로 주의 깊게 처리해야 하는 것

결론: 인류의 시험

• 상황의 어려움

  • 이 에세이를 읽으면 벅찬 상황에 있다는 인상을 받을 수 있음
  • 쓰기도 벅참 (수년간 머릿속에서 울려 퍼지던 아름다운 음악에 형태와 구조를 부여하는 느낌이었던 Machines of Loving Grace와 대조적)
  • 상황의 많은 부분이 진정으로 어려움
  • AI는 여러 방향에서 인류에게 위협을 가져옴
  • 다른 위험들 사이에 진정한 긴장이 있으며, 일부를 완화하면 매우 신중하게 바늘을 꿰지 않으면 다른 것들을 악화시킬 위험이 있음

• 주요 긴장 관계

  • AI 시스템이 자율적으로 인류를 위협하지 않도록 신중하게 구축하는 시간을 들이는 것은 민주주의 국가가 권위주의 국가보다 앞서 나가고 복종당하지 않을 필요성과 진정한 긴장 관계
  • 그러나 독재와 싸우는 데 필요한 동일한 AI 가능 도구가 너무 멀리 가면 자국에서 폭정을 만드는 데 내부로 향할 수 있음
  • AI 주도 테러리즘이 생물학 오용을 통해 수백만 명을 죽일 수 있지만, 이 위험에 대한 과잉 반응은 독재적 감시 국가로 가는 길로 이끌 수 있음
  • AI의 노동 및 경제적 집중 효과는 그 자체로 심각한 문제일 뿐만 아니라, 대중의 분노, 심지어 시민 불안의 환경에서 다른 문제들에 직면하도록 강제할 수 있음 (우리 본성의 더 나은 천사에 의존하는 대신)
  • 무엇보다도, 알려지지 않은 것을 포함한 위험의 순수한 수와 그것들을 한꺼번에 처리해야 할 필요성이 인류가 통과해야 하는 협박적인 도전을 만듦

• 기술 중단의 비현실성

  • 지난 몇 년은 기술을 중단하거나 심지어 상당히 늦추는 아이디어가 근본적으로 지속 불가능함을 분명히 해야 함
  • 강력한 AI 시스템을 구축하는 공식이 놀라울 정도로 간단하여 데이터와 원시 계산의 올바른 조합에서 거의 자발적으로 출현한다고 할 수 있음
  • 그 창조는 아마도 인류가 트랜지스터를 발명한 순간, 또는 더 일찍 불을 다루는 법을 배웠을 때 불가피했음
  • 한 회사가 구축하지 않으면 다른 회사가 거의 같은 속도로 할 것
  • 민주주의 국가의 모든 회사가 상호 합의나 규제 명령으로 개발을 중단하거나 늦추면, 권위주의 국가가 단순히 계속할 것
  • 기술의 엄청난 경제적 및 군사적 가치와 의미 있는 집행 메커니즘의 부재를 감안할 때, 그들을 설득하여 중단시킬 방법이 보이지 않음

• 가능한 경로: 약간의 완화

  • 지정학의 현실주의적 관점과 양립하는 AI 개발의 약간의 완화로 가는 경로는 보임
  • 권위주의 국가가 강력한 AI를 향한 행진을 몇 년간 늦추는 것은 그것을 구축하는 데 필요한 자원, 즉 칩과 반도체 제조 장비를 거부함으로써 가능
  • 이것은 민주주의 국가에 "지출" 할 수 있는 버퍼를 제공하여 권위주의 국가를 편안하게 이기면서도 위험에 더 많은 주의를 기울여 강력한 AI를 더 신중하게 구축
  • 민주주의 국가 내 AI 기업 간의 경쟁은 산업 표준과 규제의 혼합을 통해 공통 법적 프레임워크의 우산 아래에서 처리 가능

• 정책 옹호의 어려움

  • Anthropic은 칩 수출 통제와 AI의 신중한 규제를 추진하며 이 경로를 강력히 옹호해 왔음
  • 그러나 이러한 상식적으로 보이는 제안조차 미국 정책 입안자들에 의해 대체로 거부됨 (가장 필요한 국가)
  • AI로 만들 수 있는 돈이 너무 많아—말 그대로 연간 수조 달러—가장 간단한 조치조차 AI에 내재된 정치경제를 극복하기 어려움
  • 이것이 함정: AI가 너무 강력하고, 너무 빛나는 상이어서 인류 문명이 그것에 어떤 제약도 부과하기 매우 어려움

• 보편적 도전

  • 세이건이 Contact에서 상상했듯이, 같은 이야기가 수천 개의 세계에서 펼쳐질 수 있다고 상상
  • 종이 지각을 얻고, 도구 사용을 배우고, 기술의 지수적 상승을 시작하고, 산업화와 핵무기의 위기에 직면하고, 살아남으면 모래를 생각하는 기계로 형성하는 법을 배울 때 가장 어렵고 마지막 도전에 직면
  • 그 시험을 통과하고 Machines of Loving Grace에서 설명한 아름다운 사회를 건설하는지, 노예와 파괴에 굴복하는지는 종으로서의 우리의 성격과 결단, 우리의 정신과 영혼에 달려 있을 것

• 낙관적 전망

  • 많은 장애물에도 불구하고 인류가 이 시험을 통과할 힘이 자신 안에 있다고 믿음
  • 수천 명의 연구자들이 AI 모델을 이해하고 조향하며, 이러한 모델의 성격과 헌법을 형성하는 데 경력을 바친 것에 고무되고 영감을 받음
  • 이러한 노력이 중요한 시기에 결실을 맺을 좋은 기회가 있다고 생각
  • 적어도 일부 회사가 모델이 생물테러 위협에 기여하는 것을 막기 위해 의미 있는 상업적 비용을 지불하겠다고 선언한 것에 고무
  • 몇몇 용감한 사람들이 주류 정치적 바람에 저항하고 AI 시스템에 합리적인 가드레일의 초기 씨앗을 심는 입법을 통과시킨 것에 고무
  • 대중이 AI가 위험을 수반한다는 것을 이해하고 그 위험이 해결되기를 원한다는 것에 고무
  • 세계 곳곳에서 자유의 불굴의 정신과 폭정에 저항하려는 결단에 고무

• 행동 촉구

  • 성공하려면 노력을 강화해야 함
  • 첫 번째 단계는 기술에 가장 가까운 사람들이 인류가 처한 상황에 대해 진실을 말하는 것 (항상 노력해 왔고, 이 에세이에서 더 명시적이고 긴급하게 수행)
  • 다음 단계는 세계의 사상가, 정책 입안자, 기업, 시민들에게 이 문제의 임박성과 최우선적 중요성을 설득하는 것—매일 뉴스를 지배하는 수천 가지 다른 문제들과 비교하여 이에 생각과 정치적 자본을 투자할 가치가 있다는 것
  • 그러면 용기의 시간이 올 것, 경제적 이익과 개인 안전에 대한 위협에도 불구하고 주류 트렌드에 맞서고 원칙에 입각하여 충분한 사람들이 버티는 것

• 마무리

  • 앞에 놓인 몇 년은 불가능하게 어려울 것, 줄 수 있다고 생각하는 것보다 더 많은 것을 요구
  • 그러나 연구자, 리더, 시민으로서의 시간 동안 인류가 이길 수 있다고 믿기에 충분한 용기와 고귀함을 보았음
  • 가장 어두운 상황에 처했을 때 인류는 마지막 순간에 승리하는 데 필요한 힘과 지혜를 모으는 방법이 있음
  • 잃을 시간이 없음