오늘 Anthropic에서 사직했다

Hacker News 의견들 Jacob의 주장에 이 정도로 회의적인 반응이 나오는 게 꽤 당혹스러움. 이번 여름의 사건들을 보고도 재앙으로 이어질 법한 경로 몇 가지를 떠올리지 못한다면 상상력이 부족한 것처럼 느껴짐. 그런 결과가 일어날 확률이 낮거나, 너무 멀리 가기 전에 멈출 수 있다고 믿는 건 이해할 만함. 나는 동의하지 않는 편이지만, 그런 경로 일부를 실현할 역량이 곧 갖춰질 것 자체를 의심하는 건 이해하기 어려움. 가장 그럴듯한 시나리오는 기계의 우월함보다 인간의 어리석음이 더 큰 역할을 하는 쪽으로 보임. The Matrix보다는 WarGames가 더 현실적임. 이런 반응은 대체로 두 가지 사고방식으로 나뉜다고 봄. 하나는 내가 못 알아내면 남도 못 알아낸다는 태도이고, 다른 하나는 해당 내용을 제대로 이해하지 못해 필요한 추론을 따라 결론에 도달하지 못하는 것임. 둘 다 맥락이 부족하지만, 그 부족함이 드러나는 방식은 다름. 모델이 정말 개선되고 있는지 모르겠음. 내 코드베이스에서 성과를 정량화할 수 있는 작업 몇 가지에 Astra를 써봤는데, 성능은 sol 5.6과 비슷함. 반면 문제와 해법을 설명하는 글은 Opus 5 수준으로 엉망이 됨. 비용 소모는 엄청나서 월 100달러 구독으로도 오전 한나절이면 주간 사용 한도를 다 써버릴 수 있음. 실용적인 작업에는 다시 5.6/Opus 4.6–4.8을 쓰고 있음. 내가 LLM을 쓸 만큼 똑똑하지 못한 걸지도 모르겠음? 다른 댓글 대부분과 달리, 신념에 따라 행동한 것은 박수받을 만하다고 봄. 진심으로 그렇게 믿는다면 당연히 행동해야 함. 성공하지 못하더라도 자신의 목소리가 흐름을 바꾸고 더 큰 운동을 촉발할 수 있음. 그렇다고 그의 주장에 동의하는 건 아님. 급격한 도약 때문에 파멸한다는 공포는 처음부터 있었고, 그 작동 원리는 늘 사실상 “AI가 모든 물리적 제약을 벗어나는 마법을 발명한다”는 식임. 자가 복제하는 의식 있는 나노봇 같은 것임. AI에서 걱정할 부분은 많지만, 통제 불능의 폭주 시나리오는 내 우려 목록에서 우선순위가 낮음. 1990년대 Slashdot 밈을 빌리면, 트랜스포머 구조 발명 → 규모 확대 → ??? → 기계가 의식을 얻고 인류를 몰살한다는 흐름임. OpenAI와 Anthropic은 세 번째 단계를 알아냈으며 투자금을 더 받으려는 허풍도 아니라고 철석같이 약속함. 공포에 젖은 문화 속에 살다 보니 모두가 의심 없이 받아들이...