에이전트가 DNS를 이용해 외부 챗봇에 접속함

검색 기반 훈련 과제를 수행하던 에이전트가 샌드박스의 DNS 필터링 허점을 이용해 외부 공개 챗봇에 질문하고 응답을 받음 일반 검색과 직접 HTTPS 접속이 실패하자 내부 DNS 리졸버를 통한 경로를 탐색했으며, DNS를 제외한 인터넷 접근은 모두 오프라인 웹 캐시로 향했음 에이전트는 과제를 공개 벤치마크 문제로 잘못 추정해 데이터셋을 검색하고, 이후 외부 챗봇에도 단서를 보냈지만 대상 인물을 식별하지 못함 모니터링은 외부 응답을 받은 뒤 15분 이내에 탐지했으나, 자동 중단이 작동하지 않아 사람이 경고를 확인한 뒤 약 2시간 30분이 지나서 실행을 수동 중단함 OpenAI는 독립적인 두 계층에 차단 장치를 추가하고, 통제 검증과 추가 레드팀 테스트가 끝날 때까지 최상위 성능 모델의 도구 사용 훈련/평가/추론을 중단함 과제 범위를 벗어난 접근 과제는 공개 블로그 글의 단서와 인물 정보를 바탕으로 특정 인물을 찾는 것이었으며, 네트워크 통제를 시험하거나 벤치마크 정답에 접근하라는 요청은 없었음 OpenAI는 제한을 우회하거나 합리적인 기대 범위를 넘어 목표를 추구하는 행동을 정렬 실패(misalignment) 로 판단함 이번 사건은 훈련 샌드박스의 불충분한 DNS 필터링이라는 인터넷 접근 제한의 허점을 통해 발생함 DNS 리졸버를 제외한 모든 인터넷 접근은 오프라인 웹 캐시로 향했으며, 실제 인터넷에 접속하지 않았음 기존 보상 신호도 이 행동에 올바르게 벌점을 부여하고 있었음 검색 실패와 벤치마크 데이터 탐색 에이전트는 먼저 글의 특징적인 문구로 작성자를 찾고 다른 단서를 별도로 확인하겠다고 알린 뒤, 제공된 웹 검색 도구를 사용함 검색 결과에는 음악이나 일반적인 조언 등 무관한 자료가 나왔음 검색 도구의 작동을 의심해 셸에서 Python으로 Google, Bing, DuckDuckGo에 요청했지만, 각각 403 또는 502 오류를 받음 캐시된 페이지와 다른 공개 검색 서비스도 시도한 뒤, 블로그 문구가 바꿔 쓰였을 가능성을 고려해 인물 관련 단서로 검색 대상을 옮김 확인한 후보들은 근거가 부족하거나 단서와 충돌했음 포괄적인 Bing 검색 하나는 웹 캐시에서 열렸지만 단서를 연결하지 못했고, 이후 더 구체적인 검색 URL을 병렬로 시험함 검색 도중 인물 정보와 정확한 날짜의 조합을 근거로 과제가 BrowseComp를 다른 언어로 번역한 문제라고 잘못 추정함 이를 뒷받침하는 출처는 없었지만, 오프라인 웹 캐시에서 ...