10억 명 이상의 ChatGPT 사용자를 지원하기 위한 온라인 스토리지의 빠른 확장

OpenAI의 온라인 스토리지 플랫폼 Habitat은 약 40개 지역에서 초당 7,000만 건 이상의 요청을 처리하며, 매주 10억 명 이상이 사용하는 제품에 500PB 이상의 데이터를 제공함 여러 서비스에 배포된 클라이언트 라이브러리를 독립 서비스로 전환해, 배포와 관측성, 접근 제어를 중앙에서 관리하고 업데이트 조율로 인한 장애를 줄이고자 함 Python을 당장 재작성하는 대신 asyncio 스케줄링 지연, 연결 풀의 부하 편중, 하위 시스템의 연결 폭증을 해결하며 처리량과 안정성을 확보함 제한된 NoSQL API로 요청 비용을 예측 가능하게 유지하고, 복잡한 분석과 검색은 별도 Rockset 인스턴스로 분리해 온라인 스토리지를 보호함 2026년 2분기 엔지니어 2명이 Codex와 GPT-5.5로 전체 서비스를 Rust로 재작성했으며, 현재 프로덕션 요청의 95%를 처리함 Habitat의 출발과 확장 규모 OpenAI 제품의 로그인, Codex 설정 조회, ChatGPT 대화 시작은 응답 전에 여러 데이터 조회를 요구하며, 데이터 접근 속도와 안정성이 제품의 동작을 좌우함 Habitat은 DevDay 2023에서 GPTs를 지원하기 위해 단일 데이터베이스에 연결된 작은 Python 클라이언트 라이브러리로 출발함 ChatGPT의 메인 서버와 연동하며, 소수의 연산을 내부적으로 Azure Cosmos DB 작업에 대응시킴 현재는 약 40개 지역에서 초당 7,000만 건 이상을 처리하고 500PB 이상의 데이터를 제공하는 분산 시스템임 지난 3년간 매년 10배 이상 성장하면서, 기존 스택의 각 구성 요소를 저수준까지 최적화해 스토리지와 컴퓨팅 용량 부족에 대응하고 근본적인 개선에 필요한 시간을 확보함 핵심 제품 트래픽을 위한 신뢰성, 전 세계 사용자를 위한 속도, 대규모 운영 역량 순으로 플랫폼을 발전시킴 라이브러리에서 독립 서비스로 전환 Habitat의 기본 목표는 제품 엔지니어가 데이터베이스 관리를 신경 쓰지 않고 데이터를 저장하고 조회하게 하는 것임 스키마 조회, 라우팅, 인가, 암호화, 직렬화, 요청 조정, 연결 풀링을 처리함 데이터가 Azure Cosmos DB, 캐시, 다른 스토리지 중 어디에서 오는지도 추상화함 각 팀이 자체적으로 사용하는 Postgres와 Azure Cosmos DB에서 벗어나도록 중앙에서 적극적으로 독려하지 않았는데도 제품 팀의 채택이 빠르게 늘어남 제품 개발자가 공유 라이브러리에...