자신의 하드웨어에서 실행하는 최첨단 AI

dlab은 로컬 추론, 에이전트 하네스, 자율 연구 시스템을 하나의 생태계로 묶어 공개할 예정임. 소수의 연구자와 GPU만으로 최첨단 연구소와 경쟁할 수 있는 시스템을 만드는 것이 목표임 자체 추론 프레임워크는 125B 모델을 단일 24GB GPU에서 실행하고, 128GB 메모리 장비 등에서 550B 모델을 구동하도록 지원하며, 문맥 압축과 관리를 자동화함 인터넷 없이 로컬에서 실행하는 자율 연구 시스템은 생물정보학 실험에서 약 2시간 만에 휴리스틱 개선과 평가 데이터 문제 발견 등 네 가지 결과를 냄. 다만 해당 문제 전체에서 최고 성능에 도달하지는 못함 자동 문맥 압축 기법 CliffCompaction은 수백만 토큰 이상의 장기 세션을 지원하고 전체 비용을 약 50% 줄임. 절약한 비용을 여러 실행에 재투자하는 추론 시점 확장도 개발했으나, 아직 일상적인 엔지니어링 작업에 실용적인 수준은 아님 에이전트로 개별 연구 프로젝트가 쉬워진 만큼 연구의 단위는 논문에서 생태계로 바뀌어야 함. 대규모 GPU 경쟁 대신 적은 비용으로 풀 수 있는 가치 있는 문제에 집중하면 대학 연구실에 새로운 전성기가 올 수 있음 논문보다 생태계가 중요한 이유 한 수업에서 학생 150명 중 약 80%인 120명이 졸업 후 취업을 걱정한다고 손을 들었고, 일부 박사과정 학생은 학계 연구가 무의미하다고 여겨 최첨단 AI 연구소로 떠나기를 기다림 이런 비관론에는 GPU가 가장 많은 곳이 연구의 미래를 차지한다는 전제가 깔려 있음. 반대로 제한된 자원이 대학 연구실의 장점이 되어, 앞으로 10년간 가장 흥미로운 연구가 대학에서 나올 수 있음 에이전트 덕분에 과거 1년이 걸리던 엔지니어링과 실험이 몇 주, 때로는 며칠로 줄어듦 개별 프로젝트가 쉬워지면 독자가 각 논문의 결과를 직접 연결해야 하는 파편적인 연구 방식의 가치가 낮아짐 어려운 일은 논문 한 편을 내는 것에서 일관된 생태계를 만드는 것으로 이동함 dlab은 대학의 학문적 자유를 활용해 누구나 무료로 쓸 수 있는 AI 도구를 만들고, 각 구성요소가 다음 구성요소의 유용성을 높이도록 설계함 공개 시스템 구축, 로컬 모델 실행 비용 절감과 성능 향상, 최첨단 수준의 심층 연구와 자율 연구, 도메인별 강화학습 환경을 만드는 새로운 방법을 함께 개발함 전체 작업은 추론 서빙 프레임워크, 에이전트 하네스와 작업 수행, 둘을 결합한 자율 연구 시스템의 교차점에 있음 접근성에는 필요한 자원과 전문지...