쥐가 DOOM을 플레이하다

1 month ago 14

쥐를 위한 완전한 VR 시스템을 제작해, 실제 쥐가 고전 게임 DOOM을 조작하고 탐험할 수 있도록 구현
시스템은 모션 트래킹 볼, 파노라마형 헤드셋, 입력 트리거, 보상 회로로 구성되며, 모든 하드웨어와 소프트웨어가 오픈소스로 공개됨
두 번째 버전(V2)은 더 정밀한 센서, 180° 시야각 AMOLED 화면, 모듈형 3D 프린트 부품 등으로 개선
Python 기반 제어 소프트웨어가 Raspberry Pi와 PC 간 통신을 통해 움직임, 보상, 게임 연동을 실시간으로 처리
쥐들이 실제로 가상 공간을 탐색하고 사격 행동을 수행했으며, 이는 동물 행동 연구와 인터랙티브 시스템 개발의 새로운 가능성을 보여줌

프로젝트 개요

쥐가 DOOM을 플레이할 수 있도록 맞춤형 VR 환경을 구축
- 구성 요소: 모션 트래킹 트레드밀 볼, 파노라마형 헤드셋, 입력 트리거, 보상 회로
- 모든 부품은 3D 프린트 설계도, 회로도, 펌웨어, 제어 소프트웨어와 함께 오픈소스로 제공
초기 버전(V1)은 뉴욕에서 개발되어 단순한 통로 주행 훈련만 가능했으나, V2에서 완전한 모듈형 시스템으로 발전
금속 부품은 SZURWIN KFT와 협력해 설계 및 제작

전체 구조
- 쥐의 움직임을 감지하는 구형 트레드밀, 사격용 트리거, 파노라마 스크린, 설탕물 보상 시스템으로 구성
- 모든 장치는 모듈형 알루미늄 프레임 위에 설치되어 독립적인 실험 환경 형성
시각 인터페이스
- 쥐의 머리를 감싸는 접이식 AMOLED 헤드셋, 수염 공간을 방해하지 않음
- 좌우 수염 근처에 공기 분사 노즐을 배치해 벽 충돌 등 게임 이벤트를 전달
- 보상 디스펜서 튜브와 소형 스피커용 슬롯 포함
이동 감지
- 자유 회전 볼의 광학 센서로 이동을 추적하고 게임 내 움직임으로 변환
- 모터 구동 기능으로 훈련 중 경로 시뮬레이션 가능
트리거 입력
- 쥐가 앞발로 당기는 레버형 사격 장치, 스프링과 로터리 인코더 포함
- 스테퍼 모터로 자동 시연이 가능해, 시각적 자극과 동작을 연계한 훈련 지원
보상 시스템
- 설탕물 10μL 단위 정밀 분사, 펌프·압력 센서·솔레노이드 밸브로 제어
- 혼합기가 농도를 일정하게 유지하며, 게임 이벤트와 동기화된 즉각적 보상 제공
제한 사항
- 쥐의 크기나 성격에 따라 트리거 위치와 보상 흐름 조정 필요

Python 기반 모듈형 제어 시스템으로 전체 루프를 관리
- 주요 기능: 움직임 캡처, 볼 제어, 트리거 감지, 보상 분배, DOOM 통합, 훈련 로직
- ViZDoom 환경과 연동되어 실시간 폐루프 행동 제어 수행
PC와 Raspberry Pi 간 TCP 통신
- Pi: 센서 판독, 볼 구동, 보상 제어
- PC: 게임 실행, 데이터 처리, 고수준 명령 송신
모든 구성요소는 수동 또는 자동 모드로 작동 가능하며, 파라미터는 Python 코드에서 설정
제한 사항
- 자동 보정 기능이 없어 센서 정렬과 보상 타이밍을 수동 검증해야 함
- 일부 마이크로컨트롤러 펌웨어는 하드웨어 오차에 따라 조정 필요

쥐들은 가상 환경을 탐색하고 사격 트리거를 작동하는 데 성공
- 개체당 약 2주간의 적응 기간이 필요
- 완전한 고급 훈련은 미완이지만, 시스템 참여도와 반응성에서 긍정적 결과 확인
제한 사항
- 장기 훈련 및 개체 간 변동성 연구 미비
- VR 노출이 쥐의 건강에 미치는 영향은 추가 연구 필요