Apple, Arm Mac에서 Nvidia eGPU 사용을 허용하는 드라이버 승인

Hacker News 의견들

• 기술적으로는 좋은 프로젝트이지만, 실제로는 90%의 상황에서 쓸모가 거의 없음
  NVidia GPU로 LLM을 돌리고 싶다면 중고 PC를 사는 게 낫고, VRAM이 많은 Mac을 원하면 그냥 Mac을 사면 됨
  제안된 방식은 Thunderbolt 포트로 인해 GPU가 제한되고, NVidia의 툴과 라이브러리 접근성도 떨어짐
  반면 macOS 업데이트로 깨질 위험이 있는 불완전한 시스템이 됨

  • 또 다른 방법으로, 같은 LAN 내의 다른 머신에 있는 NVidia GPU를 네트워크 마운트하는 방식이 있음
    이렇게 하면 Thunderbolt 대역폭 제한이 없고, CUDA 호출을 그대로 쓸 수 있음
    단, 같은 LAN에 있어야 하고 약 4%의 오버헤드가 있음
    출장은 어렵고 macOS의 드라이버 문제는 여전히 해결되지 않음
    나는 GPU Go에서 일하고 있어서 이 접근법에 편향이 있을 수 있음
  • NVidia의 툴링 부족은 그동안 macOS에서 하드웨어를 쓸 수 없었던 탓이 큼
    이제 가능해졌으니 앞으로는 상황이 바뀔 수도 있음
  • eGPU를 가상 GPU로 착각했었는데, 실제로는 외장 GPU를 의미하는 것임

• 왜 원본이 아닌 프록시 링크로 연결되는지 모르겠음
  원본은 X의 tinygrad 계정인데 말임

  • 아마 로그인 벽 때문일 것임. X는 이제 “가입해야 댓글을 볼 수 있음” 같은 제한이 많고, 사이트 품질이 떨어짐
  • 요즘은 X가 원본 출처인 경우가 많지 않나 싶음

• 내가 이해한 바로는 이건 Tinygrad 전용으로만 작동함
  CUDA나 Vulkan을 PyTorch에서 쓰는 건 불가능함
  관련 문서는 TinyGPU 문서에 있음

• Apple이 2018년 이후 NVidia eGPU 드라이버 서명을 거부했는데, 어떻게 규제 감시를 피했는지 모르겠음

  • NVidia가 실제로 시도했는지 증거가 있는지 궁금함
    macOS 10.13 이후로는 서드파티 그래픽 드라이버를 허용하지 않았지만, 비그래픽 드라이버는 가능했을 수도 있음
  • 정부가 신경을 안 쓰는 걸 수도 있음
    NVidia GPU를 꽂을 수 있는 Mac이 거의 없었고, 지금은 아예 슬롯이 없음
  • Apple은 어느 시장에서도 독점적 지위가 아님
  • Google이 Windows Phone용 YouTube 클라이언트를 막았던 것과 비슷한 상황임
  • SIP만 비활성화하면 되는 거 아님?

• 가이드와 스크립트를 읽어보니, GPU가 Linux VM에 전달된 뒤 다시 Mac으로 반환되는 구조처럼 보임
  TinyGrad 팀이 이 방식을 승인받은 것 같기도 함
  Docker의 역할을 잘못 이해했을 수도 있음

  • TinyGPU 문서와 GitHub 코드를 보면
    NVidia GPU는 Docker를 통해 컴파일 타깃을 맞추고, AMD는 macOS에서 자체 LLVM을 빌드해서 사용함

• Apple과 NVidia 모두 폐쇄적인 태도 때문에 좋은 결과를 놓치고 있음
  Mac 하드웨어에서 NVidia를 Linux로 돌릴 수 있었다면 훨씬 나았을 것임
  우리는 제품을 산 뒤에도 통제권을 잃는 소비자가 됨

  • 그래서 나는 그냥 Apple 제품을 사지 않음
    그쪽 생태계 밖에서도 모든 게 잘 돌아감

• ARM 노트북을 쓰면서 GPU를 원격에 두는 사용자가 늘고 있음
  그래서 GPU가 로컬 워크플로를 따라다닐 수 있는 UX가 중요해짐
  우리는 GPUGo / TensorFusion에서 로컬 우선 개발 흐름과 원격 GPU 접근을 결합하는 방식을 연구 중임
  사람들이 진짜 eGPU처럼 느껴지는 걸 원하는지, 아니면 최소한의 마찰로 원격 연산을 쓰고 싶은지 궁금함

  • 하지만 GPU에서 이미지를 출력할 때 네트워크 지연이 100ms라도 생기면 곤란함

• 여행 중인데 집에 RTX 5090이 있어서 이걸로 테스트해보고 싶음
  TinyGPU 문서를 참고 중이고, M4 Mac Mini에서 작동하길 바람
  전원 공급용 ATX PSU가 필요할 것 같은데, tinygrad로 LLM 추론이 가능할까?

  • AliExpress에서 약 100달러짜리 GPU 인클로저를 살 수 있음
    표준 PSU를 쓰지만 Mac Mini는 occulink가 없어서 USB-C 대역폭에 제한이 있음
    Intel Arc 드라이버가 안정화되면 저가형 GPU 조합도 재미있을 듯
    Intel Arc Pro B70 (32GB VRAM)이 1000달러, Mac Mini가 500달러 정도임
  • GPU의 빠른 VRAM이 Mac의 느린 VRAM을 얼마나 보완할 수 있을지 의문임
    인터커넥트 속도가 충분하지 않으면 레이어 전환이 병목이 될 수 있음
  • 나도 박스에 5090을 안 뜯은 채로 두고 있어서 결국 반품함
    돈은 있지만 쓸 시간이 없는 아이러니한 상황임

• 흥미롭지만 CUDA나 nvidia-smi는 실행할 수 없음

  • 그래도 이건 NVidia가 아닌 다른 회사의 ML 라이브러리 기반이라 놀랍진 않음
    CUDA 호환층이 생기면 좋겠지만, 자체 라이브러리로 추론과 학습이 돌아가는 것도 꽤 멋짐

• 만약 Mac에서 NVidia 드라이버를 지원했다면 Mac Pro 판매량이 늘었을 것임

  • Apple과 NVidia가 공식 관계를 회복한 건 큰 사건임
    지난 10년 넘게 Apple은 NVidia GPU 드라이버를 허용하지 않았음
    7년 된 GPU(예: VEGA64, RTX1080Ti)도 대부분의 Apple Silicon보다 토큰 처리 속도가 빠름
    Apple의 MAX/Ultra 프로세서는 대형 모델에는 적합하지만, RTX5090만큼 빠르진 않음