추론 AI 시대 '메모리'가 승부처··· 하이퍼엑셀, 생태계 확장에 가속 페달

[IT동아 남시현 기자] AI 반도체 기술 기업 하이퍼엑셀이 AI 인프라 기술 기업 애니브릿지와 함께 AI 인프라 공동 기술 개발 및 협력을 위한 업무협약을 체결했다. 하이퍼엑셀은 대규모 언어모델(LLM) 추론에 특화된 AI 반도체 LPU(LLM Processing Unit)을 개발 중이며 올해 말에서 내년 초를 목표로 1세대 제품인 베르다(Bertha) 양산을 준비 중이다. 애니브릿지는 GPU를 포함한 다양한 AI 가속기에 LLM 추론을 효율적으로 제공하도록 돕는 LLM 서빙 런타임 소프트웨어를 개발 중이다. 두 기업 모두 협력을 통해 AI 가속기 인프라 시장에서의 저변을 확대하고, 서버 시장에 대한 확장성을 높여나갈 예정이다. 한편 하이퍼엑셀은 애니브릿지를 포함해 MHS·TDS 이노베이션과도 업무협약을 체결하며 생태계 확장에 속도전을 벌이고 있는데 그 배경을 짚어봤다. 하이퍼엑셀, 베르다 500 출시 앞두고 생태계 확장에 초점 하이퍼엑셀 LPU는 LLM의 특정 계산 패턴을 처리하도록 설계된 LLM 전용 AI 가속기다. 설계 측면에서는 연산 처리 성능을 높이는 것보다도 메모리 대역폭을 낭비하지 않는 것이 중요하다는 점을 강조한다. 예를 들어 OPT-1.3B 모델을 구동할 때 엔비디아 H100의 HBM 대역폭은 28.5%만 활용되며, 30B 모델을 활용해도 69.9%만 활용한다. 즉 빠른 메모리를 활용하는 것보다 메모리가 최대 효율로 동작하게끔 만드는 것이 더 효율적이라는 접근 법이다. 이를 위해 메모리를 연산기에 직접 연결하고 가중치를 공급하는 스트림라인 메모리 액세스(SMA)라는 기술을 활용한다. 또한 대형모델을 처리할 때 일반 가속기는 통신 및 동기화를 거쳐 병렬로 연결해야 하나 LPU는 연산과 통신을 겹쳐서 진행해 다수의 장치를 활용해도 더 빠르게 작업을 처리한다. 1세대 반도체는 서버용 PCIe 카드 형태인 베르다 500, 에이전트 AI 실행에 최적화된 M.2 폼팩터 기반의 LPU 가속기 카드인 베르다 100으로 나뉘며 빠르면 올해 하반기 양산을 목표로 하고 있다. ICML 2026(국제머신러닝학회) 현장에 전시된 하이퍼엑셀 베르다 500 LPU. 상단에 마이크로 SD 소켓, 헤더, 슬라이드 스위치 등이 배열된 것을 볼 때 엔지니어링 사양이다 / 출처=IT동아 베르다 500은 현재 성능 전반과 내부 기판까지 공개된 상태며 1.5GHz 동작을 목표로 하고 있으며 열설계전력은 250W 수준으로 공랭식을 지...