삼성전자 "zHBM으로 AI 응답속도 10배…가속기 위 메모리 쌓는다"

"호텔 객실서 1층 로비 직행하듯"…AI 칩·HBM 데이터 이동거리 줄여 온디바이스 AI용 z낸드-O도 공개…2028년 샘플 공급 [아이뉴스24 권서아 기자] 삼성전자가 인공지능(AI) 연산을 담당하는 반도체 위에 고대역폭메모리(HBM)를 직접 쌓아 AI의 답변 속도를 현재보다 10배 높이겠다는 목표를 제시했다.17일 업계에 따르면 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 "현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준"이라며 "앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약을 목표로 하고 있다"고 말했다.김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무가 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 발표하고 있다. 2026.9.16 [사진=연합뉴스]토큰은 AI가 문장을 읽고 답변을 만들 때 처리하는 기본 단위다. 초당 처리하는 토큰이 많을수록 이용자가 답변을 받아보는 속도도 빨라진다.삼성전자가 이를 위해 제시한 기술이 'zHBM'이다.AI 가속기는 AI가 요구하는 대규모 연산을 빠르게 처리하는 반도체다. 그래픽처리장치(GPU)와 신경망처리장치(NPU) 등이 대표적이다. HBM은 이 가속기가 연산에 필요한 데이터를 빠르게 받아볼 수 있도록 공급하는 고성능 메모리다.삼성전자 zHBM 목업. [사진=삼성전자]현재는 AI 가속기와 HBM을 실리콘 인터포저라는 넓은 연결판 위에 나란히 놓는 방식이 주로 쓰인다. 가속기와 HBM 사이에서 데이터를 주고받으며 AI 연산을 처리한다.zHBM은 이 구조를 위아래로 바꾼다. HBM을 AI 가속기 바로 위에 쌓아 두 반도체 사이의 물리적 거리를 줄이는 방식이다.김 상무는 이를 "호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것"에 비유했다.객실에서 복도와 여러 경로를 거치지 않고 바로 로비로 내려가듯 가속기와 메모리를 직접 연결해 데이터 이동거리를 줄이겠다는 의미다. 이동거리가 짧아지면 데이터를 더 빠르게 주고받을 수 있고 전력 소모도 줄일 수 있다.삼성전자는 zHBM이 다다음 세대 제품인 HBM5(8세대)와 비교해 최대 8배의 성능과 3배 이상의 전력 효율을 구현할 수 있을 것으로 보고 있다.과제는 발열이다. AI 가속기는 대규모...