최근, 인공지능(AI)은 이미지, 영상, 음악, 음성 등 다양한 형태의 데이터를 이해하고 생성할 수 있는 '멀티모달' 모델로 발전하고 있습니다. 또한, 스스로 판단하고 이해하는 '에이전틱 AI'로 발전 중입니다. 이에 따라 방대한 데이터 처리와 속도가 중요한데, 이에 AI 컴퓨팅은 메모리가 중심이 될 것으로 전망됩니다.
KAIST 전기 및 전자공학부의 김정호 교수는 AI 성능은 메모리 반도체에 좌우될 것이라 강조했습니다. 김 교수는 AI 필수 반도체인 고대역폭메모리(HBM)의 기본 구조와 개념을 창안한 세계적 석학으로 20년 동안 HBM 관련 설계 기술을 주도해 왔습니다. 그는 AI 시대에 메모리가 중요하며, HBM이 속도를 결정하고, HBF가 용량을 담당할 것이라고 설명했습니다.
HBF는 데이터처리 속도를 높이면서 용량을 확장할 수 있는 메모리로, HBM보다 가격이 저렴하고 용량이 10배 확장 가능합니다. 김 교수는 GPU에 HBM이 필수적인 것처럼, HBF가 AI 메모리로 중요해질 것으로 보이며, 2038년부터는 HBF 수요가 증가할 것으로 전망했습니다. 또한, AI 에이전트 서비스에서는 장기 기억 역할을 하는 '키밸류' 캐시 메모리가 필요한데, 이를 위해 HBF가 중요한 역할을 할 것으로 예측되고 있습니다.