삼성전자 "삼성 HBM3E, 빠른 속도로 주류 시장 대체할 것"

적은 수의 AI 서버로도 LLM 서비스…TCO 절감 효과

어드밴스드 TC-NCF 기술로 수율도 극대화

HBM3E 12H D램 제품 이미지ⓒ삼성전

삼성전자가 범용 인공지능(AGI) 시대를 맞아 자사의 HBM(고대역폭메모리)이 주류 제품으로 빠르게 자리잡을 것으로 기대했다.

삼성전자 디바이스솔루션(DS)부문에서 HBM을 담당하는 상품기획실 김경륜 상무와 D램개발실 윤재윤 상무는 18일 삼성전자 뉴스룸 인터뷰에서 이같이 말했다.

김 상무는 "다수의 빅테크 기업이 AGI 시대를 만들기 위해 경쟁적으로 AI 모델을 고도화하고 있다"며 "현재 AI 모델의 파라미터 수는 조 단위에 이르렀고 원활한 데이터 처리를 위해서는 고용량의 HBM이 요구된다"고 설명했다.

이에 삼성은 지난 2월 업계 최초로 36GB(기가바이트) 용량을 구현한 HBM3E 12H(High·12단 적층) D램 개발에 성공했다.

김 상무는 "36GB HBM3E 12H D램은 현재 시장의 주요 제품인 16GB HBM3 8H(8단 적층) 대비 2.25배 큰 용량의 제품으로 상용화되면 매우 빠른 속도로 주류 시장을 대체해 나갈 것"이라고 자신했다.

이어 "기존 보다 더 적은 수의 AI 서버로도 동일한 초거대언어모델(LLM)을 서비스할 수 있어 총 소유 비용(TCO)이 절감되는 효과가 있다. 36GB HBM3E12H D램에 대한 고객 기대는 매우 높다"고 덧붙였다.

이 제품의 큰 특징으로 어드밴스드 TC-NCF(열압착 비전도성 접착 필름)도 꼽았다.

윤 상무는 "HBM 제품 세대별로 전체 두께는 고정돼 있어 많이 쌓을수록 데이터를 저장하는 코어 다이(core die) 두께는 점점 얇아지게 된다. 그러다 보면 칩의 휘어짐이나 깨짐 현상으로 조립 난도가 높아지고 열 저항이 커지는 문제가 발생한다"고 설명했다.

이어 "삼성은 칩 사이 적용되는 NCF 소재의 두께를 낮추고 열압착 기술을 통해 칩 간 간격을 줄이는 동시에 고단적층에서의 칩 제어 기술을 고도화했다. 업계 최소 칩 간 간격인 '7마이크로미터'를 구현하면서도 칩과 칩 사이를 접합하는 공정에서 신호 특성이 필요한 곳은 작은 범프를, 열 방출 특성이 필요한 곳에는 큰 범프를 목적에 맞게 적용했다"고 말했다.

그 결과 열 특성을 강화하는 동시에 수율도 극대화할 수 있었다고 윤 상무는 강조했다.

맞춤형(커스텀) HBM 니즈 증가에 따른 삼성전자의 전략도 공개했다. 김 상무는 "삼성전자는 메모리, 파운드리, 시스템LSI, AVP 등 종합 역량을 십분 활용해 대응해 나갈 것이며 차세대 HBM 전담팀도 구성했다"며 "업계에서 단시간에 따라올 수 없는 역량"이라고 강조했다.

HBM 시장이 성숙화되는 과정을 겪으며 나타날 변화는 3가지로 꼽았다.

김 상무는 "첫째는 분할(segmentation)이다. 미래에는 킬러 앱을 중심으로 서비스가 성숙되면서 하드웨어 인프라가 서비스별로 최적화되는 과정을 필연적으로 겪을 것"이라며 "삼성은 코어 다이는 단일화하고 8H, 12H, 16H와 같은 패키지와 베이스 다이 다변화를 통해 대응할 예정"이라고 했다.

베이스 다이는 코어 다이 하단에 위치하며 스포세서 등 다른 칩과 통신하는 역할을 한다.

두 번째로는 공동 최적화(co-optimization)를 제시했다. 김 상무는 "공동 최적화 필요성으로 맞춤화 요구가 커질 것"이며 "플랫폼화를 통해 공용 설계 부분을 극대화하고 생태계 파트너 확대로 효율적으로 맞춤화 요구에 대응할 수 있는 체계를 만들 것"이라고 말했다.

세 번째로 파워 월(power wall)을 언급했다. 김 상무는 "파워 월을 극복하기 위해 프로세서와 메모리 거리는 점점 더 가까워질 것"이라며 "차세대 HBM4로부터 로직 공정을 적용한 베이스 다이가 도입되면서 파워 월을 해소하기 위한 첫 번째 혁신이 시작됐다면 2.5D에서 3D HBM으로 점차 진화하면서 두 번째 혁신을 맞이할 것"이라고 설명했다.

이어 "HBM-PIM처럼 D램 셀과 로직이 더 섞이는 방향으로 진화하면서 세 번째 혁신을 맞이할 것으로 예상한다. 이런 혁신을 실현하기 위해 고객, 파트너와 논의를 착수했으며 선제적으로 기획하고 준비해 시장을 열겠다"고 덧붙였다.

윤 상무는 "HBM 품질을 완벽하게 보증할 수 있는 설계˙테스트 기술을 확보하는 것이 중요하다. 시스템의 에너지 효율을 높이기 위해 전력 소모를 더 줄일 수 있는 HBM 설계 구조를 개발해 나가는 것도 중요한 일"이라고 말했다.

윤 상무는 "고온 열 특성에 최적화된 NCF 조립 기술과 최첨단 공정 기술을 통해 차세대 HBM4 16H 기술까지 도입할 계획"이라며 "업계 1위로서의 검증된 기술력과 축적된 노하우, 다양한 고객과의 파트너십을 적극 활용해 생성형 AI 시대에 걸맞은 최고의 솔루션을 선보이고 시장을 주도해 나가겠다"고 강조했다.