HBM 란 무엇인가? AI 시대의 핵심, High Bandwidth Memory 고대역폭 메모리의 모든 것. High Bandwidth란?

 

내마음에 드는 정보이지만, 네마음에도 들기를 바라는 내맘네맘입니다^^

오늘은 HBM(High Bandwidth Memory)에 대해 이야기를 나눠보려고 합니다.

AI 시대를 여는 HBM 메모리

 

1. 폰노인만 아키텍쳐: 컴퓨터의 기본 구조
2. HBM의 등장: 극적인 대역폭 향상
3. HBM의 핵심 기술: TSV와 Interposer
4. HBM: High Bandwidth의 의미는?
5. HBM의 미래: AI 시대. 컴퓨팅 성능의 새로운 지평

 

1. 폰노인만 아키텍쳐: 컴퓨터의 기본 구조

폰노이만 아키텍쳐(CPU-메모리 간 BUS 존재)

 

HBM을 이해하기 전에 컴퓨터의 기본적인 메모리 구조를 살펴보겠습니다.

컴퓨터는 1945년 존 폰노이만이 제시한 폰노이만 아키텍쳐를 기반으로 작동합니다. 이 아키텍쳐는 다음과 같은 4가지 주요 구성요소로 이루어집니다.

• CPU: 계산 및 제어를 담당하는 컴퓨터의 핵심 부품
• 메모리: 데이터를 저장하는 공간
• 입출력 장치: 키보드, 마우스, 디스플레이 등 컴퓨터와 외부 세계를 연결하는 장치
• 버스: CPU, 메모리, 입출력 장치를 연결하는 통로

폰노이만 아키텍쳐에서 메모리는 CPU와 별도의 공간으로 존재하며, CPU는 메모리에 접근하여 데이터를 읽고 쓰기 위해 버스를 이용합니다. 하지만 메모리와 CPU 사이의 속도 차이는 성능 병목 현상을 야기했습니다. 다만 이러한 병목은 SDRAM -> DDR ---> DDR4 -> DDR5 로 발전하면서 메모리의 속도가 향상되어 점점 극복되는 추세입니다.

컴퓨터 메인보드(PCB 기판)

 

다만, 기술발전에도 극복되지 않는 병목이 있는데요. 메인보드에 부품을 연결하는 PCB 기판 자체에서의 저항입니다. PC의 메인보드 구성을 보면 메모리와 CPU를 연결하는 PCB 기판에서도 수십mm 간격의 거리가 있습니다. PCB 기판은 반도체 미세공정으로 제조하는 것이 아니기에 메모리와 CPU의 배선보다 효율이 떨어지기에 여기서의 병목을 극복하는 것이 필요했습니다.

2. HBM의 등장: 극적인 대역폭 향상

HBM(High Bandwidth Memory)은 2013년 등장한 고성능 메모리 기술입니다. 기존 2D 메모리 칩을 수직으로 쌓아 3D 구조를 만든 것이 특징입니다. 이를 통해 메모리 칩 간의 거리를 줄이고 데이터 전송 경로를 단축하여 획기적으로 높은 대역폭을 제공합니다.

 

HBM의 주요 장점은 다음과 같습니다.

• 극도로 높은 대역폭: 기존 DDR4 메모리 대비 4~8배 높은 대역폭 제공
• 낮은 전력 소비: 3D 구조로 칩 면적 감소 및 전력 효율 향상
• 작은 크기: 2D 메모리 대비 크기 및 높이 감소

 

3. HBM의 핵심 기술: TSV와 Interposer   

HBM의 구조

 

HBM은 TSV(Through Silicon Via)와 Interposer라는 두 가지 핵심 기술을 사용합니다.

• TSV: 메모리 칩을 수직으로 연결하는 미세한 칩 연결 기술입니다. TSV를 통해 메모리 칩 사이의 데이터 전송 속도를 크게 향상시킬 수 있습니다.
• Interposer: Interposer는 메모리 칩과 CPU를 연결하는 중간 매개체입니다. Interposer는 메모리 칩과 CPU 사이의 연결을 단순화하고, 신호 손실을 줄이는 역할을 합니다. 반도체 공정으로 만들기에 PCB 기판에서의 문제점을 개선하였습니다.

TSV는 메모리 칩 간의 고속 데이터 전송을 가능하게 하고, Interposer는 여러 메모리 칩을 하나의 패키지로 통합하고 CPU와의 연결을 용이하게 합니다. 더불어 메모리 칩을 한 공간에 적층하여 2.5D 구조를 활용하여서 공간을 적게 사용하는 장점도 있습니다.

4. HBM: High Bandwidth의 의미는?   

 

HBM의 고속 동작을 좀 더 상세하게 살펴보면, 메모리의 속도는 전파 지연(propagation delay)와 대역폭(bandwidth)로 설명할 수 있습니다.

High bandwidth

1) 전파 지연

전파 지연은 전기 신호가 한 지점에서 다른 지점으로 이동하는 데 걸리는 시간입니다. HBM은 기존 메모리 기술인 GDDR5에 비해 훨씬 짧은 전파 지연을 제공할 가능성이 있습니다. 이는 다음과 같은 이유 때문입니다.

• 짧은 메모리 칩 경로(interposer): HBM은 메모리 칩을 GPU 패키지에 직접 탑재합니다. 이는 메모리 칩 사이의 거리가 짧아져 전파 지연이 줄어드는 것을 의미합니다.
• 3D 적층 구조(TSV): HBM은 여러 개의 메모리 칩을 수직으로 쌓아 3D 구조를 만듭니다. 이 구조는 메모리 칩 사이의 연결을 단순화하여 전파 지연을 더욱 줄입니다.

하지만 현실적으로는 TSV를 통해 메모리 칩 간을 연결할 때 bulb 영역에서의 저항 때문엔 전파지연 측면에서는 속도가 더 느려지는 것이 실상입니다. 그럼에도 불구하고 HBM이 고속동작을 가능하게 하는 이유는 대역폭 때문입니다.

 

2) 대역폭

대역폭은 단위 시간당 전송할 수 있는 데이터의 최대량입니다. 대역폭은 (Bandwidth = clock speed x bus width)로 결정되는데요. clock speed의 경우는 CPU와의 규칙에 따라서 정해져있기 때문에, HBM이 높은 대역폭을 제공할 수 있는 이유는 bus width가 크기 때문입니다. 그리고 이것이 가능한 이유는 위에서 설명한 TSV와 Interposer 기술 적에 가능해집니다.

• 3D 적층 구조(TSV): HBM은 여러 개의 칩을 수직으로 쌓아 3D 구조를 만들어서 높은 메모리 용량을 가지게 됩니다. 따라서 한번에 많은 양의 데이터를 보유하고 있을 수 있습니다.
• 높은 Bus 밀도 (interposer): HBM은 기존 PCB 기판이 아닌 반도체 미세 공정을 통해서 생산되는 Interposer를 통해서 메모리와 CPU간 통로(Bus)를 만들 수 있습니다. 반도체 미세 공정은 더욱 높은 배선 밀도를 제공할 수 있으며, 이를 통해서 High Bandwidth를 구현할 수 있습니다.

 

5. HBM의 미래: AI 시대. 컴퓨팅 성능의 새로운 지평    

 

HBM은 높은 대역폭을 통해 기존 메모리 기술보다 훨씬 빠른 속도를 제공합니다. 이는 HBM이 고성능 컴퓨팅, 인공 지능, 고성능 그래픽 등 다양한 분야에서 적합하도록 만듭니다.

다음은 HBM의 고속 동작을 보여주는 몇 가지 예시입니다.

• 고성능 컴퓨팅: HBM은 고성능 컴퓨팅 시스템에서 대규모 데이터 세트를 빠르게 처리하는 데 사용됩니다.
• 인공 지능(AI): HBM은 인공 지능 알고리즘을 학습하고 실행하는 데 필요한 대규모 데이터 세트를 빠르게 처리하는 데 사용됩니다.
• 고성능 그래픽: HBM은 고해상도 게임과 가상 현실 애플리케이션에 필요한 고성능 그래픽을 제공하는 데 사용됩니다.

HBM은 메모리 기술의 미래를 대표하는 기술입니다. HBM 기술은 앞으로 더욱 발전하여 더 높은 대역폭, 더 낮은 전력 소비, 더 작은 크기를 제공할 것으로 기대되며, 인공지능, 고성능 컴퓨팅, 그래픽 처리 등 데이터 처리량이 급증하는 분야에서 HBM의 중요성이 더욱 커질 것입니다.

 

이에 따라 최근 Chat GPT를 개발하여 AI 기술을 주도하는 Microsoft가 전세계 시가총액 1위 자리를 탈환했으며, Apple도 전기차 사업을 포기하면서 까지 AI 사업에 집중하기로 하였습니다. 또한 AI 기술의 핵심 부품인 고성능 GPU를 제공하는 NVIDIA와 HBM을 양산을 발표한 SK하이닉스, 미국의 마이크론 주가가 연일 최고가를 갱신하고 있습니다.

 

AI 기술과 미래에 관심이 있다면, 여기에 핵심이 되는 HBM에 대해서도 꼭 관심을 가져야겠네요.

 

아래는 HBM을 이해하는 데 도움이 되는 주요 개념과 용어입니다.

• High Bandwidth Memory: HBM의 영어 이름입니다.
• HBM2, HBM2E, HBM3: HBM의 세대별 버전
• DRAM: Dynamic Random Access Memory, 주로 컴퓨터 메인 메모리에 사용
• VRAM: Video Random Access Memory, 그래픽 카드에 사용되는 메모리
• GPU: Graphics Processing Unit, 그래픽 처리를 담당하는 칩
• AI: Artificial Intelligence, 인공지능
• 고성능 컴퓨팅: 슈퍼컴퓨터, 클라우드 서버 등 대규모 데이터 처리 시스템
• 대역폭: 단위 시간당 전송 가능한 데이터의 최대량
• 전력 효율: 동일한 성능을 달성하는 데 필요한 전력의 비율

오늘 글이 도움이 되셨다면 댓글을 통해서 응원해주시면 큰 힘이 될 것 같습니다:)
궁금하신 부분에 대해 문의주시면 다음 포스팅에 참고하도록 하겠습니다!