지난 글에서는 AI 시대의 두뇌 역할을 하는 GPU 이야기를 했습니다. 왜 CPU가 한계를 드러냈고 GPU가 AI 시대의 중심이 되었는지도 살펴봤죠. 그런데 여기서 아주 중요한 문제가 하나 등장합니다. 

GPU가 아무리 강력해도 데이터를 제때 공급받지 못하면 어떻게 될까요? 데이터가 도착할 때까지 기다려야 합니다.  그만큼 속도도 늦어지죠. 즉, AI 시대의 핵심 문제는 단순히 연산 성능만이 아닙니다. 데이터를 얼마나 빠르게 공급할 수 있느냐입니다. 이것이 지금 AI 산업에서는 GPU만큼이나 메모리가 중요해지고 있는 이유입니다. 

많은 사람들이 메모리를 그저 '저장 공간' 정도로 생각합니다. 하지만 AI 환경에서 메모리는 GPU의 발목을 잡거나 풀어주는, 산업 전체의 병목을 결정하는 핵심 부품입니다.

1.왜 기존 DRAM만으로는 부족해졌을까

과거 PC 시대에는 DRAM만으로도 충분했습니다. 웹서핑을 하고 문서를 작성하고 영상을 보는 정도의 작업에서는 큰 문제가 없었기 때문입니다. 하지만 생성형 AI는 상황이 완전히 다릅니다.

ChatGPT 같은 AI 모델은 질문 하나에도 막대한 데이터를 동시에 읽고 계산해야 합니다. 이미지 생성 AI는 수많은 픽셀 데이터를 반복적으로 처리합니다. 문제는 GPU의 속도가 너무 빨라졌다는 점입니다.

기존 DRAM은 데이터를 전달하는 통로가 좁았습니다. 셰프가 아무리 빨라도 주방 보조가 재료를 한 줌씩 들고 오면 결국 셰프가 모든 재료가 도착할 때까지 기다려야 하는 것과 같습니다. 지금 AI 산업은 GPU 성능 경쟁과 메모리 공급 속도 경쟁이 동시에 벌어지고 있는 셈입니다.

2.그래서 등장한 HBM

이 문제를 해결하기 위해 등장한 것이 바로 HBM입니다. HBM(High Bandwidth Memory)은 이름 그대로 '초고대역폭 메모리'입니다. 핵심 아이디어는 단순합니다. 데이터를 더 많이, 더 빠르게 공급하자는 것이죠.

기존 DRAM이 일반 도로였다면 HBM은 초고속 다차선 고속도로에 가깝습니다. GPU 옆에 아주 가까이 붙어 있으며 데이터를 동시에 대량으로 전달할 수 있습니다. 그래서 지금 AI 서버에는 사실상 HBM이 필수처럼 자리 잡고 있습니다.

엔비디아 GPU 발표 자리에 HBM이 늘 함께 등장하는 이유도 여기에 있습니다. GPU는 혼자서 움직일 수 없습니다.

3. HBM 제조가 어려운 이유

그렇다면 왜 모든 기업이 HBM을 쉽게 만들지 못할까요? 구조 자체가 매우 어렵기 때문입니다. 

HBM은 단순한 메모리가 아닙니다. DRAM을 여러 층으로 수직 적층한 뒤 GPU와 매우 가까운 거리에서 연결해야 합니다. 그런데 칩을 위로 쌓으면 열이 쉽게 갇히고, 데이터 이동 속도가 빨라질수록 발열과 전력 문제도 같이 커집니다. 여기에 GPU와 HBM을 잇는 패키징 기술까지 더해지죠.

즉, HBM 경쟁은 단순한 메모리 경쟁이 아닙니다. 메모리 기술은 물론이고 패키징, 발열 제어, 생산 수율, 공급망 안정성까지 모두 동시에 요구되는 산업입니다. 그래서 HBM은 AI 시대에서 가장 어려운 기술 중 하나로 평가받고 있습니다.

4. SK하이닉스가 갑자기 주목받기 시작한 이유

몇 년 전만 해도 많은 사람들에게 SK하이닉스는 여러 메모리 회사 중 하나 정도로만 인식됐습니다. 하지만 AI 시대가 열리면서 상황이 바뀌었습니다. HBM 공급이 중요해지자 엔비디아와 가장 빠르게 협력한 기업이 SK하이닉스였기 때문입니다. 특히 AI 시장이 폭발적으로 성장하면서 HBM 공급 부족 현상까지 나타나기 시작했습니다.

그 결과 시장은 단순히 메모리를 잘 만드는 기업이 아니라 AI용 고성능 메모리를 안정적으로 공급할 수 있는 기업에 더 높은 가치를 부여하기 시작했습니다. 지금의 AI 산업은 결국 GPU만으로 돌아가는 산업이 아니라 GPU + HBM + 패키징이 함께 움직이는 구조에 가깝습니다.

5. 투자 관점에서 메모리가 중요한 이유

여기서 중요한 포인트가 하나 더 있습니다. AI 산업은 특정 기업 하나만 성장하는 구조가 아니라는 점입니다. GPU 수요가 늘어나면 자연스럽게 HBM 수요도 증가합니다. HBM 수요가 증가하면 패키징 기술 중요성도 커집니다.

그리고 이를 생산할 파운드리와 장비 기업까지 함께 움직이게 됩니다. 즉. 메모리는 단순 부품이 아니라 AI 가치사슬 전체를 연결하는 핵심 축입니다. 그래서 지금 시장은 단순히 AI 서비스만 보는 것이 아니라 그 뒤에서 실제로 AI를 움직이는 인프라 기업들까지 함께 주목하기 시작했습니다.

물론 GPU와 HBM을 만들었다고 해서 끝은 아닙니다. 이 둘을 얼마나 가깝고 효율적으로 연결하느냐에 따라 실제 AI 성능이 크게 달라지기 때문입니다. 그리고 바로 여기서 지금 AI 산업의 또 다른 핵심 기술이 등장합니다. 바로 패키징입니다.

왜 TSMC가 패키징 시장의 중심이 되었을까요?

왜 AI 시대에는 칩을 ‘어떻게 연결하느냐’가 성능을 결정하게 되었을까요?

다음 글에서는 AI 시대의 숨겨진 핵심 기술인 패키징 이야기를 이어서 살펴보겠습니다.

위 글은 『한눈에 보는 AI 반도체 산업』 내용을 재구성하였습니다.

​

네이버 카페 <미국 주식이 미래다> (미주미)의 인기 필진이기도 한 MrTrigger 저자가 쓴 책 『한눈에 보는 AI 반도체 산업』은 초보자도 쉽게 이해할 수 있는 반도체 이야기로, 시장과 산업의 흐름 전반을 이해할 수 있도록 구성하였습니다.

​

연산칩(GPU), 메모리, 패키징, 파운드리, 데이터 센터, 클라우드 그리고 최종 도착지인 소프트웨어까지 이어지는 밸류체인 (가치사슬)을 따라가며 AI 반도체 산업을 하나의 거대한 생태계로 익힐 수 있는 도서입니다.

​

기존 반도체 책들이 개별 기술이나 특정 영역에 집중했다면 이 책은 숲을 먼저 보여준 뒤 나무를 이해하게 만듭니다. 덕분에 뉴스에서 말하는 기업과 기술이 서로 어떻게 연결되어 있는지 자연스럽게 이해할 수 있습니다.

​

특히 투자 관점에서 중요한 병목 지점과 산업의 권력 이동을 중심으로 설명한다는 점에서 단순한 지식 전달을 넘어 실질적인 인사이트를 제공합니다.

​

AI를 움직이는 진짜 힘이 어디에서 만들어지고, 누가 그 길목을 쥐고 있는지 알고 싶은 모든 독자에게 현실적인 출발점이 되어줄 것입니다.