지난 글에서는 AI를 이해하려면 서비스 화면이 아니라 그 뒤에서 움직이는 구조를 봐야 한다고 이야기했습니다.
챗GPT, 이미지 생성 AI, 자율주행 AI 등이 눈에 보이는 서비스라면, 그 아래에는 이를 가능하게 만드는 거대한 인프라가 있습니다.

그 흐름은 크게 이렇게 이어집니다. 

연산칩 → 메모리 → 패키징 → 파운드리 → 데이터센터

이번 글에서는 그중 가장 앞단에 있는 연산칩을 살펴보려 합니다.
AI가 질문에 답하고, 이미지를 만들고, 데이터를 분석하려면 결국 어딘가에서 계산이 일어나야 합니다.

그렇다면 가장 먼저 던져야 할 질문은 이것입니다.

1. AI의 두뇌는 무엇일까요?

많은 사람들은 반도체라고 하면 가장 먼저 CPU를 떠올립니다. 오랫동안 CPU는 컴퓨터의 중심이었습니다. 문서를 작성하고, 인터넷을 켜고, 프로그램을 실행하는 대부분의 일을 CPU가 처리했죠.

하지만 AI 시대가 시작되면서 컴퓨터에 요구되는 능력이 달라졌습니다. 과거에는 일을 빠르고 정확하게 순서대로 처리하는 능력이 중요했다면, 이제는 막대한 양의 계산을 동시에 처리하는 능력이 더 중요해졌습니다.

2. CPU가 AI 시대에서 한계를 드러낸 이유

CPU는 매우 똑똑한 직원 한 명과 비슷합니다. 복잡한 일을 정확하게 처리하고 순서대로 차근차근 해결하는 데 강합니다. 운영체제 관리, 프로그램 실행, 일반 사무 작업 같은 영역에서는 지금도 CPU가 핵심입니다.

문제는 AI가 요구하는 일이 전혀 다르다는 점입니다. ChatGPT 같은 거대 AI 모델은 질문 하나에 대해 수천억 개의 계산을 동시에 수행합니다.

이미지 생성 AI는 픽셀 단위 계산을 반복하고, 자율주행 AI는 수많은 센서 데이터를 실시간으로 분석합니다. 이런 작업은 한 명의 천재 직원보다 수만 명의 작업자가 동시에 움직이는 구조가 훨씬 유리합니다. CPU는 강력했지만 AI가 원하는 방식과는 맞지 않았습니다.

3. GPU가 AI 시대의 중심으로 떠오른 배경

GPU는 원래 게임 그래픽을 처리하던 칩이었습니다. 게임 화면 속 수많은 픽셀을 동시에 계산해야 했기 때문입니다. 즉 GPU는 처음부터 병렬 계산 전문가였죠.  그러던 어느 날 연구자들이 깨달았습니다.

“그래픽 계산 구조가 AI 계산 구조와 비슷한데?”

2012년 이미지넷 대회에서 등장한 딥러닝 모델 알렉스넷(AlexNet)은 GPU를 활용해 큰 성과를 냈습니다. 이 사건 이후 세상은 GPU를 다시 보기 시작했습니다. 게임용 칩으로 여겨지던 GPU가 AI 시대의 핵심 연산칩으로 변신한 순간이었습니다. 이후 AI 산업이 커질수록 GPU의 중요성도 함께 커졌고, 오늘날 AI 인프라의 중심에는 GPU가 자리 잡게 되었습니다.

4. 엔비디아는 왜 그렇게 강할까

GPU를 만드는 기업은 여럿 있지만, 엔비디아의 강점은 단순히 칩 자체에만 있지 않았습니다. 엔비디아는 일찍부터 이렇게 판단했습니다. “AI 경쟁은 칩 한 장으로 끝나지 않는다."

그래서 GPU와 함께 개발도구(CUDA), 서버 시스템, 데이터센터 생태계까지 함께 만들었습니다. 즉 단순한 제품 회사가 아니라 AI 연산 플랫폼 회사가 된 것입니다. 그래서 지금도 많은 빅테크 기업들이 쉽게 엔비디아를 떠나지 못합니다.

5. GPU 이후의 시대, 새로운 연산칩의 등장 

그렇다고 앞으로도 모든 AI 연산을 GPU가 혼자 담당하는 것은 아닙니다. GPU는 강력하지만 전력 소모가 크고 가격이 높습니다. 특정 환경에서는 다른 형태의 칩이 더 효율적일 수 있습니다. 그래서 새로운 연산칩들이 함께 등장하고 있습니다.

• NPU : 스마트폰·자동차용 저전력 AI 칩
• ASIC : 특정 AI 작업에 맞춘 맞춤형 칩
• TPU : 구글이 만든 AI 전용 칩

앞으로의 시장은 GPU가 모든 것을 독점하는 구조보다는 CPU, GPU, NPU, ASIC이 각자의 역할을 나누어 공존하는 방향에 가깝습니다.

6. 투자 관점에서 연산칩이 중요한 이유

연산칩은 단순히 제품 하나의 문제가 아닙니다. GPU 수요가 늘어나면 HBM 같은 고성능 메모리가 필요해지고, 첨단 패키징 기술이 중요해집니다. 동시에 TSMC 같은 파운드리 생산 능력이 필요하며, 이를 실제로 운영할 데이터센터 전력 인프라도 함께 성장해야 합니다.

즉, GPU 한 개의 성장은 하나의 기업 성장으로 끝나지 않습니다.
GPU 수요가 늘어나면 HBM 같은 고성능 메모리가 필요해지고, 첨단 패키징 기술과 파운드리 생산 능력도 함께 중요해집니다. 여기에 데이터센터와 전력 인프라까지 연결되면서 AI 산업 전체 가치사슬이 함께 움직입니다.

그래서 연산칩을 이해한다는 것은 단순히 기술 하나를 아는 일이 아닙니다. AI 산업에서 돈과 권력이 어디로 흐르는지 읽는 출발점에 가깝습니다.

하지만 연산칩이 아무리 강력해도 혼자서는 제대로 움직일 수 없습니다.
계산을 빠르게 처리하려면, 그만큼 데이터를 빠르게 가져오고 다시 저장할 수 있어야 합니다. 아무리 뛰어난 GPU라도 필요한 데이터를 제때 공급받지 못하면 성능은 크게 떨어집니다.

그래서 AI 시대에는 연산칩만큼이나 메모리가 중요해졌습니다.

HBM은 왜 갑자기 시장의 중심 기술이 되었을까요?
AI 시대에 메모리 속도는 왜 중요해졌을까요?
SK하이닉스는 어떻게 핵심 기업으로 떠올랐고, 삼성전자와 마이크론은 어떤 경쟁을 벌이고 있을까요?

다음 글에서는 이 질문들을 중심으로 AI 시대의 메모리 전쟁을 이어가 보겠습니다.

위 글은 『한눈에 보는 AI 반도체 산업』 내용을 재구성하였습니다.

​

네이버 카페 <미국 주식이 미래다> (미주미)의 인기 필진이기도 한 MrTrigger 저자가 쓴 책 『한눈에 보는 AI 반도체 산업』은 초보자도 쉽게 이해할 수 있는 반도체 이야기로, 시장과 산업의 흐름 전반을 이해할 수 있도록 구성하였습니다.

​

연산칩(GPU), 메모리, 패키징, 파운드리, 데이터 센터, 클라우드 그리고 최종 도착지인 소프트웨어까지 이어지는 밸류체인 (가치사슬)을 따라가며 AI 반도체 산업을 하나의 거대한 생태계로 익힐 수 있는 도서입니다.

​

기존 반도체 책들이 개별 기술이나 특정 영역에 집중했다면 이 책은 숲을 먼저 보여준 뒤 나무를 이해하게 만듭니다. 덕분에 뉴스에서 말하는 기업과 기술이 서로 어떻게 연결되어 있는지 자연스럽게 이해할 수 있습니다.

​

특히 투자 관점에서 중요한 병목 지점과 산업의 권력 이동을 중심으로 설명한다는 점에서 단순한 지식 전달을 넘어 실질적인 인사이트를 제공합니다.

​

AI를 움직이는 진짜 힘이 어디에서 만들어지고, 누가 그 길목을 쥐고 있는지 알고 싶은 모든 독자에게 현실적인 출발점이 되어줄 것입니다.