AI 기술은 지난 몇 년 사이 너무 빠르게 변했습니다. 처음에는 이미지 분류를 잘하는 신경망이 놀라웠고, 그다음에는 자연어를 다루는 모델이 신기했습니다. 그런데 어느순간 생성형 AI가 이미지를 만들기 시작하더니, 이제는 LLM이 글을 쓰고 코드를 만들고, 외부 지식과 도구를 연결해 스스로 일을 수행하는 단계까지 왔습니다. 눈 깜짝 할 새 말이죠.

기술만 놓고 보면 변화의 속도가 너무 빨라서, 무엇이 어디에서 시작됐고 지금의 AI와 어떻게 이어지는지 한눈에 보기 어렵습니다. CNN, RNN, 어텐션, Transformer, 강화학습, 디퓨전, LLM. 익숙한 이름은 많아졌지만 이 기술들이 하나의 흐름 안에서 어떻게 연결되는지는 의외로 잘 보이지 않습니다.

그런데 이 흐름을 꽤 흥미로운 방식으로 따라간 책 시리즈가 있습니다. 바로『밑바닥부터 시작하는 딥러닝』입니다.

딥러닝의 기본 원리에서 출발해 자연어 처리, 딥러닝 프레임워크, 강화학습, 생성 모델을 거쳐 지금은 LLM까지 도착했습니다. 한 권 한 권은 서로 다른 주제를 다루지만, 여섯 권을 나란히 놓고 보면 지난 10여 년간 AI 기술의 중심이 어떻게 이동해왔는지가 자연스럽게 드러납니다.

무엇보다 이 시리즈의 방식은 처음부터 일관적입니다. 완성된 도구를 가져다 쓰는 대신, 직접 만들어보면서 내부 원리를 이해하는 것. 기술의 이름은 계속 바뀌었지만 ‘밑바닥부터’라는 태도는 변하지 않았습니다. (원서 제목은 ‘제로부터 만드는 딥러닝’ 입니다. 표현은 다르지만 의미는 같죠.)

『밑바닥부터 시작하는 딥러닝 6 : LLM편』출간을 맞이하여 이 시리즈를 통해 AI 기술의 흐름을 돌아보려 합니다. 딥러닝의 출발점에서 지금의 생성형 AI와 LLM까지, 여섯 권이 각각 어떤 기술의 자리를 맡고 있는지 하나씩 살펴보겠습니다.

[1권] 딥러닝의 출발점

『밑바닥부터 시작하는 딥러닝 1』은 말 그대로 딥러닝의 출발점입니다. 퍼셉트론, 신경망, 오차역전파, CNN까지 딥러닝을 이해하는 데 필요한 기본 개념을 하나씩 직접 구현해 보거든요. 

요즘은 몇 줄의 코드만으로도 신경망을 만들 수 있지만, 이 책은 오히려 그 반대로 갑니다. 이미 만들어진 기능을 쓰기보다, 내부에서 어떤 계산이 일어나는지 직접 확인하는 방식이죠.

시리즈 전체로 보면 1권은 이후 모든 책의 기준점에 해당합니다. 자연어 처리도, 생성 모델도, LLM도 결국은 신경망과 학습이라는 공통 기반 위에 올라가 있으니까요. 특히 CNN을 통해 딥러닝이 이미지 분야에서 얼마나 강력한 성능을 보여줄 수 있는지도 자연스럽게 이어집니다.

[2권] AI가 언어를 배우기 시작한 시기

1권이 신경망의 기본 원리와 이미지 인식을 다뤘다면, 2권은 시계열 데이터와 자연어 처리의 세계로 들어갑니다. 단어를 벡터로 표현하는 방법부터 word2vec, RNN, LSTM, seq2seq, 어텐션까지, 컴퓨터가 언어를 숫자로 바꾸고 순서와 문맥을 학습하는 과정을 하나씩 직접 구현합니다.

여기서 배우는 순환 신경망은 시간에 따라 값이 변하는 자연어뿐 아니라 시계열, 음성, 센서 데이터처럼 앞뒤 순서가 중요한 데이터를 다루는 기본적인 방법입니다. 이 책에서는 주로 언어를 소재로 삼지만, 그 과정에서 ‘이전 정보를 기억하며 다음 정보를 처리하는 신경망’이라는 더 넓은 원리를 익히게 됩니다.

또 RNN에서 어텐션으로 이어지는 흐름을 따라가면, 순차 데이터를 처리할 때 어떤 어려움이 생기고 이를 해결하기 위해 구조가 어떻게 발전했는지도 자연스럽게 보입니다. 언어 표현에서 시퀀스 처리, 문맥 활용으로 이어지는 핵심 아이디어를 작은 모델들로 직접 만들어보며 이해하는 책입니다.

[3권] 모델이 아니라, 모델을 만드는 구조를 이해하다

『밑바닥부터 시작하는 딥러닝』3권은 앞선 두 권과 성격이 조금 다릅니다.
 

특정 모델이나 분야를 배우는 대신, 딥러닝 프레임워크 자체를 직접 만들어봅니다. 계산 그래프, 자동 미분, 역전파 같은 기능을 하나씩 구현하면서 우리가 평소 PyTorch나 TensorFlow에서 당연하게 사용하는 기능이 내부에서 어떻게 작동하는지 살펴보는 방식입니다.

그래서 기술 지도에서도 3권은 CNN이나 RNN처럼 어느 한 분야에 놓기보다는, 여러 기술을 떠받치는 ‘구현 기반’에 두는 편이 더 자연스럽습니다. 모델이 바뀌어도 학습을 처리하고 미분을 계산하는 기본 원리는 계속 필요하기 때문입니다.

쉽게 말하면 1권과 2권이 “딥러닝 모델을 직접 만들어보는 책”이라면, 3권은 “그 모델을 만들 수 있게 해주는 도구까지 직접 만들어보는 책”에 가깝습니다. 시리즈 안에서도 가장 개발자적인 성격이 강한 권이라고 할 수 있습니다.

[4권] 정답을 맞히는 AI에서, 행동을 배우는 AI로

4권은 강화학습을 다룹니다. 앞선 책들이 주어진 데이터에서 패턴을 학습하는 방식에 집중했다면, 강화학습은 조금 다른 질문에서 출발합니다. 정답을 바로 알려주는 대신, 에이전트가 환경과 상호작용하면서 어떤 행동이 더 좋은 결과를 만드는지 스스로 배워가는 방식이죠.

책에서는 강화학습의 기본 개념부터 가치 함수, 정책, Q러닝, 심층 강화학습까지 차근차근 구현해봅니다. 게임이나 로봇처럼 ‘행동을 선택해야 하는 문제’에서 특히 중요한 분야이고, 최근에는 LLM의 정렬이나 에이전트 기술과 연결되면서 다시 주목받고 있습니다.

시리즈의 흐름에서 보면 4권은 딥러닝의 활용 범위를 ‘인식’에서 ‘의사결정’으로 넓혀주는 책입니다. AI가 무엇을 알아보는 것을 넘어, 무엇을 할지 결정하는 단계로 넘어가는 셈입니다.

[5권] AI가 무언가를 만들어내는 원리

5권은 생성 모델을 본격적으로 다룹니다. 이미지를 분류하거나 예측하는 것을 넘어, 새로운 데이터를 만들어내는 과정에 초점을 맞춥니다. VAE를 비롯해 오늘날 이미지 생성 AI의 핵심 기술로 자리 잡은 디퓨전 모델까지 직접 구현하며 원리를 따라갑니다.

생성형 AI가 대중적으로 익숙해진 지금은 결과물 자체가 더 눈에 띄지만, 이 책은 그 뒤에서 어떤 학습과 계산이 일어나는 지를 보여줍니다. 특히 노이즈에서 시작해 점차 이미지를 복원해가는 디퓨전의 과정을 이해하고 나면, 이미지 생성 모델이 이전보다 훨씬 구체적으로 보이기 시작합니다.

시리즈 안에서는 5권이 ‘판별하는 AI’에서 ‘생성하는 AI’로 넘어가는 지점을 맡고 있습니다. 지금의 생성형 AI 붐과 가장 직접적으로 연결되는 책이라고 할 수 있습니다. 

[6권] 지금의 LLM은 어떻게 만들어지는가

드디어 <밑.시.딥> 시리즈가 LLM에 도착했습니다. 토크나이저부터 Transformer, 언어 모델 학습, 그리고 SFT와 DPO, GRPO 같은 정렬 기법까지, 오늘날 대규모 언어 모델을 구성하는 핵심 요소를 직접 구현하며 살펴봅니다.

ChatGPT를 비롯한 LLM은 이제 너무 익숙한 도구가 되었지만, 막상 그 내부에서 어떤 일이 벌어지는지는 쉽게 보이지 않습니다. 문장을 토큰으로 나누는 과정에서 시작해, Transformer가 문맥을 처리하고, 모델이 학습되고, 다시 사람의 의도에 맞게 조정되는 과정까지 따라가다 보면 지금 우리가 쓰는 생성형 AI의 구조가 조금씩 선명해집니다.

시리즈의 흐름으로 보면 6권은 2권에서 시작된 자연어 처리의 긴 여정이 현재의 LLM과 만나는 지점입니다. RNN과 어텐션을 지나 Transformer로, 그리고 거대한 언어 모델과 정렬 기술로 이어지는 변화가 한 권 안에 압축되어 있습니다. 

작은 신경망을 직접 만들며 시작했던 시리즈가 어느덧 10년이 흘러, 오늘날 AI의 중심인 LLM까지 왔습니다. 그동안 AI 기술은 이미지 인식에서 자연어 처리로, 강화학습과 생성 모델을 거쳐 지금의 생성형 AI까지 빠르게 영역을 넓혀왔습니다.

하지만 기술이 달라져도 이 <밑.시.딥> 시리즈가 해온 일은 크게 변하지 않았습니다. 복잡해 보이는 기술을 직접 구현해보면서, 그 안에서 어떤 원리가 움직이는지 하나씩 이해하는 것. 바로 ‘밑바닥부터’ 시작하는 방식입니다.

앞으로 AI가 또 어떤 방향으로 발전할지는 아직 알 수 없습니다. 새로운 모델과 새로운 학습 방법, 지금은 익숙하지 않은 기술들이 계속 등장하겠죠. 그때마다 복잡한 기술의 밑바닥을 다시 들여다보는 새로운 시리즈도 이어질 예정입니다. AI의 다음 장과 함께 계속 확장될 『밑바닥부터 시작하는』 시리즈를 기대해주세요.