한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

이번 리뷰할 책은『핸즈온 생성형 AI』으로, 트랜스포머와 확산 모델을 기반으로 한 최신 생성형 AI 기술을 실습 중심으로 배우는 기술서다

허깅페이스 소속 개발자들이 집필한 이 책은 텍스트 생성부터 이미지 생성, 멀티모달 모델까지의 전체 흐름을 구글 코랩 기반 코드와 함께 따라가며 학습할 수 있도록 구성되어 있다

복잡한 이론 설명보다 실제 구현을 통해 개념을 체화하도록 돕는 것이 특징이다

책을 살펴보면 한 두 장을 넘기다 보면 코드가 보일 정도로 다양한 예제들이 준비되어 있다

특히 스테이블 디퓨전, 드림부스, LoRA, SDXL 같은 최신 모델 구현을 다루며, 전이학습·RAG·파인튜닝 등 실무에서 활용 가능한 고급 기법까지 폭넓게 포함되어 있다

생성형 AI에 관련된 전반적인 기술 내용을 다루기에 언어 생성 뿐 아니라 이미지 생성, 텍스트-이미지와 오디오까지 넓은 분야에 대한 내용을 담고 있다

PART 1. 생성형 AI 기초 다지기

첫 번째 파트는 생성형 AI의 전체 지형도를 조망하는 단계다.

• 생성형 AI의 정의와 발전 과정
• 생성 모델의 핵심 기법인 트랜스포머, 디퓨전 모델 소개
• Hugging Face와 Google Colab 환경 구축 방법

이 파트는 실습에 들어가기 전에 “생성형 AI란 무엇인가?”에 대한 기초 인식을 다지는 역할을 한다

Hugging Face 라이브러리?와  Transformers 허브가 어떤 식으로 활용되는지도 미리 경험할 수 있다

PART 2. 텍스트 생성 – 트랜스포머의 세계

두 번째 파트는 자연어 처리(NLP) 기반 생성형 모델, 특히 트랜스포머 계열 모델의 실습과 구현이 중심이다.

• 텍스트 생성 및 분류 실습 (예: 뉴스 헤드라인 생성)
• 트랜스포머 직접 구현 및 Fine-tuning 실습

여기서는 단순히 사전학습 모델을 사용하는 수준을 넘어, 모델 구조를 커스터마이징하고 파인튜닝하며, 검색 기반 생성 모델까지 직접 구현해본다

PART 3. 이미지 생성 – 확산 모델 실전

세 번째 파트는 Diffusion 기반 이미지 생성 모델을 다룬다

• 스테이블 디퓨전(Stable Diffusion) 작동 원리
• 오토인코더(Autoencoder), U-Net 구조 학습
• 텍스트-이미지 매핑에 활용되는 CLIP 모델 설명
• DreamBooth, LoRA 기반 사용자 맞춤 이미지 생성 실습

텍스트→이미지 생성, 즉 Text-to-Image(T2I) 실습은 이 책에서 가장 실전감 있는 파트다

특히 DreamBooth나 LoRA를 활용한 사용자 개인화는 요즘 개인 모델 튜닝에 관심 있는 실무자에게 큰 도움이 된다.

PART 4. 멀티모달 생성 – 소리, 이미지, 텍스트를 넘나드는 생성 AI

네 번째 파트는 생성형 AI의 멀티모달 확장성을 다룬다. 이 영역은 연구자뿐 아니라 AI 제품을 만드는 메이커에게도 매우 중요한 주제다.

• 오디오 생성 (텍스트→오디오)
• 이미지 인페인팅 / 아웃페인팅 실습
• 텍스트-비디오, 텍스트-3D, 멀티모달 모델의 흐름 정리

이 파트에서는 단순한 생성에서 나아가 “사용자가 의도한 방식으로 창의적 제어를 가능하게 하는 방식”을 배울 수 있다

PART 5. 생성형 AI의 미래와 실제 적용

마지막 파트는 지금까지 다룬 내용을 바탕으로 생성형 AI의 활용 전략과 기술 흐름을 정리한다.

• 긴 컨텍스트 모델(Long-context transformers)의 부상
• 실무 적용시 고려할 점들 (성능 vs 비용, 윤리, IP 등)
• 생성형 AI 제품화 과정에 필요한 실전 조언

여기선 기술적 깊이보다는 넓은 관점에서 “우리가 생성형 AI와 함께 어디로 가고 있는가”에 대한 시야를 제공한다

특히 AI 기술을 현업 서비스에 적용하려는 사람들에게 유용한 인사이트가 많다

      마무리

"실습으로 흡수하는 생성형 AI의 정석"

이 책은 이론 위주로 흐르는 전통적인 AI 책들과 달리, "실습하며 배우고, 직접 만들어보며 익히는" 방식에 초점을 맞췄다

생성형 AI에 대한 전반적인 기술들을 빠르게 따라가고 싶은 실무자, 또는 생성형 AI를 입체적으로 다뤄보고 싶은 메이커/개발자가 보기에 적합할 것으로 생각된다

✔️ 트랜스포머 + 확산모델 모두 다룸
✔️ 최신 모델(DreamBooth, LoRA, RAG 등) 실습 가능
✔️ 복잡한 이론보다 “써보며 체화”하는 접근
✔️ 실무자·메이커·기획자 모두에게 맞춤형 실용성