한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

올해 인공지능 공부를 하겠다며 읽은 책들이 6-7권 정도 되고 이러닝 강좌 두 개, 오프라인 강좌 세 개, 오프라인 콘퍼런스까지 하면 정말 많은 시간을 AI 학습에 투자하였다. 그렇지만 거대한 학습 범위의 1/4도 알지 못하는 것 같다. 그런 상태에서 읽게 된 한빛미디어의 AI 엔지니어링 도서는 올해 연말이 되기 전 유종의 미를 맺는다는 전제하에 뭔가 뿌듯하게 만들어주는 깊이가 있다.
 

일단 너무 쉽지도, 너무 어렵지도 않다. 그렇다고 초보자에게 권하기보다는 중급자들에게 권하고 싶은 난이도를 가지고 있다. 그럴 수밖에 없는 것이 600 페이지에 육박하는 내용이기에 기본적인 내용만을 다룰 수 없기 때문이다.

1, 2장에서는 파운데이션 모델을 다룬다. 단지 사용뿐만 아니라 파인튜닝 방법과 샘플링 전략을 소개한다. 파인튜닝은 7장에서 다시 한번 깊게 다루는데 도구를 사용해 나의 데이터를 파일 업로드하고 진행하는 파인튜닝만 해본 나에겐 이론 부분은 여전히 어려운 영역이다.

3, 4장의 모델 평가 방법론과 AI 시스템 평가는 일단 스킵 하였다 (내가 아직 AI 모델이나 시스템을 평가할 레벨은 아니므로). 이 부분은 완독 챌린지를 진행하면서 다시 한번 정독할 예정이다.

5장은 요새 AI를 기술적으로 다루는 IT 엔지니어와 그렇지 않고 만들어진 도수를 사용만 하는 비엔지니어 모두에게 화자가 많이 되고 있는 프롬프트 엔지니어링을 다루었다. 많이 사용하는 챗GPT를 포함하여 프롬프트에는 여러 종류가 있고 그것을 정의하고 사용할 때 AI가 인식하는 나의 프롬프트 의도는 완전히 달라지면서 좀 더 내가 원하는 영역의 결과를 만들 수 있기 때문에 아래 종류에 대해 이해하고 활용하는 것이 중수로 업그레이드되는 지름길이다.

결과의 품질에 만족할 수 없는 경우 여러 방법이 있다. 이 또한 적절하게 활용할 줄 알아야 한다.
제로 샷에서 원샷, 퓨 삿 프롬프트로의 변경 (5장에서 다룸)
모델에게 생각할 시간 주기 (CoT, 5장에서 다룸)
RAG을 추가하여 외부 데이터를 활용 (6장에서 다룸)
모델의 파인튜닝 (7장에서 다룸)

이 도서엔 코드는 없으나 주석으로 링크가 달린 위키피디아와 챗GPT의 도움으로 RAG을 구현한 코드를 쥬피터 노트북으로 만들고 테스트해보았다.

어떤 IT 기술이든 새로 나오고 시장에서 각광받기 시작하면 대두되는 문제가 바로 보안(Security)인데 닷컴, 블록체인, 가상화폐, Web3.0 등도 그랬고 LLM과 AI도 마찬가지다. 그러면서 특히 LLM 시스템을 대상으로 하는 프롬프트 주입과 같은 공격이 늘어나면서 AI 전용 방화벽도 다양하게 시장에 속속 출시되고 있다.

5장 후반부에서 이 부분을 다뤄주었다. 비싼 도구를 적용하는 것보다 우선적으로 LLM 시스템에 시스템 프롬프트 방식의 지침과 애플리케이션 라우터 형식의 필터링을 통해 공격적/악의적 프롬프트 입력과 실행을 막는 것이 제일 중요한데, 그러기에 충분한 기본적 지식을 알려주고 있다. 이 부분은 다시 10장에서 가드레일이라는 개념으로 입력과 출력으로 나뉘어 악성 프롬프트가 들어오거나, 개인 정보가 유출되는 등의 위험을 어떻게 예방하는지 자세히 알려준다,

6장에서 드디어 RAG과 (AI) 에이전트를 다루기 시작한다. 이 책이 출시될 시점에 가장 저자의 주변인들이 먼저 찾던 내용이 RAG라고 한다. RAG는 LLM의 성능을 가장 빠르고 쉽게 개선할 수 있는 방법이다. 7장의 파인튜닝은 두고두고 바이블처럼 볼 내용들이 가득하다. 이 부분은 좀 더 정독을 하며 파고들어봐야겠다. 다시한번 챗GPT의 도움으로 RAG을 구현한 코드를 쥬피터 노트북에서 테스트해보았다. 역시 실습을 해보는것이 도서 내용을 정확하게 이해하는데 큰 도움이 된다.  RAG 후반부에는 멀티 모달 RAG을 다룬다. 즉 텍스트 뿐만 아니라 이미지, 영상, 첨부 파일 등을 통해 추가 정보를 얻어오는 방식이다.

8장에서는 데이터넷 엔지니어링을 다루는데, 이는 최고의 모델을 학습하기 위해 최고의 데이터 셋을 만드는 방법을 알려준다. 당장은 내가 직접 LLM 모델을 만들 일은 없겠지만 파인튜닝은 한다거나, 모델을 깊이 이해하거나, 작은 수의 파라미터를 가진 모델을 직접 만들며 이해를 해야 할 때 어떤 데이터 셋을 준비할지에 대한 기본 지식을 제공해 준다. 9장의 추론 최적화는 일단 추론 서비스의 성능 테스트 메트릭부터 설명해 준다. 이 정보들은 LLM 모델을 동일한 환경에서 성능과 품질을 비교하거나, GPU 성능 비교에 자주 사용되는 메트릭이기도 하다.

AI와 GPU는 떼려야 땔 수 없는 관계인데, AI 서비스 개발 시 GPU의 역할과 활용에 대한 자세한 내용을 찾을 수 있다.

10장에서는 AI 애플리케이션 개발 시 전반적인 시스템 아키텍처 설계에 대한 내용을 다루며 충실하게 이 도서의 마지막을 마무리하고 있다. OpenAI의 서드 파티 API를 호출하여 아주 간단하게 AI 애플리케이션을 개발하는 것부터 시작하여 여기에 RAG/에이전트를 추가하고, 보안을 위한 가드레일과 성능을 위한 캐싱 컴포넌트 등을 하나하나 붙이면서 전체 아키텍처를 개선하는 방법은 9장까지 배운 내용을 다시 한번 리마인드하게 해주면서 당장 사내에서 간단히 사내 프로젝트로 AI 서비스를 개발해 보려 할 때 적용할 수 있는 실무 내용을 담고 있다.

이 책은 AI를 학습하며 실무에서 활용해 보려는 엔지니어에게 바이블과 같은 도서라 할 수 있다. AI 개발 시 필요한 학습 토픽을 거의 다 다루었다. 다만 이 책엔 코드가 없다. 따라서 독자가 할 일은 허깅 페이스에 리스트 된 각 모델의 장단점을 스스로 이해하고 적당한 모델을 직접 찾아내어 랭체인과 같은 플랫폼을 통해 직접 AI 애플리케이션을 개발하는 것이다.

바이블이기 때문에 1독으로 모든 것을 내 것으로 만들 순 없다. 여러 번 반복 학습해야 한다. 다행히도 인프런에서 함께 학습하며 완독할 수 있는 챌린지가 만들어져 바로 수강 신청하였다.

올해 11, 12월에 역자분의 온라인 강의도 들을 수 있고 추가 학습도 제공한다니 이걸로 이 책을 마무리해야겠다. AI의 학습 곡선은 높고 넓어, 나의 수준에 빠르게 도움 될 수 있는 저자, 도서, 강사, 콘텐츠를 찾아 적절히 응용하는 게 매우 중요한데 그런 의미에서 이 도서는 매우 훌륭한 지침서 역할을 해주었다. 쌩유~!