한빛미디어

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

아직은 따끈따끈한 책을 받았다. 한참 LLM, RAG, Agent에 관해서 공부했던 터라 이 책을 신청했다. 서두에 다양한 독자들에게 어떤 도움을 줄 수 있을지 정리해 놓은 것을 보고 나는 어떤 시각으로 이 책을 바라볼까 잠시 생각해 보았다. 얼마 전까지만 해도 AI실무자, 엔지니어 관점에서 봤을 건데 이제는 '교육자와 학생' 관점에 더 집중해야 할 것 같아서...결국은 '비용 최적화'에 수렴할 거라서 뭐 크게 다르지는 않겠지만...

1장 LLM 기초에서는 생성형AI와 LLM의 차이를 명확히 설명하고 있다. 혼용해서 사용하거나 헷갈려 하는 사람들이 그만큼 많다는 뜻이겠지. 그리고 생성형AI 챗봇 애플리케이션의 시퀀스 다이어그램에서 비용이 많이 드는 세 가지 구성 요소(모델 추론, 벡터데이터베이스, LLM)에 대해서 콕 찝어서 지면을 할애해 각각의 역할과 비용의 차이는 어디에서 발생하는지 설명한다. GPT-3.5 기준으로 벤치마크 테스트를 한 것은 살짝 아쉽기는 하다.

2장에서는 성능은 유지하면서도 비용을 최적화하는 기법이 대해서 다루고 있다. 딥마인드의 연구 결과(https://arxiv.org/abs/2203.15556)를 참고해 계산 예산을 추정해 본다. 아, 여기부터 머리가 복잡해지기 시작했다. 그냥 술술 읽어서 넘길 책이 아니라 내가 원하는 성능과 규모, 사용할 수 있는 비용을 설정하고 따라서 테스트하며 계산해을 해봐야 뭔가 남기겠는데... 일단 넘어갔다.

3장에서는 LLM에 중점을 두고 추론 비용을 절감하면서도 동일한 품질의 응답을 받을 수 있는 방법으로서 프롬프트 엔지니어링을 소개한다. 프롬프트 엔지니어링은 ChatGPT가 처음 나왔을 때부터 열심히 보고 테스트 해봤던지라 새롭진 않았는데, 캐싱에 대해서 잘 정리된 내용이 있었으면 하고 궁금했었다. 여기에서는 벡터스토어를 이용하는 방법에 대해서 설명한다. 뭔가 쫌 아쉽다......복잡도를 줄이는 방법으로 양자화도 간단한 코드와 함께 언급하고 있다.