한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

오라일리의 핸즈온 시리즈면 사실 고민할 필요 없이 좋은 책이다.

핸즈온 머신러닝 책으로 도움을 많이 받았는데, 생성형AI와 LLM 이 따로 출간되었다.

머신러닝과 LLM은 믿고보는 박해선님이 번역하셨다.

머신러닝 기본기를 다지고 딥러닝으로 넘어가는 과정에서 트랜스포머와 어텐션 과정이 궁금해서 이 책을 골랐다.

아직까지 LLM을 직접 구현할 일은 없지만 내부 구조가 어떻게 이루어지는지는 궁금했었다

계산과정에 대한 설명부터 도식화된 이해자료가 정말 좋았다.

그렇다고 100% 이해하진 못했다는 건.. 아직 부족하다는 얘기겠지.. 여러번 봐야겠다.

특히 이 부분. 셀프 어텐션에 대해 이렇게 친절하게 설명할 수 있을까?

Sarah fed the cat because it ~이 문장에서 it 다음 문장을 예측하려면 it이 의미하는 게 the cat 이라는 걸 판단해야 한다. 

투영 행렬을 통해 관련성 점수를 계산하는 것을 설명해주는데, 한 단계 더 들어가서 설명해줬으면 하는 아쉬움은 있다.

제품 이름과 슬로건을 통해 홍보 문구를 만드는 부분을 프롬프트 체인으로 설명한다. 

복잡한 코드 대신 간단히 결과를 확인할 수 있는 수준의 코드 레벨이다.

1부 언어 모델 이해하기

2부 사전 훈련된 언어 모델 사용하기

3부 언어 모델 훈련 및 미세 튜닝

세상에 공부할게 너무 많다. LLM의 도움을 받으면서 하나씩 독파해보자.