한빛미디어

독특한 방식으로 LLM의 동작 원리를 설명한 책입니다.

​

스티븐 울프럼은 매스매티카, 울프럼 알파, 울프럼 언어 등 세계적으로 인정받는 소프트웨어 시스템을 개발한 인물입니다. 어렸을때 매스매티카라는 프로그램을 이용했었는데, 한동안 잊고 지내다가 이 책을 보면서 옛 추억에 빠져 봅니다.

​

이 책은 크게 두부분으로 되어 있습니다.

첫 번째 부분에서는 챗GPT의 작동 원리를 설명합니다. 챗GPT는 대규모 언어 모델(LLM)을 기반으로 합니다. LLM은 방대한 양의 텍스트 데이터를 학습하여, 인간과 유사한 텍스트를 생성할 수 있습니다. 챗GPT의 동작 원리를 설명학 이 앞서 GPT-2를 사용하여 생성형 언어모델의 동작원리를 먼저 설명합니다. 그리고 인공지능의 모델, 학습 및 임베딩 개념에 대해 설명을 합니다. 그리고나서 챗GPT의 내부의 트랜스포머 및 셀프 어텐션 개념을 설명하고 있습니다. 어텐션 가중치를 시각화한 부분은 상당히 인상적이었습니다. 그리고나서 작동원리를 설명합니다.

​

두 번째 부분에서는 울프럼 알파와의 연계 활용법을 설명합니다. 울프럼 알파는 울프럼이 개발한 온라인 계산 엔진입니다. 챗GPT는 울프럼 알파의 정보를 활용하여 보다 창의적이고 유익한 텍스트를 생성할 수 있습니다. 울프럼은 울프럼 알파와 챗GPT를 활용하여 다양한 응용 프로그램을 개발하는 방법을 소개합니다.

​

이 책은 챗GPT에 대한 기초 지식이 없는 독자도 쉽게 이해할 수 있도록 설명이 잘 되어 있습니다. 지나치게 이론에 치중하지 않았고 또 지나치게 활용에 치우치지 않아서 가볍게 읽을 수 있지만챗GPT의 동작원리를 이해할 수 있습니다.

​

한가지 아쉬운 점은 이 책이 출간된 후에 GPT-4 turbo 가 발표되었고 멀티모달을 입출력으로 처리할 수 있으며 정확도가 향상되었고 대화를 기억할 수 있는 양도 늘었습니다. 이 GPT-4 turbo 기반에서 울프럼 알파가 어떻게 활용될지 기대됩니다.

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."