한빛미디어

[나의 한줄 추천사]

- ChatGPT 관련 프롬프트 엔지니어링 관련 서적들은 많이 나오는데, ChatGPT 원리를 설명하고 저자의 이름을 걸고 설명하고 있어서 신뢰가 가는 책이다.

​

[책 추천 이유]

- 현재까지 가장 성공한 생성형 AI 서비스인 "ChatGPT"의 원리를 알아보고, "ChatGPT"의 할루시네이션(환각)을 보완하기 위해서 저자가 제안하는 "울프럼 알파" 을 추가적으로 알수 있었다. 보통 저자의 이름을 걸고 나오는 책들을 신뢰하는 편이다. 그 만큼의 책의 퀄리티를 보장한다는 뜻이기도 하고, 그 만의 노하우를 간접적으로 습득할 수 있기 때문이다. 이 책 역시 그 부분들이 잘 녹여 있으며, "ChatGPT" 한테 질의를 했을때 그 이후 과정이 머리속에서 그림이 그려지게 된다.

​

[내가 찾고자 했던 질문들]

1.스티브 울프럼 (Stephen Wolfram) 누구인가?

- 이론 물리학자이면서, 교수이자, 울프럼 리서치의 CEO 이다. 전형적인 천재이며, 40년간 수학, 물리학, 컴퓨터공학에 기여하였다.

​

2.ChatGPT 학습 & 생성 원리는?

- 단어와 다음 단어에 나오는 확률에 의해서 생성되는 ChatGPT 문장 생성 원리는 대부분 알 것이다. 확률이라고 한다면 대부분이 똑같은 답변을 해야 하는데 왜 매번 다른 답변을하는가? 그 부분은 Temperature 하이퍼파라미터로 조정이 가능하다. 0~1 로 조정할 수 있는데, Temperature 가 높을 수록 더 다양한 창의적인 답변을 얻을 수 있는데, 프롬프트 엔지니어링을 통해서 이 값을 자연어로 조정할 수 있다. 그리고 ChatGPT 는 1,750 억개의 파라미터를 가지고 있는데, 이런한 많은 큰 파라미터를 가지기 위해서는 "큰 신경망"이 필요하며, 큰 신경망의 뉴런들이 fully connect 하게 연결되고, 딥하게 연결되어야 한다. 이 파라미터는 weight 이기 때문에 weight 에 따른 variation 높고, 다양한 문제를 풀 수 있게 되는 것이다. 그리고 문제를 풀 수 있는 데이터를 많이 학습시키면 weight 에 적용된 "임베딩 공간"의 벡터화 시켜서 가지고 있게 된다.

​

3.울프럼 알파는 ChatGPT 할루시네이션을 어떻게 보완하는가?

- 울프럼 알파는 울프럼 Language 를 통해서 만들어졌으며. 프롬프트 엔지니어링이 필요 없다고 한다. 프롬프트 엔지니어링을 통해서 효과적인 답변을 끌어낼 필요 없이 비슷한 질문 (도쿄와 시카고 거리는 얼마야?, 도쿄와 시카고 거리는 얼마일까요? 제발 답변해주세요) 하더라도 같은 대답을 내놓는다. 이것은 기존 LLM 방식의 생성형 AI 형태가 아닌 각각의 질의 최적화된 알고리즘을 통해서 답변이 나오기 때문에 가능한 것이다.

​

​

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

​

#ChatGPT

#스티브울프럼

#울프럼알파

#할루시네이션극복방법