heykimgu***
2023-03-14

챗GPT처럼 자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부
원본 리뷰 : https://blog.naver.com/heyggun/223044608392
나는 눈떠보니 어느덧 3년차 AI 개발자? 엔지니어? 다.
ML 기반 예측 모델, 추천 시스템 개발에 관심이 있고,
작년 부터는 nlp를 활용해서 모델링을 하고 있다.
2개월 전에 데이터바우처 사업을 이용해서
사내 도메인에 맞는 자체 NER 사전 구축을 기반으로 nlp 모델링을
본격적으로 시작했고, 사이드 프로젝트로 챗봇 개발을 하는 등
현재 나의 관심사는 '자연어처리'이다.
금년에는 텍스트마이닝을 기반으로 회사 프로젝트가 진행될 예정으로,
위의 책 "트랜스포머를 활용한 자연어처리"는 현재 시점에
나에게 가장 필요한 책이었다.
특히 '허깅페이스'의 개발팀이 알려주는 이라는 소개에서
나는 이 책을 읽지 않을 수가 없었다.
나는 사이드프로젝트로 챗봇을 개발하면서
'트랜스포머(transformer)' 라는 언어 모델을 사용했고,
허깅 페이스에서 공유된 트랜스포머 모델 학습 스크립트, 트레이너를 사용해서
직접 구현해야 하는 수고로움을 덜 수 있었다!
책의 구성을 간략하게 본다면,
Chapter 1 에서는 트랜스포머를 본격적으로 소개하면서,
인코더-디코더와 어텐션 메커니즘 설명과 허깅페이스의 생태계에 대해서 소개된다.
그 뒤로는 nlp의 과업들인 텍스트 분류, 텍스트 생성, 요약 등이 나오고
큰 챕터로 NER (개체명 인식), QA(질문 답변),
효율적인 트랜스포머를 구축하는 방법 과 대규모 데이터를 수집하는 방법으로 구성되어 있다.
이 책의 특장점은
연구 기반의 모델을 실전에 활용할 수 있도록 예제 코드가 충분하고,
다양한 nlp 모델에 대한 이해도와 모델 개발 및 배포에 감을 잡게 도와준다는 것이다.
필요한 부분에만 개념이 나오고, 실용적인 사례에 초점이 맞춰진 책이라서,
나는 책에 나온 내용들을 실무에 응용하는 데 많은 도움을 받았다.
단순 개념서가 아니라, 자기 업무에 맞춰 그러니까 실무에 맞춰서
적용할 수 있는 가이드를 제시해주는 책이라서,
nlp 초급 개발자 그리고 놓치고 있는 부분이 있는 것 같은데
아리까리(?) 한 nlp 엔지니어들이 보면 좋을 것 같다.
특히 자연어처리 라는 큰 범주에서 현재 핫한
'트랜스포머'에 주력해서 내용이 진행되서 현재 nlp 에 필수적인
정보를 제공받을 수 있다.
본격적으로 nlp 모델링을 한지는 5개월 남짓 되지 않아서,
아직까지 나에게는 모델링 경험이 부족하다.
알아야 할 것도 많고 시행착오도 많을 것이다.
하지만 최근 nlp의 성과를 활용할 방법을, 라이브러리를 만든
사람들이 설명하고 오랜 연구와 개발을 통해 축적한 지식을
해당 책을 통해서 도움을 받을 수 있어서 추천한다.