한빛미디어

주변에서 요즘 chatGPT가 난리입니다. GPT는 트랜스포머의 디코더를 사용했습니다.

트랜스포머 알고리즘은 이 책의 제목처럼 단지 자연어처리를 위해서만 사용되지 않습니다.

다양한 Task에서 트랜스포머가 활용되고 있습니다.

최근에 온디바이스에서 동작하는 모델을 개발하게 되었습니다. 

처음에는 많이 쓰는 모델인 MobileNet을 검토했습니다.

그리고 혹시나 하는 생각에 온디바이스에서 동작하는 트랜스포머 모델이 있을까 싶어 찾아 봤더니,

MobileVit 라는 모델이 있더군요.

코드를 한땀한땀 추가한 후, 확인을 해보니 오히려 안정적인 결과를 보여 줬습니다.

이렇듯 저의 경우만이 아니더라도 다양한 도메인과 테스크에서 트랜스포머의 개념은 큰 성고를 나타내고 있습니다.

이 책은 이런 트랜스포머를 쉽게 익숙해질 수 있도록 허깅페이스를 이용한 텍스트분류 부터 시작합니다.

그리고 트랜스포머의 아키텍처에 대해서 구체적으로 설명하고 있습니다.

그리고 효율적인 트랜스포머 구축 방법, 미세튜닝을 이용한 레이블 부족 문제를 다루는 방법 그리고 대규모 데이터셋 구축하기 등 트랜스포머를 다양한 각도에서 설명하고 있습니다.

이 책은 자연어 처리를 중심으로 설명하고 있지만, 이 책의 다양한 방법을 통해 트랜스포머를 익히면 조금 더 수월하게 다른 도메인과 테스크에 적용할 수 있다고 생각합니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."