독자리뷰
BERT A to Z
hahajj***
2022-06-26
구글 BERT의 정석
이 책은 BERT의 기본 개념부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 기계번역, 챗봇, 정보 검색 등 다양한 사례를 중심으로 BERT의 양방향을 활용하여 최소한의 데이터로 AI를 구현하는 방법을 배울 수 있다.
- 저자 : 수다르산 라비찬디란
- 번역 : 전희원 , 정승환 , 김형준
- 출간 : 2021-11-03
* 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.
BERT는 NLP Task를 해결하는데 있어서 기념비적인 모델이라고 생각합니다. Transformer에서 시작해서 BERT가 나오고, 수많은 파생 모형들의 등장과 Huge Language Model의 시대를 BERT가 열였습니다. <구글 BERT의 정석>에서는 트랜스포머 모델, Masked Language Model, 그리고 BERT의 여러 가지 응용과 변형까지, 한마디로 'BERT의 A to Z'를 다룹니다.
이 책은 BERT의 A to Z를 다룹니다.
쉽지 않은 트랜스포머와, BERT의 개념을 상세한 그림으로 풀어서 작성했다는 점이 가장 큰 장점입니다.
말로 "다음 문장과의 관계를 예측하는 Task인 Next sentence prediction(NSP)를 obejctive로 합니다"라고 말하면 이해는 되겠지만, 실제로 구현은 어떻게?라는 의문이 남을 수 있습니다. 이 책에서는 그러한 여지 없이, 굵직한 과정들에 대해서는 graphical한 설명이 첨부되어 있습니다. 실제로 코드로 구현할 때에도, 그림을 보면서 이러한 형태로 구조화하면 될 것이라는 계획을 세우는 데에도 큰 도움이 될 것입니다.
아마 실제로 BERT를 공부할 때, 원문 페이퍼를 읽게 되는 경우가 많습니다. 그리고 BERT를 전문적으로 다루는 책은 드물 뿐더러, 원문 페이퍼의 "Highlight"만을 다룰 때도 있습니다. 원문 페이퍼의 "Appendix"에는 때로는 중요한 디테일들이 숨어 있기도 하는데, 이 책은 그러한 지적 욕구를 충족시키기에 충분할 것이라고 생각합니다.
개인적으로는 특정 Domain에 BERT를 적용해야 하는 경우가 많은데, ClinicalBERT와 BioBERT 관련 컨셉에 대한 설명은 저에게도 큰 도움이 되었기에 더욱 추천하고 싶습니다.
