고등학교 때 '수학의 정석'이라는 책을 누구나 한 번쯤 접해봤을 것이다. 읽어본 사람들은 느끼겠지만 정석-이라는 책 제목만큼 너무나 원칙적이고 scratch부터 차근차근 스텝을 밟아 나간다. 단호하게 말해서 재미는 없지만 따라가다 보면 어느새 수학의 고수가 되어 있다. 구글 BERT의 정석도 그러한 형식으로 BERT에 대해서 정석적으로 알려준다.
나는 모든 자연어 처리 엔지니어들에게 이 책을 추천하고 싶다. 단순히 BERT를 import해서 training만 시키던 실무자들에게 Transformer 의 encoder, decorder를 component 단위로 하나하나 쪼개서 어떻게 돌아가는지 알려준다. 이를 이해하고 나면 BERT의 진정한 fine-tuning에 대해 좀 더 접근할 수 있지 않을까.
최근 BERT의 파생 모델 중 하나인 ELECTRA라는 언어 모델에 대해 관심이 있었는데, 이 모델에 대한 수식부터 예제 코드까지 설명되어 있더라. 정말 책 자체의 quality가 높고 잘~설명된 책이라서 내가 논문을 일일이 읽고 정리하지 않아도 될 수준이다! 오랜만에 지식 공유의 짜릿함을 느꼈다.
아쉬운 점이 있다면, 예제의 수준이 예제-에 그친다는 점이다. 즉 프로젝트 수준의 예제는 제공하지 않으며, 주로 언어 모델의 이론적인 면에 집중하고 있다. 프로젝트는 kaggle이나 다른 곳에서 crawling 하는 등 다른 dataset을 참고하여 진행하는 것이 좋을 듯하다.
