한빛미디어

머신러닝 관련 업무를 처음으로 맡았을 때 2판으로 공부를 시작했었던 기억이 있어서 3판도 기대감을 갖고 읽어봤습니다. 

2판의 대부분의 내용이 그대로 있으면서 3판에서는 새로운 라이브러리 사용법과 NLP, 이미지처리, 생성형AI 관련된 딥러닝 최신 트렌드에 대해 업데이트가 되었습니다. 그 중 두가지 모델이 제 관심을 끌었습니다.

DistillBERT

사전 학습된 BERT모델에 단점인 제한된 리소스로 모델을 실행하기 어려운 점을 더 작고 빠른 BERT모델로 만들었습니다. 한국어로 번역하면 증류 BERT모델이라 불리는 이것은 사전 학습된 대형 BERT 모델을 선생님이라 생각하고 그곳에서 나온 지식을 학생에게 가르치는 느낌으로 지식을 이전하여 소형BERT모델을 만드는 방법입니다. 이로써 모델은 대형 BERT 모델에 비해 60% 속도향상, 40% 메모리 축소하였고 성능치는 97%수준으로 유지할 수 있습니다.

Vision Transformer

이미지 데이터를 N*N 작은 정사각형 모양으로 나눠 각각의 정사각형에 위치,순서정보를 기억하여 마치 텍스트의 시퀀스처럼 취급하며 사용하는 트랜스포머 모델입니다. 이 모델로 이미지의 문맥, 예를 들어 하늘에 떠 있는 비행기 사진을 보고 '비행기' 라고 검출하는 것이 아닌 '하늘에서 운행중인 비행기'라는 결과를 얻을 수 있습니다.