메뉴 바로가기 검색 및 카테고리 바로가기

한빛미디어

구글 BERT의 정석

인공지능, 자연어 처리를 위한 BERT의 모든 것

한빛미디어

번역서

판매중

  • 저자 : 수다르산 라비찬디란
  • 번역 : 전희원 , 정승환 , 김형준
  • 출간 : 2021-11-03
  • 페이지 : 368 쪽
  • ISBN : 9791162244852
  • 물류코드 :10485
초급 초중급 중급 중고급 고급
4.8점 (19명)
좋아요 : 2

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT

 

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다. 다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

 

주요 내용

  • 트랜스포머 모델
  • BERT의 작동 원리
  • 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
  • BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
  • 다운스트림 태스크를 위한 BERT 파인 튜닝
  • ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
  • 지식 증류 기반 BERT 모델
  • XLM 및 XLM-R 언어 모델
  • sentence-BERT. VideoBERT, BART 모델
  • KoBERT, KoGPT2, KoBART 모델

 

 

상세페이지_구글bert_940px.jpg

저자

수다르산 라비찬디란

데이터 과학자이자 연구원이자 저명한 저술가. 안나 대학교에서 정보 기술 학사 학위를 취득했다. 연구 분야는 자연어 처리 및 컴퓨터 비전, 딥러닝 및 강화학습의 실제 구현에 중점을 두고 있다. 오픈 소스 기여자이며 스택 오버플로 질문에 답하는 것을 좋아한다. 또한 베스트셀러 『Hands-On Reinforcement Learning with Python』(Manning, 2018)을 집필했다.

역자

정승환

NLP 리서치 엔지니어. 산업공학 석사과정을 졸업했다. 데이터 과학자로 활동하면서 제조, 유통, 통신 등 다양한 도메인에 대한 데이터 분석 및 ML 모델 개발 업무를 수행했다. 이후 딥러닝에 관심을 두고 AutoML 솔루션을 개발해 사내 시스템에 적용했다. 최근에는 한국어 KoBERT, KoBART를

활용한 챗봇 개발 과제에 참여했다. 또한 언어 모델을 활용한 문서 요약 과제에 관심을 두고 언어 모델을 활용한 의미 있는 기술과 제품을 개발하는데 노력하고 있다.

 

역자

전희원

NLP 리서치 엔지니어. 컴퓨터 공학 박사과정을 수료했다. 최초의 한국어 오픈 소스 언어 모델 KoBERT, KoGPT2, KoBART를 개발하고 깃허브에 공개했다. 대용량 언어 모델 학습과 이를 기반으로 한 다양한 주제에 관심이 많다. AWS ML Hero, DMLC 회원이며 기술의 민주화를 위한 오픈 소스 개발 프로젝트에 관심이 많다. 유명 오픈 소스로는 PyKoSpacing, KoNLP 등이 있다.

 

역자

김형준

NLP 리서치 엔지니어. 인지과학 석사과정을 졸업했다. 커리어 초창기 머신러닝 분석 솔루션을 개발해 자동차, 금융권 등 열 군데 이상의 대기업에 성공적으로 적용했다. 이후 자연어 처리에 관심이 많아 한국어 KoGPT와 KoBART 등의 딥러닝을 활용한 챗봇 개발과 텍스트 요약 과제를 수행했다. 세계적인 DSTC8(The 8th Dialog System Technology Challenge) 대회에서 2위를 했다. 한국어 RoBERTa를 개발하고 오픈 소스 언어 모델 사전 학습 플랫폼(https://github.com/lassl/lassl)에 공개했다.

[PART I BERT 시작하기]


CHAPTER 1 트랜스포머 입문

1.1 트랜스포머 소개

1.2 트랜스포머의 인코더 이해하기

1.3 트랜스포머 디코더 이해하기

1.4 인코더와 디코더 결합

1.5 트랜스포머 학습

1.6 마치며

1.7 연습 문제

1.8 보충 자료

 

CHAPTER 2 BERT 이해하기

2.1 BERT 기본 개념

2.2 BERT의 동작 방식

2.3 BERT의 구조

2.4 BERT 사전 학습

2.5 하위 단위 토큰화 알고리즘

2.6 마치며

2.7 연습 문제

2.8 보충 자료

 

CHAPTER 3 BERT 활용하기

3.1 사전 학습된 BERT 모델 탐색

3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법

3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법

3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법

3.5 마치며

3.6 연습 문제

3.7 보충 자료

 

 

[PART II BERT 파생 모델]

 

CHAPTER 4 B ERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT

4.1 ALBERT

4.2 ALBERT에서 임베딩 추출

4.3 RoBERTa

4.4 ELECTRA 이해하기

4.5 SpanBERT로 스팬 예측

4.6 마치며

4.7 연습 문제

4.8 보충 자료

 

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반

5.1 지식 증류 소개

5.2 DistilBERT: BERT의 지식 증류 버전

5.3 TinyBERT 소개

5.4 BERT에서 신경망으로 지식 전달

5.5 마치며

5.6 연습 문제

5.7 보충 자료

 

 

[PART III BERT 적용하기]

 

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색

6.1 텍스트 요약

6.2 텍스트 요약에 맞춘 BERT 파인 튜닝

6.3 ROUGE 평가 지표 이해하기

6.4 BERTSUM 모델의 성능

6.5 BERTSUM 모델 학습

6.6 마치며

6.7 연습 문제

6.8 보충 자료

 

CHAPTER 7 다른 언어에 BERT 적용하기

7.1 M-BERT 이해하기

7.2 M-BERT는 다국어 표현이 어떻게 가능한가?

7.3 XLM

7.4 XLM-R 이해하기

7.5 언어별 BERT

7.6 마치며

7.7 연습 문제

7.8 보충 자료

 

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기

8.1 sentence-BERT로 문장 표현 배우기

8.2 sentence-transformers 라이브러리 탐색

8.3 지식 증류를 이용한 다국어 임베딩 학습

8.4 domain-BERT

인간의 인지 능력을 능가하는 구글 AI 모델, BERT

 

자연어 처리에서 가장 화두가 되는 BERT는 2019년 11월에 구글이 공개한 AI 언어 모델입니다. 일부 성능 평가에서 인간을 능가하며 자연어 처리 발전에 큰 영향을 끼쳤습니다. 많은 사람이 자연어 처리 분야만큼은 AI를 적용하는 건 쉽지 않다고 생각했습니다. 하지만 BERT의 등장으로 그 가능성을 입증했으며, 자연어 처리 기술의 폭발적인 발전을 이루어냈습니다. 언어를 활용한 서비스를 개발하는 기관에서는 이미 BERT를 사용하고 있습니다. 문장 내 어절을 한 글자씩 나눈 다음 앞뒤로 자주 만나는 글자를 한 단어로 인식하는 방식으로 언어 처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받고 있습니다.

 

이 책에서는 자연어 처리에서 핵심 트렌드로 자리 잡은 BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개합니다. 전반부에서는 BERT의 전체 과정을 이해하는 데 기본이 되는 BERT와 트랜스포머를 다룹니다. 이어서 트랜스포머의 인코더와 디코더가 어떻게 작동하는지도 배우게 됩니다. 후반부에서는 BERT 외에 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT 등 다양한 BERT의 파생 모델을 소개합니다. 마지막으로 역자가 한국어의 불규칙한 언어 특성을 극복한 한국어 모델인 KoBERT, KoGPT2, KoBART에 대한 내용을 추가했습니다.

 

이 책 한 권이면 복잡한 BERT 개념을 완벽하게 이해하고 적은 양의 데이터로 인공지능을 구현할 수 있게 됩니다. 자연어 처리 업무를 단순하게 만들고 싶거나 인공지능, 딥러닝의 최신 트렌드가 무엇인지 궁금한 모든 이에게 훌륭한 안내서가 되어줄 것입니다.

  • book.png

     

    인공지능은 연일화두다. 인공지능을 논하지 않는 산업이 없고, 인공지능을이용한 다양한 어플리케이션들은 하루가 다르게 우리 생활을 바꾸어가고 있다. 이전에는 미래 사회를 다룬영화에서나 볼 법한 일들이 현실이 되어 나타나고 있다. 키보드나 마우스로 컴퓨터를 제어할 필요없이, 대화로 의사소통이 가능한 시대가 벌써 성큼 다가온 듯 하다.

    자연어 처리 (NLP: Natural Language Processing)는 인공지능의 오랜 연구분야 중의 하나이다. 그동안은 컴퓨터를 활용하기 위해서는 인간이 컴퓨터의 언어를 익혀야 했다. 하지만자연어 처리 분야가 발전하면서 인간의 언어로 컴퓨터와 소통하는 것이 점차 가능해지고 있다. 2018년등장한 BERT는 자연어 처리 분야에서도 인공지능 기술을 적용할 수 있다는 가능성을 보여주었고, 다양한 시도를 통해 엄청난 발전을 이루어내고 있다. BERT에 도입된트랜스포머 모델은 자연어 처리 분야를 넘어 다른 분야에서도 활용되고 있다.

    구글 BERT의 정석BERT를 기반으로 자연어 처리 어플리케이션을 구축하고자 하는 전문가 및 데이터 과학자를 위한 기본서로, BERT를 중심으로 사전 학습된 언어 모델에 대한 기본 개념을 소개하고 응용 예를 제시하고 있다. 또한 ALBERT, RoBERTa 와 같은 BERT의 다양한 파생 모델을 다룬다.

    이 책은 크게‘BERT 시작하기’,’BERT 파생 모델’,’BERT 적용하기3개파트로 구성되어 있다. 첫번째 파트인 ‘BERT 시작하기에서는 트랜스포머 기술에 대해 소개하고, 이를 바탕으로 BERT를 이해하고 활용하는 방법에 대해 다룬다. 두번째 ‘BERT 파생모델에서는 ALBERT,RoBERTa, ELECTRA,SpanBERT BERT의 다양한 파생 모델 및 지식증류에 대해서 자세히 소개한다. 마지막 세번째 파트인 ‘BERT 적용하기에서는 텍스트 요약을 위한 BERTSUM 모델, 다른 여러 언어별 BERT, Sentence-BERT,Domain-BERT, VideoBERT, BART에 대해 살펴보고, 한국어 언어모델인KoBERT, KoGPT2, KoBART를 사용하는 방법에 대해 다루고 있다. 각 장에는 직접 실습을 할 수 있는 다양한 예제를 제시함으로써 개념 이해를 돕고 있다.

    이 책은 BERT에 관심이 있는 자연어처리 전문가 및 데이터 과학자에게 추천하며, 이 책의 내용을효과적으로 활요하기 위해서는 NLP의 개념과 딥러닝에대한 기본적인 이해가 필수적이다.

    **한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

  • #BERT #버트 #인공지능 #자연어 #트랜스포머 #언어모델 #BERT변형 #KoBERT #BioBERT #RoBERTa #ALBERT

    그동안 딥러닝 자연어 공부를 하면서 트랜스포머를 중심으로 BERT로, 그다음에는 BERT의 파생 모델로 계속 공부를 이어나갔다. 하지만 생각보다 어떤 순서로 공부해야 할지 막막했고, 하나하나의 내용도 어렵다 보니 정리가 되지 않았다. 

    이런 상황에서 이 책은 정말 핵심 개념을 깔끔하게 정리해 준 트랜스포머와 BERT의 교과서가 아닌가 생각된다. 

    아마, 목차를 보시면 얼마나 체계적으로 기초 개념부터 정리해 주고 있는지 바로 확인할 수 있을 것이다. 

    우선, 첫 장에는 BERT에 적용된 기본 아키텍처인 트랜스포머에 대해서 정말 상세하고 이해하기 쉽게 설명해 주고 있다.

    이렇게 트랜스포머에 대한 개념을 쌓은 후에 2장에서 BERT의 기본 동작 방식을 설명해 준다.

    3장에서는 BERT를 활용하기 위해서 사전 학습된 BERT에서 임베딩을 추출하는 방법과 다운스트림 태스크를 위한 BERT 파인 튜닝 방법을 정리해 준다.

    이렇게 파트 1에서는 BERT의 원조인 트랜스포머, BERT의 기본 개념 및 활용 방법에 대해서 기초를 다져준다. 

    파트 2에서는 BERT의 다양한 파생모델에 대해서 2가지 종류로 정리해서 설명해 주고 있다. 4장에서는 가장 많이 인용되고 있는 ALBERT, RoBERTa, ELECTRA, SpanBERT 4가지 모델에 대해서 각각의 특장점을 잘 분석해 준다. 

    5장에서는 적은 리소스에서도 탁월한 성능을 보여 주는 지식 증류 알고리즘에 대해서 설명한다. 그리고, 가장 많이 활용되고 있는 DistilBERT와 TinyBERT에 대해서 소개해 주고 있다. 

    파트 3에서는 BERT를 다양하게 활용하는 사례와 대표 알고리즘을 보여준다. 6장에서는 텍스트 요약을 위한 BERTSUM에 대해서 설명해 주고, 7장에서는 다국어 표현을 위한 M-BERT와 XLM의 작동 원리를 정리해준다. 

    8장에서는 sentence-BERT로 문장 표현 배우는 방법과 지식 증류를 이용한 다국어 임베딩 학습방법으로 domain-BERT에 대해서 자세하게 설명해 주고 있다. 

    9장에서는 VideoBERT로 언어 및 비디오 표현 학습을 하는 방버을 설명해 주고, 페이스북 AI에서 도입한 흥미로운 모델인 BART를 정리해준다. 

    마지막 장인 10장에서는 대표적인 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대해서 정리해서 설명해 주고 있다. 

    아마, 목차만 흝어보더라도 BERT를 중심으로 체계적으로 정리를 정말 잘해 놓은 교과서라는 생각이 들 것이다. 특히, 매 장 마무리에서 연습 문제를 내어서, 각 장에서 명확하게 정리해서 이해해야 하는 개념들을 스스로 정리하게 한다. 

    책의 마지막 부록 부분에 각 장의 연습 문제에 정답을 정리해 놓았는데, 이 부분을 명확하게 자신의 언어로 표현할 수 있도록 숙달시켜 놓는다면 딥러닝 자연어를 본인의 전공분야로 커리어를 쌓으려는 분들에게는 교과서 같은 도움을 줄 수 있을 것이라고 생각된다. 

    그동안에 트랜스포머와 BERT를 제대로 이해하기 위해서 정말 많은 시간과 노력을 들였는데, 이 책을 보면서 이렇게 일목요연하게 정리된 것을 보면서 다시 한번 그동안 공부한 것들을 돌아볼 수 있었고, 비어있었던 부분을 발견할 수 있어서 매우 유익했다. 

    이제 딥러닝 자연어에 입문하려는 분들에게는 트랜스포머를 중심으로 BERT에 대해서 완벽하게 꿰뚫어 보고, 자신의 것으로 만들 수 있도록 도움을 주는 최고의 교과서라고 생각된다. 

    [PART I BERT 시작하기]


    CHAPTER 1 트랜스포머 입문


    1.1 트랜스포머 소개
    1.2 트랜스포머의 인코더 이해하기
    1.3 트랜스포머 디코더 이해하기
    1.4 인코더와 디코더 결합
    1.5 트랜스포머 학습
    1.6 마치며
    1.7 연습 문제
    1.8 보충 자료


    CHAPTER 2 BERT 이해하기


    2.1 BERT 기본 개념
    2.2 BERT의 동작 방식
    2.3 BERT의 구조
    2.4 BERT 사전 학습
    2.5 하위 단위 토큰화 알고리즘
    2.6 마치며
    2.7 연습 문제
    2.8 보충 자료


    CHAPTER 3 BERT 활용하기


    3.1 사전 학습된 BERT 모델 탐색
    3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
    3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
    3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
    3.5 마치며
    3.6 연습 문제
    3.7 보충 자료

     

    [PART II BERT 파생 모델]

     

    CHAPTER 4 BERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT

     

    4.1 ALBERT
    4.2 ALBERT에서 임베딩 추출
    4.3 RoBERTa
    4.4 ELECTRA 이해하기
    4.5 SpanBERT로 스팬 예측
    4.6 마치며
    4.7 연습 문제
    4.8 보충 자료

    CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반


    5.1 지식 증류 소개
    5.2 DistilBERT: BERT의 지식 증류 버전
    5.3 TinyBERT 소개
    5.4 BERT에서 신경망으로 지식 전달
    5.5 마치며
    5.6 연습 문제
    5.7 보충 자료

    [PART III BERT 적용하기]

    CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색

     

    6.1 텍스트 요약
    6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
    6.3 ROUGE 평가 지표 이해하기
    6.4 BERTSUM 모델의 성능
    6.5 BERTSUM 모델 학습
    6.6 마치며
    6.7 연습 문제
    6.8 보충 자료

    CHAPTER 7 다른 언어에 BERT 적용하기

     

    7.1 M-BERT 이해하기
    7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
    7.3 XLM
    7.4 XLM-R 이해하기
    7.5 언어별 BERT
    7.6 마치며
    7.7 연습 문제
    7.8 보충 자료

    CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기


    8.1 sentence-BERT로 문장 표현 배우기
    8.2 sentence-transformers 라이브러리 탐색
    8.3 지식 증류를 이용한 다국어 임베딩 학습
    8.4 domain-BERT
    8.5 마치며
    8.6 연습 문제
    8.7 보충 자료


    CHAPTER 9 VideoBERT, BART


    9.1 VideoBERT로 언어 및 비디오 표현 학습
    9.2 BART 이해하기
    9.3 BERT 라이브러리 탐색
    9.4 마치며
    9.5 연습 문제
    9.6 보충 자료


    CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART


    10.1 KoBERT
    10.2 KoGPT2
    10.3 KoBART

     

  • ㅂㅌ2.jpg

     

  • 지난 5월 네이버의 검색 랭킹 알고리즘에 작은 변화가 있었습니다. 바로 사용자의 검색 의도를 파악하여 의도에 맞는 검색 결과를 보여준다는 것인데요, 여기에 바로 BERT가 활용됩니다. 기존의 자연어 처리와는 달리 BERT는 앞뒤 문맥을 활용하여 단어의 의미를 파악하기에 정확한 번역 결과를 보여줄 수 있습니다. 


    책에서는 이 내용을 설명하기 위해 '그는 파이썬에게 물렸다' 와 '내가 좋아하는 프로그래밍 언어는 파이썬이다'라는 두 문장을 소개합니다. BERT는 문맥상 의미를 이해하기 위해 각 단어를 다른 단어들과 연결시켜 이해하게 되는데요, 첫 문장에서는 '파이썬' 이라는 단어와 '물렸다' 라는 단어의 연결 관계를 통해 파이썬이 뱀이라는 것을 파악하고, 두 번째 문장에서는 프로그래밍 이라는 단어와 함께 사용되고 있으므로 프로그래밍 언어를 의미한다는 것을 파악하게 됩니다. 이것이 바로 문맥을 파악하여 번역하는 BERT입니다. 같은 방법으로 네이버에서도 사용자가 '상하이'를 검색했을 때 중국의 지역 이름인 상하이를 의미하는지, 중국음식점 '상하이'를 의미하는지를 파악하여 최대한 그 의도에 맞는 검색 결과를 보여준다는 것입니다. BERT는 이미 다양한 자연어처리 애플리케이션에서 활용되고 있으며, 많은 BERT 파생 모델이 개발되었고, 자연어 처리 영역에서도 인공지능 기술을 적용할 수 있다는 가능성을 보여주는 계기가 되었습니다.


    KakaoTalk_20211121_235341348.jpg

     

    이 책은 BERT를 정확하게 이해하기 위해 트랜스포머 모델에 대해 먼저 자세히 설명하고, 이어서 마스크 언어 모델링(MLM)과 다음 문장 예측(NSP) 태스크를 사용해 BERT 모델을 사전 학습 시키는 방법, 사전 학습된 BERT 모델을 사용하는 방법 등을 설명하고 있습니다. 또한 영어가 아닌 다른 언어에 BERT를 적용하는 방법과 한국어 언어 모델인 KoBERT, KoGPT2, KoBART 의 사용방법을 다루고 있습니다. 또한 예제를 통해 영화 리뷰를 분석하거나, 챗봇을 생성하고 문서를 요약하는 작업을 직접 따라해볼 수도 있어 유익합니다. 그리고 영상과 언어의 표현을 동시에 배우는 VideoBERT에 대해서도 설명하고 있습니다. 자연어 처리 전문가와 데이터 과학자를 위한 책이므로 일반인이 읽기에는 상당한 어려움이 있지만, 모든 식을 직접 풀어나가려는 욕심을 버린다면 오히려 자연어 처리에 대해 더 정확하게 이해할 수 있는 책이기도 합니다.


    BERT는 트랜스포머 모델의 양방향 인코더 표현으로 먼저 트랜스포머 모델에 대한 이해가 중요합니다. 이 책에서는 매우 상세하게 트랜스포머 모델에 대하여 설명하고 있는데요, 간단한 문장의 번역 과정을 통해 트랜스포머가 어떻게 동작하는지 이해할 수 있습니다.


    예를 들어 A dog ate the food because it was hungry. 라는 문장에서 it이 의미하는 단어가 무엇인지 파악하는 과정이 중요합니다. it의 의미를 파악하기 위해 각 단어의 표현들은 문장 안에 있는 다른 모든 단어의 표현과 연결하여 의미를 이해하게 됩니다. 이 때 인코더 안에 포함된 셀프 어텐션이 단어와의 연결 작업을 수행하는데 각 단어에 대한 벡터값을 추출하고 이 값들의 행렬 계산을 통해 연관성을 파악하는 것입니다. 그런데 의미가 맞지 않은 단어의 벡터값이 높을 경우에는 문장의 의미가 잘못 해석될 수 있겠지요? 그래서 어텐션 결과의 정확도를 높이기 위해 멀티 헤드 어텐션을 사용하고 그 결괏값을 더하는 형태로 진행을 합니다. 이 내용을 설명하는 동안 벡터값들로 이루어진 행렬, 행렬 계산, 그리고 위치 정보를 파악하기 위한 사인 함수와 코사인함수 등이 등장하기도 하는데요, 대부분의 자연어 처리 책의 설명이 코딩 과정에 집중되어 있어 이렇게 자세하게 원리를 설명해주지 않았기 때문에 이 부분이 더 고맙고 재미있게 느껴졌습니다.


    매 단원이 끝나면 연습 문제를 통해 단원의 내용을 정리할 수도 있고, 더 자세한 내용을 알고 싶다면 책에 소개된 보충 자료를 참고할 수도 있습니다.


    본격적인 BERT의 원리와 활용법을 배울 때는 코드를 따라하며 익힐 수 있습니다.


    KakaoTalk_20211122_022525067.jpg

     

    KakaoTalk_20211122_022524559.jpg

     

    KakaoTalk_20211122_022523918.jpg


    전체적으로 책의 구성이 매우 알차다는 느낌입니다. 요즘 매우 중요해지는 자연어 처리, 그 중에서도 가장 핫하다는 BERT를 이렇게 자세히 설명한 책도 없지만, BERT 이전에 자연어 처리의 트랜스포머 모델에 대해 자세히 배울 수도 있었고 그 원리를 이해할 수 있어서 정말 좋았고, 다양한 활용방법을 익힐 수 있어 좋았습니다. 또한 내용은 어렵지만 책의 구성이 답답하지 않아 좋습니다. 또한 역자의 자세한 주석이 공부하는데 많은 도움을 줍니다. 자연어 처리를 다루시는 분이라면 꼭 읽어야 할 책입니다.


    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."


     

  •   

     

     

     

    자연어처리 분야에서 트랜스포머의 BERT는 굉장히 핫한 모델 중 하나이다. 유명세와 다르게 아직 국내에서는 BERT를 다룬 서적은 찾아볼 수 없었다.  그러던 중 이번 11월 한빛미디어에서 국내 최초로 BERT 번역서를 출간하였다.

     

    transformer는 기존에 존재하던 RNN , LSTM의 장기 의존성 문제를 해결하는 훨씬 더 좋은 성능을 자랑하는 모델이다. 해당 아키텍쳐의 출현으로 인해 BERT, GPT 등 혁신적인 모델들이 등장하면서 NLP 분야가 더 발전할 수 있는 계기가 되었다. 

     

    transformer의 아키텍쳐를 이해하기 위해서는 'attention'의 개념이 중요하게 작용한다. 실제로 transformer를 발표한 논문의 이름 역시, 'Attention Is All You Need' . 졸업 논문 작성을 위해 GPT 모델을 찾아보던 중 transformer를 마주치게 되었는데 attention과 encoder, decoder 등 낯선 개념들로 인해 며칠을 헤맸던 기억이 난다. ;;; 구글링을 해보면 transformer, BERT 를 다룬 블로그, 강의들이 많이 등장하지만, 수박겉핥기식 설명이나 단순 튜토리얼 포스팅이 대다수였다. 

     

    <구글 BERT의 정석>은 transformer에서 시작해 BERT의 원리, 활용 , 파생모델, 한국어 모델 등 BERT를 공부할 때 알아야하는 전반적인 내용들을 담고 있다. 동작방식을 설명할 때 수식과 그래프를 이용해 독자의 이해를 높여주려는 지은이의 수고로움이 느껴졌다. 실제로 모델을 활용할 수 있게 예제 코드도 같이 제공하고 있다. 

     

    BERT를 공부하면서 가장 어렵다고 느껴졌던 부분은 아무래도 수식이 많이 등장하는 동작원리에 대한 부분이었는데 이 책에서는 이런 내 마음이 알았는지 동작 원리 및 방식에 대해 자세하게 설명을 해주고 있다. (원리설명 부분만해도 책의 절반 정도를 차지한다. )

    이 책이 정말 괜찮다고 느껴졌던 점은, BERT계열의 파생모델과 이외 한국어 언어모델(KoBERT , KoGPT2, KoBART) 에 대한 설명 및 코드 활용 부분이었다. 이 책 한 권으로 다양한 모델들을 많이 접해볼 수 있다는게 가장 큰 매력으로 다가왔다.  한국어 언어모델 말고도 다른 언어(독일어, 중국어, 프랑스어 등등)의 BERT 모델도 같이 실려있어 외국의 BERT 모델이 궁금한 사람들에게도 좋은 책이 될 것 같다.

     

     

    책의 전체적인 내용은 친절하고 자세한 설명으로 독자의 이해를 도와주고 있지만, 초보자가 보기엔 난이도가 있고, 더 전문적인 느낌이 강하다. 실제 자연어 처리 분야에 일을 하고 있는 실무자나 선수 지식을 보유하고 있는 사람들에게는 더할나위없이 추천하고 싶은 책이다. 

     

     

    한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.



    출처: https://growingarchive.tistory.com/228 [growing archive]

  •  

     

    한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다.

    책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다.

    요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다.

     

    시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 

     

    위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다.

     

    책의 구성 또한 옹골차다고 느껴진 것이. 기본 개념 이해와 알고리즘(트랜스포머, 버트) 동작 설명 후에 버트를 어떻게 finetuning해야하는지에 대한 내용이 들어가있다. 이 내용이 PART1 의 내용이고, 그 다음의 PART2,3는 버트의 파생방식들에 대해 다루는데, 모든 파생방식을 설명하진 않고, 꼭 필요하다고 생각되는 Roberta, Albert, Electra, Spanbert, 경량화 기법을 다룬다. 또한 PART 3 끝자락에 한국어 모델의 사용법도 설명해주고 있다.

     

    책에 쓰여있는 문체와 단어들도 간단하게 쓰여있었어서 읽기도 쉬웠다. 

  •  

     

    안녕하세요 괴짜 개발자 namedboy 입니다. 

    인공지능을 공부하다 보면 자연어 처리에 대해 한번쯤 관심을 가지게 됩니다. 딥러닝을 이용한 자연어 처리에는 워드투벡터, 글로브가 많이 이용되는데 BERT 역시 이러한 임베딩 방법중 한가지이다.

    책에서는 BERT를 이해하기 위해서 필요한 내용 그리고 그 이전에 자연어 처리 모델에 대한 내용을 먼저 다루고 실질적인 BERT가 동작하는 방식을 다루며 독자가 좀 더 쉽게 이해할 수 있도록 했다.

    뮬론 기본적인 딥러닝의 개념에 대해서 모른다면 다른 딥러닝의 이해를 돕는 기본 책들을 먼저 찾아보고 읽어본 후에 이 책을 읽기를 권한다.

    이 책에서는 기본적으로 딥러닝이 어떤식으로 동작하는지에 대한 이해가 뒷받침 된 상태에서 읽는 것을 전제로 하고 있다.

    책의 초반에 대상독자에 대해서 소개하는데 이미 머신러닝 업무를 수행하고 있는 사람이나 BERT를 기반으로 NLP 업무를 하고자 하는 사람들이 적합하다고 서술하고 있다.

     

    딥러닝에 대해 알지 못한다면 어려울 것으로 생각될만큼 일반적인 내용보다는 BERT를 동작 시키기 위해 필요하거나 좀 더 BERT에 대해 집중적으로 설명하고 있다.

    기본 이해가 있는 사람들에게는 BERT를 쓰기 위해 필요한 기본적인 내용과 활용할 수 있도록 충분한 내용을 다루고 있기에 BERT를 사용하여 NLP를 구축하는데는 많은 도움이 될꺼라 생각된다.

    추가적으로 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대해서도 다루고 있어 단순히 BERT를 사용해 NLP 처리가 아니라 한국어 언어에 대한 처리를 하기 위해서도 도움이 될만한 부분이 책의 한 챕터로 구성되어 있다.

     

    구글 BERT 외에도 다른 자연어 처리 모델도 있는데 앞으로도 계속 발전해 나가는 영역인 만큼 NLP 처리 모델 중 한가지인 BERT도 한번 살펴보면 좋겠다는 생각이 든다.

     

    이 리뷰 내용은 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

    책의 내용이 궁금하다면 이곳을 통해 확인할 수 있다.

  • 이번 리뷰 도서는 그동안 봤던 인공 지능 책들과는 약간 다른 분야를 다룬다.
     

    https://www.hanbit.co.kr/store/books/look.php?p_code=B2201215526

     
     

    표지.jpg

     

     
    대부분 인공 지능이나 딥러닝에서는 이미지 처리를 주로 다루는데 이 책은 자연어 처리를 다루며,
     
    이미지 처리 보다도 더 어렵게만 느껴진다. 이 책을 보는 내내 이해가 안가는 부분도 많고 내용이
     
    어려워서 "현타" 내지는 "허탈감" 에 빠질수도 있다는 점 잊지 말자.
     
    본인도 예전에 자연어 처리에 대해 살짝 공부해 본 적도 있지만, 거의 기억도 나지 않고 많이 어려웠었다.
     
    도서 소개 페이지에는 "중급" 으로 되어 있지만 내가 보기에는 "중급 이상"이 되어야 할거 같다.
     
    책의 초반에는 트랜스포머, BERT 모델들의 기본 구조나 원리에 대해서 설명한다.
     
    다이어그램이나 행렬, 공식들이 많이 나오는데... 사실 상당 부분 이해가 잘 안간다. 나만 그런건 아닐듯.
     
     

    행렬 수식.jpg

     

    그래서 자연어 처리에 대해 처음인 독자라면 좀 더 쉬운 책을 먼저 읽어보기를 권한다.
     
    이 책의 예제 실행을 위한 사전 준비 사항 같은거에 대한 설명은 전혀 없다. 초급자용 책이 아니니까 당연할 수도 있다.
     
    그나마 예제들이 구글 코랩 기반으로 실행 가능하도록 깃헙에 올려져 있으니 설치 등의 문제에서 해방 될 수 있다.
     
    하지만 책 앞부분에만 깃헙 링크 소개가 있었고, 책 소개 페이지에는 링크가 없는게 아쉽니다.
     
     
    책의 중반으로 넘어가면 파생 모델들과 영어 이외의 다양한 언어 처리를 위한 내용들이 있다.
     

    다국어 처리.jpg

     

     
    한국어 처리를 위한 내용도 많지 않은 분량이지만 참고하면 좋을 것이다.
     
    사실 책을 보면서 워낙 내용도 어려워서인가... 가독성이 떨어지는 듯한 느낌이 있지만, 기분 탓이겠지...
     
    책의 후반부에 나오는 VideoBERT 는 상당히 흥미로웠다. 과연 내가 이걸 써먹을 기회가 있을것인가~
     
     

    비디오버트.jpg

     

    그리고 연습문제 정답이 있네 ! ! !
     
    연습문제나 퀴즈 정답이 없는 책도 많이 있던터라 복습 차원에서 문제 풀이를 해보는 것도 좋들 듯 싶다.
     
    마지막으로 정리하면... 어려운 책이니까 잘 생각하고 선택하자. 깃헙 링크는 도서 소개 페이지에 좀 올려주면...
     
     
    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • 구글 BERT는 2019년 10월에 최신 알고리즘 업데이트 BERT(Bidirectional Encoder Representations from Transformers)를 발표했습니다. 이는 최근 5년간 구글의 가장 큰 변화라고 지칭할 정도입니다. 구글은 BERT 모델 도입을 통해 그 어느 때보다도 사용자들의 검색 의도를 잘 이해할 수 있을 것입니다.


    BERT는 검색 문장의 단어를 입력된 순서대로 하나씩 처리하는 것이 아니라 한 문장의 모든 단어의 연관성을 이해하며 검색 문장을 처리하는 모델입니다. 그러므로 BERT는 검색 문장의 전체적인 맥락을 고려하기 때문에 검색 문장에 담겨있는 사용자의 진짜 의도를 이해하는 능력이 뛰어납니다. BERT 알고리즘은 자연어 처리와 관련된 딥 러닝 알고리즘입니다. 기계가 문장의 단어가 의미하는 바를 이해하는 데 도움이 됩니다. 


    알고리즘이 자체적으로 대략의 데이터를 스스로 읽고 학습하는 방식으로 단어의 문맥, 관계 등을 판단하고 예측하는 자연어 처리 언어 모델에 대해 자세하게 담고 있는 구글 BERT의 정석을 소개합니다.


    인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT에 대한 내용을 담고 있는 구글 BERT의 정석은 인공지능, 자연어 처리를 위한 모든 것을 알려줍니다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, SpanBERTa, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명합니다.


    다음으로 BioBERT 및 ClinicalBERT와 특정 도메인에 해당하는 BERT 모델을 배우고, BERT의 재미있는 변형 모델인 VideoBERT도 살펴볼 수 있습니다. 그리고 이 책의 가장 매력적인 부분은 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필되어 있는데요. 책의 순서대로 따라 모든 학습을 마치고 나면, BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것입니다.


    PART1에서는 BERT 시작하기로 트랜스포머 입문, BERT 이해하기, BERT 활용하기 통해 기초적인 부분에 대해 배울 수 있는데요. 1장은 트랜스포머 모델에 대해 자세히 설명합니다. 트랜스포머의 인코더와 디코더의 구성요소를 자세히 살펴보면서 어떻게 작동하는지 배울 수 있습니다.


    2장 마스크 언어 모델링(MLM)과 다음 문장 예측(NSP) 태스크를 사용해 BERT 모델을 사전 학습시키는 방법을 설명합니다. BERT 모델 자체를 이해하고, 하위 단어 토큰화 알고리즘에 대한 내용을 배울 수 있습니다.


    3장 사전 학습된 BERT 모델을 사용하는 방법을 설명합니다. 사전 학습된 BERT 모델을 사용해 문맥을 고려한 단어 및 문장 임베딩을 추출하는 방법을 익힐 수 있습니다. 그리고 질문 응답, 텍스트 분류 등과 같은 다운 스트림 태스크에 맞춰 사전 학습된 BERT를 파인튜닝하는 방법에 대해 담고 있습니다.


    PART 2에서는 BERT 파생 모델인 ALBERT, RoBERTa, ELECTRA, SpanBERT, 지식 증류 기반 종류에 대해 알아 볼 수 있습니다.


    PART 3는 BERT 적용하기로 텍스트 요약을 위한 BERTSUM 탐색, 다른 언어에 BERT 적용하기, sentence-BERT 및 domain-BERT 살펴보기, VideoBERT, BART, 한국어 언어 모델인 KoBERT, KoGPT2, KoBART 등에 대해서 배울 수 있습니다.


    자연어 처리에 대해 익힐 수 있는 책은 많이 있는데요. BERT의 알고리즘을 통해 큰 텍스트 본문에 사용할 수 있는 자연어 처리 사전 훈련 방식을 궁금한 독자분들에게 구글 BERT의 정석 책을 추천합니다.


    구글 BERT의 정석의 핵심은 당신이 알아야 할 BERT의 모든 것을 다루며, BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 담고 있습니다. 그리고 원서에 없는 친절하고 상세한 역자 주석으로 부족함 없이 가득 채워져 있는데요. 구글 BERT 자연어 처리 실력 향상을 위해 연습 문제와 해답을 제공하고 있습니다.


    이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서입니다.


    책의 예제 소스 코드는 저자의 깃허브에서 다운로드 할 수 있습니다.

    https://github.com/packtpublishing/getting-started-with-google-bert



    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • [나의 한줄 추천사]

    BERT 라이브러리 써봤는데, 동작방식이 궁금하다. 나만의 "BERT" 모델을 만들고 싶을때 이 책을 보라

    [책 추천 이유]

    자연어처리(NLP)를 공부하다 보면 무조건 1번 이상은 보게 되는 "BERT" 에 대해서 하나씩 짚어보면서 이해할 수 있도록 설명 해주고 있다. 그리고 연습문제를 하나씩 풀어보면서 머리속에서 정리가 되어서 더 좋다. 필요할때, 막힐때 꺼내보면 좋은 책이다.

    [내가 찾고자 했던 질문들]

    1. BERT 동작 방식은?

    - MLM (Mask Language Model) : 자동 인코딩 모델로, 예측을 위해 문장을 양방향으로 읽는다. 주어진 입력 문장에서 전체 단어의 15%를 무작위로 마스킹하고 마스크된 단어를 예측하도록 모델을 학습시킨다. 마스크된 단어를 예측하기 위해서 모델은 양방향으로 문장을 읽고 마스크된 단어를 예측하려 시도한다.

    - NSP (Next Sentence Prediction) : 다음 문장 예측은 이진 분류 테스트다. BERT에 두문장을 입력하고 두번째 문장이 첫번째 문장의 다음 문장인지 예측하려 시도한다.

    2.BERT 종류 및 활용은?

    - BERT light 버전 : ALBERT

    - BERT 효율적 사용 버전 : RoBERTa, ELECTRA,

    - 질문-응답, 관계 추출 : SpanBERT

    - 지식증류 방식

    (1) 대형 BERT -> 소형 BERT 지식이 이전되는 '교사 - 학생' 새로운 모델 생성됨 (DistilBERT)

    (2) 대형 BERT -> 다양한 데이터 증식(data augmentation) 새로운 모델 생성됨 (TinyBERT)

    - 두 문장 유사도 계산 : Sentence-BERT

    - domain-BERT

    (1) 대규모 생물 의학 코퍼스 사전학습 (BioBERT) : 생물의학 질의 응답, 개체명 인식(NER)

    (2) 임상문서 사전학습 (ClinicalBERT) : 재입원 예측, 체류 기간, 사망 위험 추정, 진단 예측

    - 영상과 언어 동시에 학습 : VideoBERT

    3. 한국어 BERT는?

    - 한국어 위키피디아 약 500만개 문장과 5,400만개 단어 학습으로 좋은 성과를 내고 있음 : KoBERT, KoGPT2, KoBART

    4.참고할 만한 소스 코드는?

    - 원서인 Packt 출판사에서 아래의 깃헙 제공하고 있다.

    https://github.com/packtpublishing/getting-started-with-google-bert

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

     

     

    구글, 자연어 두개의 키워드와 함께 이번에 읽을 책으로 픽한 책이다.

     

     

     

     

    대학원 전공이 자연어 처리다 보니 관심의 끈을 놓지 못하고 간간히 이렇게 책을 보거나 세미나를 듣거나 하게 된다

     

     

    머신러닝책을 꾸준히 리뷰하다 보니.. 이런저런 것들을 볼 수 있었는데, 책으로만 접해도 확실히 기술들이 점점 변하고 있는 것이 느껴진다.

    BERT 라는 용어는 이 책이 아니었다면 알지 못하지 않았을까? 국내 유일의 책이라는 소개라는 말이 거짓이 아닐지도.

    책의 구성은 굉장히 친절하다. 하나하나 따라 갈 수 있도록 단계적이고 친절한 설명과 설득력 있는 그림들이 시스템을 이해하고 수식을 이해 할 수 있도록 도와 준다.

     

     

    하나 하나 정말 친절하다. 대학교 강이 이후 이렇게 친절한 설명은 처음인 느낌이다.

    수식의 이해도 아래와 같이 예제와 함께 하나하나 계산해 나가는 과정을 설명하고 보여주며 수식을 이해할 수 있게 한다.

    각각의 용어의 의미와 실제 값과 계산의 과정과 결과를 보여 주면서 이해할 수 있도록 도와 준다.

     

     

    다양한 종류의 BERT 라이브러리의 사용법 또한 Python 코드로 설명되어 있고, 하나 하나 따라 해볼 수 있도록 되어 있다.

     

    그리고 마지막으로 연습 문제라는 이름으로 타이틀이 되어 있지만 결국 앞서 설명한 내용에 대한 키워드 정리의 개념으로 이해할 수 있다. 질문의 내용의 답이 결국 앞서 읽은 내용을 정리 할 수 있는 기회가 될 수 있도록 한다.

    물론 정답도 책의 제일 마지막에 정리되어 있다.

     

     

    이 책 서문에서는 아래와 같이 이야기 한다.

    이 책의 대상 독자는 BERT를 기반으로 한 언어 이해 NLP 태스크를 수행하려는 NLP 전문가 및 데이터 과학자다.

    이 책을 최대한 활용하려면 NLP 갠ㅁ과 딥러닝에 대한 기본적인 이해가 필요하다.

    - 본문 서문 중 -

     

    그러나 직접 읽어본 소감으로는 전문가가 아니라도 관심이 있는 사람들이 공부자체를 위해서도 스터디 용으로 사용하기에 정말 충분하게 좋아 보인다. 물론 파이썬을 먼저 사용할 줄 알아야 하고, 파이썬으로 머신러닝 라이브러리는 몇몇게 사용해 본적이 있어야 하고, 자연어 처리 자체를 알고는 있어야 한다는 전제 조건은 있다.

    길고 긴 그리고 자세한 한편의 친절한 논문을 읽은 기분이다.

  • (해당 포스트에서 소개하고 있는 "구글 BERT의 정석" 책은 한빛 미디어로부터 제공받았음을 알려드립니다.)

     

    구글 BERT의 정석

    이 책은 BERT의 기본 개념부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 기계번역, 챗봇, 정보 검색 등 다양한 사례를 중심으로 BERT의 양방향을 활용하여 최소한의 데이터

    hanbit.co.kr

    인공지능이 적용되고 있는 생활 분야는 다양하게 있지만, 가장 큰 체감이 느껴지는 분야는 역시 자연어처리(Natural Language Processing, NLP)가 아닐까 싶다. 어느 순간부터 상점 웹페이지에 들어가면 챗봇이 상담을 대신해주기도 하고, 집에도 이제는 어느새 스마트 스피커가 하나쯤은 존재한다. 나같은 경우에는 구글 어시스턴트에 루틴을 만들어서 출근할 때와 퇴근할때 스마트 플러그 제어를 하게끔한다. 참으로 편리한 세상이다. 

    다양한 NLP 기술들을 회사에서 제공하고 있지만, 이 기술의 원천을 개발하는 양대 산맥은 역시 구글과 아마존이다. 우스개소리로 우리 회사 사람들도 10년을 파고 연구해도 구글이나 아마존이 지배하고 있는 기술은 이길 수 없다고 하는데, 실로 구글과 아마존이 NLP 분야에 미치고 있는 영향력은 관련 학회에 발표되는 논문만 봐도 알 수 있다. 사실 내가 제일 신기했던 것은 2018년 Google Summit에서 발표된 Duplex였다.

     

    Google Duplex: An AI System for Accomplishing Real-World Tasks Over the Phone

    Posted by Yaniv Leviathan, Principal Engineer and Yossi Matias, Vice President, Engineering, Google A long-standing goal of human-comput...

    ai.googleblog.com

    기존의 기계음이라고 딱 인지되는 예약대응 시스템이 사람의 음성을 모사한 시스템이 자연스럽게 답변하고, 예약을 해주는 것을 확인할 수 있다. 이 기술의 내면에도 구글에서 발표한 WaveNet이라는 기법이 있었기에 가능했다. (참고로 KT도 작년에 이런 능동대응형 솔루션을 상용화했다. 아마 AICC라고 하는 것 같은데..)

    아무튼 구글이 발표한 기술 중 몇가지 대표적인 것이 있는데, 그 중 하나가 BERT라는 것이고, 이번에 다룰 책도 이 BERT의 내부 구조에 대해서 소개한 책이다.

     

    구글 BERT의 정석

     

    모르는 사람을 위해서 잠깐 소개하자면 BERT는 Bidirectional Encoder Representations from Transformers 의 약자로 역시 구글에서 제안한 Transformer 기반의 환경에서 양방향 인코더를 적용시켜 표현하는 방식을 나타낸다. 사실 아는 사람은 알겠지만, 자연어처리는 다른 분야보다도 훨씬 복잡한 전처리 방식과 시계열 데이터를 처리하기 위한 RNN 구조의 복잡한 신경망이 필요하다. 간단히 생각해봐도, 전세계에는 다양한 언어들이 존재하고, 언어별로도 문장의 배치나 형태가 제각각이다. 또한 각 언어로 표현되는 기술적인 부분도 제각각이다. 분명 이런 기술들을 포괄하고자 하는 언어 표현 모델을 만드려는 시도가 있었고, 이 시도 중에 만들어진 것이 BERT이다.

    책의 내용이 전개되는 방향은 BERT를 처음 접한 사람이 구조와 동작원리를 이해할 수 있도록 처음에는 기반 기술인 Transformer를 설명하는 것을 시작으로, BERT의 다양한 응용 기술들, 실제로 NLP에서 BERT를 사용해 처리하는 기법까지 말그대로 수학의 정석을 보는 것처럼 커리큘럼화되어 있다. 물론 배경 내용이 NLP를 조금 다뤄봤던가, 그래도 뭔지는 안다는 사람에게 익숙한 내용을 다루지만. 처음 다루는 사람이라도, 구현하면서 이해할 수 있는 방식으로 내용 전개가 이뤄진다. 책에서 다뤄지고 있는 상세한 내용은 다음과 같다.

    • Transformer 모델
    • BERT의 동작원리
    • Masked Language Model(MLM)과 Next Sentence Prediction (NSP)를 활용한 사전학습
    • 상황에 맞는 단어 및 문장 임베딩
    • BERT Fine Tuning
    • ALBERT, RoBERTa 등 BERT의 파생 모델
    • Knowledge Distillation BERT
    • XLM, XLM-R
    • KoBERT, KoGPT-2, KoBART 모델

    사실 이 책이 등장하기 전까지는 BERT가 무엇인지 파악하기 위해서는 논문을 살펴보던가, 공개된 최근 NLP 강의에서 살짝 언급된 내용만 가지고 대충 동작이 이렇구나를 유추하는 정도였는데, 나름 예시와 도식화를 통해서 BERT의 동작원리가 잘 설명되어 있어서, 살짝 맛만 보았던 기술에 약간 간을 맞추는 형식이 될 수 있었다. 특히 BERT의 파생형을 소개하는 부분에서는 다양한 분야에 걸쳐서 적용한 방식들이 소개되고, 이를 실습해볼 수 있는 환경이 구성되어 있어서, 실무적으로 접근해보고자 하는 사람도 선호 분야에 맞춰서 읽을 수 있는 부분이 좋지 않았나 생각한다.

    무엇보다도 짧긴 하지만 원서에는 없는 KoBERT나 KoGPT2같은 한국어 언어 모델에 대한 내용도 살짝 다뤄지고 있기에, 관련 연구를 하는 사람에게는 뭔가 시작해볼 수 있는 이정표가 딱 생겼다고 할 수 있겠다. 사실 나는 이 원저자가 쓴 책 중 하나(Hands-on Deep Reinforcement Learning)를 옛날에 읽은 적이 있었는데, 너무 수박 겉핥기 식으로만 기술이 설명이 되어 있어서, "이 사람이 진짜 알고리즘을 이해하고 책을 쓴건가..." 하는 의구심을 가지고 있었고, 더불어 원 저서의 출판사(Packt)에 대한 선호도가 떨어져있었던 상태에서, 기대감 반 호기심 반 심정으로 이 책을 선택했었다. 하지만 역자분들의 배경지식이나 원서의 내용이 BERT의 기본 동작을 충실하게 설명해놓아서 읽기 좋았다. 아무래도 BERT를 심층적으로 다룬 책으로 거의 유일하기에 아마 많이 찾아보지 않을까 하는 생각이 든다.

    참고1: 책 표지가 나름 이쁘다!

    참고2: 책에 대한 github이 있으니 참고하면 좋을 것 같다.



    출처: https://talkingaboutme.tistory.com/entry/Book-Getting-Started-with-Google-BERT [자신에 대한 고찰]

  • 요즘 자연어처리에서 압도적인 인기를 끌고 있는 BERT 만을 다룬 책이 나왔다고 해서 관심이 갔는데 한빛미디어의 "나는 리뷰어다"를 통해 운 좋게 읽어보게 되었다.

    자연어처리 관련된 경진대회를 보면 BERT를 사용한 모델이 종종 등장하는데 이 책은 트랜스포머 모델을 설명하며 BERT의 작동 원리 부터 BERT 모델이 사전학습 되는 방법과 BERT를 파인튜닝해 다운스트림 태스크에 활용하는 방법 등을 다루고 있다.

    딥러닝, 텍스트 임베딩 등에 대한 사전 지식이 있는 상태에서 봐야하는 책이며, 초보적인 내용은 설명하고 있지 않기 때문에 자연어처리에 대한 기본 지식을 습득한 상태에서 읽어보는 것을 추천한다.

    하지만 어느 책이든 요즘은 깃헙 소스코드를 친절하게 제공하고 있기 때문에 소스코드를 통해 이 책이 어떤 책인지 먼저 감을 잡을 수 있을것이다.

    PacktPublishing/Getting-Started-with-Google-BERT: Getting Started with Google BERT, published by Packt

    BERT만을 다룬 책도 없었고 BERT를 이렇게까지 자세하게 다룬 책도 없는데 KoBERT, KoGPT2, KoBART 모델을 개발한 역자분이 번역한 책이라 더 신뢰가 가는 책이다. 그래서 원서에는 없는 KoBERT, KoGPT2, KoBART 모델까지 다루고 있다는게 이 책의 큰 장점이기도 하다.

    • BERT는 다른 임베딩 모델과 어떻게 다른가?
    • BERT-base 모델과 BERT-large 모델의 차이점은 무엇인가?
    • 세그먼트 임베딩은 무엇인가?
    • BERT는 어떻게 사전 학습되는가?
    • MLM 태스크는 어떻게 동작하는가?
    • NSP 태스크는 어떻게 동작하는가?
    • 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
    • BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
    • 다운스트림 태스크를 위한 BERT 파인 튜닝

    BERT를 다루며 알아야할 기본적인 내용부터 다양한 모델을 다루고 있다.

    • ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
    • 지식 증류 기반 BERT 모델
    • XLM 및 XLM-R 언어 모델
    • sentence-BERT. VideoBERT, BART 모델

    그리고 마지막으로 KoBERT, KoGPT2, KoBART 모델을 다룬다.

    koBART에 대한 문서 요약과 관련된 소스코드와 예시를 아래 깃헙 링크에서 볼 수 있는데 사람보다도 문서요약을 더 잘 한다는 느낌이 들 정도로 엄청난 성능을 보여준다.

    SKT-AI/KoBART: Korean BART

    이 책은 자연어처리에 대한 기초가 없다면 읽기에 어려움이 있을지도 모른다. 하지만 이런 내용의 책을 이렇게 잘 번역된 한국어 예제로 만날 수 있어서 많은 도움이 되었다.

  • 트랜스포머의 양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)는 자연어 처리 분야에서 좋은 성능을 발휘하며 혁명을 일으켰다. 이 책을 통해 구글 BERT 아키텍처를 이해하는 데 도움을 받을 수 있다.

    이 책에서는 BERT를 fine-tuning하여 활용하는 방법이 나오며, BERT의 다양한 변형을 소개하고 있다. 또한, 한국어 언어 모델인 KoBERT, KoGPT2, KoBART를 설명하고 있기도 하다.

    이 책의 대상 독자는 BERT를 기반으로 한 언어 이해 NLP 태스크를 수행하려는 NLP 전문가 및 데이터 과학자이다. 이 책을 활용하기 위해서는 NLP 개념과 딥러닝에 대한 기본적인 이해가 필요하다.(초보자에게는 권장하지 않는다.)

     

    * 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

  • 이 책은 자연어 처리(NLP)라는 특정 분야의 깊은 연구 결과를 보여주는 책으로 딥러닝과 자연어 처리에 익숙하지 않은 초보자 분들에게는 맞지 않는 책입니다. 도서 내에서 설명을 최대한 쉽고 자세히 하고 있으나 관련 종사자가 아니라면 이해가 쉽지 않을 수 있으니 입문자 분들은 다른 책을 알아보시는 게 좋습니다.
     
    그러나 만약 경력이 있고 자연어 처리 기초를 습득하신 분이라면 해당 도서는 큰 도움이 될 거라고 생각합니다. 모델 및 네트워크에 대한 자세한 설명, 외부 공개 모델을 가져와 활용하는 방법, 한국어 모델 활용 방법 등 자연어 처리 분야 종사자라면 전반적인 지식과 팁을 배울 수 있습니다. 
     
    자연어 처리에 흥미를 가지고 계신 데이터 과학자 또는 자연어 처리 분석가/엔지니어 분들에게 강력 추천드리는 책 입니다.
     

    bert1.jpg

     

  • 이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다.

    다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

    추천독자

    · BERT 시작하는 NLP Engineer

    · 복잡한 BERT와 Transformer를 쉽게 이해하고 싶은 학생

    · BERT와 변형 모델을 활용하여 적은 양의 데이터로 강력한 NLP 모델을 훈련 시키고 싶은 프로그래머

    BERT 변형 모델을 실무에 적용하도록 돕는 최고의 가이드를 담은 도서라고 생각합니다.

     

     

    1.jpg

     

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

     

  • 이 책을 3장까지 읽고 든 생각은 '아이고, 수학공식이 별로 없는 수학책이구나'였습니다. 어쩐지 BERT부터 허깅페이스에 BERT의 파생 모델, BERTSUM 등 세세한 내용을 다루다가, 막판에는 한국어 모델인 KoBERT, KoGPT2까지 한 권에 죄다 다룬다고 해서 덥석 클릭했습니다만, 이걸 장점으로만 여겨서는 안 되었습니다.

     

    그렇다 해도 몹쓸 책은 아닙니다. 제가 속한 팀에서는 이런 저런 자연어처리를 하는데 팀원들이 실제로 운영 서비스에 쓰는 기술들이 이 책에 많이 담겼습니다. 그래서 이 책을 고르기도 했던 것입니다. 다만 이 책을 잘 소화하려면 책만 읽어서는 힘들 거라고 봅니다. 책 초반에 소개하는 아래 GitHub 프로젝트를 꼭 방문하여 코드를 열어 보길 바랍니다.

    https://github.com/PacktPublishing/Getting-Started-with-Google-BERT 

     

    코드와 같이 읽으면 훨씬 낫습니다. 그런데 코드를 잘 읽으려면 PyTorch를 먼저 알아둬야 합니다.

    https://www.hanbit.co.kr/search/search_list.html?keyword=Pytorch

     

    이걸 알아야 실습을 해보겠지요.

    물론 수학적사고가 체화된 독자라면 술술 읽힐 거라 봅니다. 그렇더라고요. 부럽습니다.

     

    마지막으로, 본문의 연습문제 해답은 부록으로 있습니다. 참 다행입니다. 그러고 보니 학부 교재로 써도 좋을 분량이 아닐까 합니다. 자연어처리 II 정도 되는 과정에 알맞겠습니다. 다시 말해 자연어처리를 처음 공부하는 참이라면 자연어처리 입문서를 먼저 읽는 게 좋습니다. Word2Vec을 모르는 채로 이 책을 읽어서는 놓치는 부분이 많을 겁니다. 기왕이면 PyTorch를 활용하는 자연어처리 입문서가 낫겠습니다.

    https://www.hanbit.co.kr/store/books/look.php?p_code=B1231887279

     

    싫은 소리를 먼저 하기는 했지만, 인공지능 주제로는 입문서만 범람하는 와중에 아주 소중한 심화서입니다. 이런 책이 아니면 인터넷 바다를 정처 없이 헤매야 합니다.

     

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • 이 책은 오픈소스에 기여중인 수다르산님이 쓰고 전희원님, 정승환님, 김형준님이 번역한 책이다. 1부, 2부, 3부로 나뉘어져 있는걸로 보아서 각 한 부씩 맡아서 번역한 듯 하다. 개인적으로는 2부가 오타도 있고 분량도 가장 적고 번역이 매끄럽지 못하다고 느꼈다.

    BERT는 Transformer기반의 양방향인코더이다. 다양한 변종이 나올 정도로 상당히 인기있는 모델이다. 이 책에서는 그 중에서 BART나 M-BERT나 Roberta나 Albert처럼 유명한 모델들을 소개하고 있다. 그리고 ROGUE평가지표 등도 소개하고 있고 지식증류나 제로샷 전이나 데이터 증강에 대해서도 소개하고 있다.

    이 책의 장점은 BERT관련 많은 내용을 소개하고 있고 연습문제와 참고문헌이 모든 챕터마다 제공되고 연습문제 정답도 있는 점이다. 그리고 NLP나 KTRAIN등의 라이브러리를 소개해주고 있고 실제 COLAB에서 실습가능한 코드들도 있고 한국어 처리용 모델들도 소개하고 있다.

    이 책의 단점은 계속 반복적으로 파라미터 개수나 위키피디아를 언급하고 있음에도 불구하고 전문용어가 많아 초심자가 접근하기에는 어려울 수 있다.

    최근에 밀키트가 유행인데 딥러닝도 밀키트처럼 만들어진 모델을 다운받아 사용하면 되는 시대이다. 하지만 TV홈쇼핑의 대량패키지처럼 규모가 커서 아직은 좀 부담스럽다. 책 소개 문구처럼 인간보다 언어를 더 잘 이해하고 구현하는 모델의 종류는 알 수 있지만 이 책을 읽고 그 내용을 이해하기에는 시간이 필요하다. 즉, 대부분의 사람들 입장에서 생각을 해봐도 많은 시도를 해보기 전에는 이 책을 소화하기가 쉽지 않을 거라고 예상한다.

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • 자연어 처리를 익히는데 있어서 설명을 잘 정리해준 책들은 정말 많았습니다. 하지만 세세한 테크닉과 실무에서 써먹을 수 있는 예제, 논문들이 기재되어 있어 처음 배우시는 분들께도 추천드리고 싶은 책입니다.

    추가적으로 배웠던 내용을 복습 및 문제를 풀며 다시 복기할 수 있었으며, 제가 얼마나 이해하였는지도 점검을 할 수 있어서 유익하였습니다.

    이전에 텍스트 마이닝 수업에서 BERT의 파생 모델들의 메커니즘을 잘 이해하지 못하고 그냥 넘어갔는데 본 책에서는 코드 및 설명이 있어서 실습을 진행할 수 있었습니다.

    마지막으로 좋은 책 제공과 기회를 주신 한빛미디어 담당자 분들께 감사 드립니다. 12월에도 내용이 탄탄한 도서를 읽고 빨리 리뷰를 남기고 싶습니다.

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

    # 나는리뷰어다

결제하기
• 문화비 소득공제 가능

배송료 안내

  • 책, 아이템 등 상품을 1만원 이상 구매시 무료배송
  • 브론즈, 실버, 골드회원이 주문하신 경우 무료배송

무료배송 상품을 포함하여 주문하신 경우에는 구매금액에 관계없이 무료로 배송해 드립니다.

닫기

도서판매처

리뷰쓰기

닫기
* 도서명 :
구글 BERT의 정석
* 제목 :
* 별점평가
* 내용 :

* 리뷰 작성시 유의사항

글이나 이미지/사진 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 게시물은 이용약관 및 관련법률에 의해 제재를 받을 수 있습니다.

1. 특히 뉴스/언론사 기사를 전문 또는 부분적으로 '허락없이' 갖고 와서는 안됩니다 (출처를 밝히는 경우에도 안됨).
2. 저작권자의 허락을 받지 않은 콘텐츠의 무단 사용은 저작권자의 권리를 침해하는 행위로, 이에 대한 법적 책임을 지게 될 수 있습니다.

오탈자 등록

닫기
* 도서명 :
구글 BERT의 정석
* 구분 :
* 상품 버전
종이책 PDF ePub
* 페이지 :
* 위치정보 :
* 내용 :

도서 인증

닫기
도서명*
구글 BERT의 정석
구입처*
구입일*
부가기호*
부가기호 안내

* 인터넷 서점에서 구입한 도서를 인증하면 마일리지 500점을 드립니다.

* 한빛 웹사이트에서 구입한 도서는 자동 인증됩니다.

* 도서인증은 일 3권, 월 10권, 년 50권으로 제한되며 절판도서, eBook 등 일부 도서는 인증이 제한됩니다.

* 구입하지 않고, 허위로 도서 인증을 한 것으로 판단되면 웹사이트 이용이 제한될 수 있습니다.

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?

자료실