메뉴 바로가기 검색 및 카테고리 바로가기

한빛미디어

독자리뷰

Tansformer 자유롭게 쓰기 위한 레시피

byc3***

|

2022-12-30

트랜스포머를 활용한 자연어 처리

챗GPT처럼 자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부

  • 저자 : 루이스 턴스톨 , 레안드로 폰 베라 , 토마스 울프
  • 번역 : 박해선
  • 출간 : 2022-11-30

[나의 한줄 추천사]

- 자연어 처리 관련 문제 풀려면 "트랜스포머" 랭귀지 모델(LM) 사용해야하는데, "트랜스포머" 자유롭게 쓰기 위한 레시피가 나왔다.

[책 추천 이유]

- 허깅페이스(Hugging Face) 에서 만든 라이브러리 "Transformer" 이용하여 자연어 처리(NLP) 하는데 잘 모르겠다. 그리고 좀더 깊이 있게 사용하고 싶다고 하면 이 책을 보면 된다.이 책의 예제코드들은 "영어" 기반의 자연어 처리이며, 바로 실무에 적용할 수 있도록 설명과 코드들을 제공하고 있다.

[내가 찾고자 했던 질문들]

1. Transformer 이용해서 풀수 있는 자연어 처리 문제는 어떤거 있나?

- 텍스트 분류 (Classification)

- 텍스트 객체명 인식 (NER)

- 텍스트 생성 (NLG)

- 텍스트 요약 (Summary)

- 텍스트 질문과 답변 (QA)

2.허깅페이스 "Transformer" 쓰면 좋은점?

- Trainer API 를 이용해서 "Transformer" 의 밑바닥부터 large dataset 훈련할 수 있다.

- 다른 사람들이 만들어 올린 "Pretrain Model" 를 허깅페이스 허브 통해서 다운로드 받아서 fine-tuning

할수 있다.

- API 인터페이스 추상화를 통해서 basic code 조금만 수정하면 여러 문제를 풀 수 있는 코드로 바뀔 수 있다. 

3. 챕터 실습을 하고 싶다면?

https://github.com/rickiepark/nlp-with-transformers

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?