한빛출판네트워크

얼마 전 많은 사람들이 사용하고 있는 포토샵에 인공지능이 도입된 기능을 선보였다. 사람의 시선을 바꾸고, 웃는 표정도 자동으로 만들어준다. 루미나 AI는 자동으로 사람 얼굴을 인식하고, 편집이 가능하다. 하늘에 은하수도 넣고, 물의 반영도 거기에 맞게 바꿔준다. 아직 맛뵈기 정도로 발표된 것이지만, 앞으로 사진 편집 툴이 어떻게 바뀔지 방향을 보여주고 있다는데 큰 의미가 있다.

갈수록 세상이 점점 인공지능 기술로 도배되어가고 있음을 느끼게 된다. IT 현재 트렌드도 인공지능, 딥러닝, 머신러닝이고, IT에서 살아남으려면, 이젠 이런 분야를 꼭 알고 있어야 한다. 그래서 인공지능 공부에 많은 도움이 될 수 있는 책, '밑바닥부터 시작하는 딥러닝2'을 소개하려고 한다.

'밑바닥부터 시작하는 딥러닝2'는 전에 나온 '밑바닥부터 시작하는 딥러닝'의 후속편이다. 전편에서는 파이썬 기초를 익히고, 딥러닝 학습에 필요한 퍼셉트론, 신경망, 오차역전파법, 딥러닝 기초를 다뤘다. 이번 2편에서는 좀 더 심화된 주제인 순환 신경망 RNN과 자연어 처리를 집중적으로 익힌다.

보통, 쉬운 인공지능을 제목으로 말하는 책들은 간단한 이론이나 인공지능 툴 사용법을 다루는 정도인데, 이 책은 제목 그대로 인공지능의 가장 바탕이 되는 이론적인 내용을 아주 구체적으로 다룬다. 딥러닝 라이브러리를 쓰는 방법이 아닌, 바탕이 되는 코드를 이론에 맞춰 직접 만들어 보는 책이다. '밑바닥부터 시작하는 딥러닝2'이라는 책 제목처럼 딥러닝의 밑바닥부터 파보는 책인 것이다.

물론 딥러닝의 밑바닥은 쉽지 않다. 기본적으로 인공지능의 이론들은 어려운 수학적 지식을 기반으로 하고 있고, 코딩 능력 또한 잘 갖추고 있어야 한다. 하지만 겁먹을 필요 없다. 책에서는 프로그래밍 언어로 파이썬을 사용하고 있는데, 파이썬 기초 정도 공부했다면, 누구나 충분히 따라올 수 있다. 딥러닝 관련 수학적 지식도 차분하게 잘 설명되어 있다. 이 책 챕터 1에는 전편에 나온 것들을 살짝 복습하게 구성되어 있으므로 이것을 보고 이해가 잘 안되고, 자신 없다면, 1편인 '밑바닥부터 시작하는 딥러닝'을 먼저 보는 것이 좋을 것이다. 

본격적인 자연어 처리는 챕터2부터 시작된다. 자연어 처리 NLP는 말 그대로 프로그래밍 코드가 아닌 우리가 하는 말을 컴퓨터에게 이해시키기 위한 기술이다. 여기서는 시소러스의 대표인 WordNet에서도 배우고, 말뭉치 처리를 위한 통계기반 기법, 벡터화 등을 익힌다. 이후 word2vec의 CBOW, 속도 개선을 알아보고, RNN 즉 순환 신경망에 대해서 다양하게 알아보고, 배우게 된다. 이렇게 2편은 전체가 자연어, 문장 처리에 관한 것을 다룬다.

책 구성에 대해 살짝 얘기했지만, 아직 인공지능에 익숙하지 않은 분들은 관련 용어들만 살짝 봐도 답답함을 느낄 수 있을 것이다. 그러나 이 책은 그런 용어를 아주 친절하고 자세히 설명해주고 있어서 부담감 없이 자연스럽게 이해할 수 있다. 책을 보다 보면, 용어에 대해 구석구석에서 상당히 꼼꼼히 설명하고 있는 것을 알 수 있다. 쉽긴 쉬운데, 나처럼 잘 까먹는 사람은 중요 부분을 형광펜으로 긋거나, 노트에 정리해서 공부할 필요는 있다. 그만큼 알아야 할 용어들이 많다.

그리고 이 책은 번역서지만, 진짜 진짜 리얼리 번역이 참 잘되어 있다. 이 점을 확실히 강조하고 싶어서 유치한 표현을 했는데, 그만큼 번역이 자연스럽다. 간혹 여러 책을 보다 보면, 번역이 엉망이라 분명 쉬운 책인데도 도대체 무슨 말인지 모르겠는 것도 있고, 번역기를 돌렸어도 이거보다는 낫겠다 하는 책도 만나게 되는데, 보는 내내 칭찬하고 싶을 정도로 훌륭하게 번역이 되어 있다.

'밑바닥부터 시작하는 딥러닝2'는 전체적으로 딥러닝을 잘 정리하고 있어서, 인공지능, 딥러닝 공부하는 분, 인공지능 프로그램을 개발을 꿈꾸는 사람이라면, 꼭 한번 읽어 봐야 하는 책이라 생각한다. 혼자 독학하기도 좋다. 딥러닝이 어떻게 진행되는지 진짜 밑바닥을 볼 수 있어, 개발자로서 내공을 쌓는데 분명 도움이 될 것이다.

한빛미디어 출판사에서 출판중인 "밑바닥부터 시작하는 딥러닝" 이라는 책이다.

인공지능 서적 전통의 명가인 오라일리 출판사에서 출판하는 책의 번역본이다.

책은 제목에서도 알 수 있듯

기본적으로 2권이다. 1권에서는 신경망에 관련한 기초지식을 설명하고 있는듯 하다.

하지만 2권만 읽기도 무난히 내용을 따라갈 수 있는 내용이라고 생각한다.

기본적으로 RNN에 대해서 알고 있고

다른 책을 통해서 신경망 이라는 개념에 대해서 알고 있다면 어렵지 않게 반응할 수 있는 구조로 구성되어있다.

번역서적이지만 내용자체가 깔끔하고

번역도 읽는데 문제없는 수준으로 잘 되어있어서 자연어처리에 대한 감을 익히기 쉽다.

시계열과 RNN 공부를 시작하는 분들에게는 알맞은 교과서라고 할 수 있겠다

신경망에 대한 기본지식을 탄탄히 하고, 복잡한 응용모델을 실제로 구현해볼 수 있는 기회를 책으로 얻은 다는 것은

또다른 큰 기회가 아닌가 싶다.



 

 

 

     



밑바닥부터 시작하는 딥러닝 시리즈는 라이브러리나 프레임워크로 딥러닝을 구현하는 것이 아닌 책 제목 처럼 밑바닥 부터 구현을 하면서 딥러닝의 개념들을 정확히 잡아 가는 입문서입니다.

"밑바닥부터 시작하는 딥러닝" 전편에서는 퍼셉트론, 신경망, 오차역전파 등을 통해서 이미지 인식 분야까지 다루었다고 하면 "밑바닥부터 시작하는 딥러닝2" 에서는 순환신경망(RNN)을 이용한 자연어 처리와 시계열 데이터 처리에 사용하는 딥러닝 기술에 초점을 맞추었습니다.

밑바닥부터 시작하는 딥러닝2 를 살펴 보겠습니다.

오라일리(O'Reilly) 하면 이상하고 생소한 동물들의 표지가 인상적인데요~

이번 책은 물고기가 주제네요.^^

어떤 물고기 인지는 모르겠지만 토실토실 한것이 많은 영양가가 있을것 같은데요.~

자연어 처리에 관한 구현방법이 고민이신 분들이시라면 분명히 많은 영양가를 섭취 할 수 있을것이라 확신을 합니다.

이 책은 딥러닝 중심으로 자연어 처리를 탐험하는 모험책입니다.

하나 하나 탐험을 하면서 그 이치를 깨닫는 다면 이 책을 모두 탐험이 끝났을때에는 자연어 처리에 관한 프로그램을 구현할 수 가 있을것입니다.

이 책은 총 8장으로 구성되어 있으며 목차는 다음과 같습니다.

1. 신경망 복습

- 전편에서 다루었던 신경망에 대한 개념을 훑어 보고 개념을 이해합니다.

2. 자연어와 단어의 분산 표현

- 자연어 처리를 위한 시소러스 기법과 문제점을 살펴 보고 통계기반 기법으로 발전되면서 파이썬으로 처리하는 방법등을 다루고 있습니다.

3. word2vec

- 통계기반 기법의 문제점을 살펴보고 추론기반 기법에 대해 살펴 봅니다.

여기서 word2vec 은 단어간 유사도를 반영 할 수 있도록 단어의 의미를 벡터화 할 수 있는 방법입니다.

예를 들어 "고양이 + 애교 = 강아지" 와 같이 단어가 가지고 있는 어떤 의미들을 가지고 연산을 하는것이 가능한 이유는 각 단어 벡터가 단어간 유사도를 반영한 값을 가지고 있기 때문입니다.

word2vec를 구현하기 위해서는 CBOW(Continuous Bag of Words)와 Skip-Gram 두가지 방식이 있습니다.

CBOW는 주변에 있는 단어들을 가지고 중간에 있는 단어들을 예측하는 방법이며 Skip-Gram 은 중심단어를 기반으로 주변 단어를 예측하는 모델입니다.

4. word2vec 속도 개선

- 3장에서 word2vec의 구현을 통해 개념을 이해 했지만 말뭉치(언어의 표본)에 포함된 어휘 수가 많아지면 계산량이 많아지는 단점이 발생함에 따라 4장에서는 속도를 개선 하는 방법에 대해 다루고 있습니다.

5. 순환신경망(RNN)

- word2vec 는 피드포워드 유형의 신경망인데 이러한 유형은 한 방향으로만 신호가 전달 됨에 따라 구조를 이해하기 쉽고 많은 문제에 응용할 수 있는 장점이 있지만 시계열데이터(일정시간 간격으로 배치된 데이터들의 수열)를 잘 다루지 못하는 단점이 있습니다.

순환신경망(RNN)에서는 이러한 단점을 해결하는 RNN 구현 방법에 대해 다루고 있습니다.

6. 게이트가 추가된 RNN

- 5장에서 개념을 이해하고 구현한 RNN에 게이트 라는 구조가 더해저 시계열 데이터의 장기 의존관계를 학습할 수 있는 모델에 대해 다룹니다.

7. RNN을 사용한 문장생성

- 7장에서는 기존에 배운 구조를 이용해서 "AI로 글을 쓰게 한다" 라는 개념을 실습해 볼 수가 있습니다.

여기서는 seq2seq(시퀀스투시퀀스) 모델을 다루고 있는데요. 이 모델을 기반으로 실제로 고객센터의 챗봇이 사용되고 있음을 확인 할 수 있습니다.

8. 어텐션

- seq2seq 에서는 고정길이의 벡터를 인코딩 하는 부분으로 입력 문장의 길이가 길어져도 고정길이의 벡터로 변환하는 문제점이 발생하는데 이것을 개선하는 방법에 대해 살펴 보고 구현을 해 봅니다.

이상과 같이 목차를 살펴 보았는데요~

프레임 워크에 의존해서 사용하는 것이 아니라 직접 파이썬을 이용해서 구현하면서 하나하나의 원리를 이해 할 수 있도록 구성 되어 있어서 자연어 처리 딥러닝에 대한 이해도를 높였기 때문에~

이 책은 인공지능을 사용하는 목적이 아닌 자연어 처리에 대해 공부해 보고 싶은 분들에게는 가장 기본적인 입문서가 아닐까 생각되며 꼭 전편을 읽어 볼 필요는 없지만 신경망 과 같은 딥러닝의 기본이 약하신 분들은 전편을 먼저 읽어 보시는것이 더 도움이 될것 같네요.~ 

이 책은 꼭 수학적인 개념이 탄탄하지 않아도 구현해 보면서 이해하는데 문제 없을정도로 구성되어 있지만~

혹시라도 딥러닝에 관한 수학을 더욱 다지기를 원하시는 분들이 계시면 다음의 책을 같이 추천 드립니다.

1. 프리렉에서 출판된 인공지능을 위한 수학 : 고등학교 수학을 기반으로 인공지능에 연결 되는 수학을 알기쉽게 설명해 놓았습니다.

2. 한빛미디어에서 출판된 처음 배우는 딥러닝수학 : 신경망에서 사용하는 벡터,행렬,미적분 과 같이 딥러닝에 적합한 수학을 그림과 엑셀을 이용하여 알기 쉽게 정리해 놓았습니다.

이 책을 읽으면서 딥러닝에 처음 입문하시는 분들이시라면 이 두개의 책과 밑바닥부터 시작하는 딥러닝 시리즈로 접근해 보시면 좋을것 같은 생각이 들었습니다.

이 책은 한빛미디어의 "나는 리뷰어다"에서 제공받았습니다.

   이 책은 신경망과 자연어처리에 대해서 파이썬을 통해서 설명하였습니다. 자연어 처리를 하는데 뉴런 신경망을 통해서 입력된 자연어에 대해서 원하는 결과를 얻게 되는데 이 방법을 파이썬이라는 언어로 구현하고 설명한 것입니다.

   사실 수학적인 요소가 많이 들어가기 때문에 당장 딥러닝을 구현하거나 이해하고자 하는 사람에게 적당한 책은 아닙니다. 학문적으로 자연어처리를 하는 원리를 알고 싶거나 딥러닝에 하고 있는데 좀 더 그 구조를 이해하고 싶은 사람에게 맞는 책인 것으로 보여집니다.

   수학과가 아니면 보지 못할 정도의 책은 아니지만 벡터, 통계, 미분 등 여러 수학적인 내용이 포함되므로 수학에 익숙치 않은 사람은 어렵게 느껴질 것입니다. 그러나 관심은 있으나 수학쪽을 잘 모르시는 분이라면 미리 포기하지 마시고 정확하게는 아니더라도 이해정도만 하고 넘어가셔도 보다 더 딥러닝의 이해에 도움이 되실 거라고 생각합니다.

   후반부에는 시계열 데이터나 덧셈 데이터셋, 이미지를 문장으로 변환하는 이미지 캡셔닝 등도 소개됩니다. 물론 그런 데이터들을 처리하는 것을 알고 싶다면 앞에서 설명하는 기본적인 처리 방법에 대해서 알아야 하지만, 우선 쭉~ 읽어보시고 흥미 있는 부분을 관심 있게 보신다면 관련된 다른 설명들을 다시 찾아보면서 이해하고 도움이 될 수 있을 것입니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 책으로 공부한지가 10개월 정도 지났지만 다시 봐도 너무 좋은 책입니다.

번역도 너무 잘 되어 있고 그냥 읽으면서 이해가 잘 되어 있도록 설명이나 그림, 도표가 잘 되어 있습니다.

편하게 읽었고, 실제로 파이선을 통해서 구현해보니깐 이론 공부에 많은 도움이 되었습니다.

이 시리즈 계속 나왔으면 좋겠습니다.

2년 전 정말 재미있게 읽었던 책의 후속편이 나왔다. 당시에는 딥러닝을 공부하려면 기저의 원리를 정확하게 이해하는것이 필수라는 생각에 그 책을 집어들었다. 하지만 지금은 생각이 바뀌어서 각자 필요로 하는 것이 무엇인지가 가장 중요하다고 생각한다.

예를 들어 딥러닝의 동작 원리가 무엇인지 너무 궁금해서 이 의문을 해결하지 못하고서는 단 한발자국도 앞으로 나아갈 수 없는 사람에겐 딥러닝의 동작 원리를 이해하는 것이 가장 중요하다. 하지만 당장 딥러닝이라는 마법의 도구를 가지고 내가 직면한 문제를 풀어보고 싶은 사람에겐 Tensorflow나 PyTorch 홈페이지의 최상단에 있는 예제 코드라를 복사, 붙여넣기 해서 내 문제에 맞게 수정하여 돌려보고 결과를 내보는 것이 훨씬 더 가치있는 일이다.

전자의 경우에 이 책은 정말 흠잡을 데 없는 완벽한 안내서다. 물론 딥러닝 일반에 대한 의문을 해소하는데에는 1권이 좀 더 좋겠지만, 만약 딥러닝을 이용한 자연어 처리가 어떻게 이루어지는지에 관심이 많고 하지만 여전히 딥러닝이 무엇인지 잘 모르겠다면 2권으로 바로 시작해도 전혀 문제가 없을 것이다. 딥러닝의 근간을 이루는 수학적 원리부터 시작해서 1권의 요약본에 해당하는 내용을 제공한다.

자연어 처리의 세자기 접근법(시소러스, 통계기반 그리고 추론 기반 기법)에 대해 간략하게 소개한 뒤 본격적으로 딥러닝을 이용한 자연어 처리에 입문하게 되는데 주요 키워드는 아래와 같다.

• word2vec
• RNN
• BPTT (BackPropagation through Time)
• LSTM (or GRU)
• seq2seq
• Attention

위 키워드들에 대해 충분한 학습이 되어 있다면 최근 쏟아져 나오는 기술들을 이해하기 위한 기반은 다 갖추었다고 생각된다. 이 책의 내용 외에 더 찾아보아야 할 내용은 논문을 직접 보고싶거나 (책에 참고자료로 잘 정리되어있다.) Tensorflow, PyTorch와 같은 프레임워크로는 어떻게 구현하는지 정도라고 생각된다.

만약 자신이 당장의 문제 해결에 더 관심이 있다면 이 책을 펼쳐보기보다는 조악하더라도 인터넷 여기저기서 예제 코드들을 짜깁기하여 조악한 결과라도 먼저 내보기를 추천하고 싶다. 운이 좋아 만족할만한 성능이 나왔다면 딥러닝 별거 아니네 하면서 계속 나아가면 된다. 원하는 성능이 나오지 않으면 여러 블로그, 유튜브를 검색해보면서 이것저것 붙여보고 튜닝도 해보자. 끝끝내 원하는 결과를 얻지 못하고 이제는 이게 도대체 어떻게 돌아가는건지, 수 많은 하이퍼 파라미터들이 어떤 역할을 하는건지 알아야겠다는 생각이 들면 그 때 이 책을 집어들면 가장 몰입감이 높을 것이라고 기대된다.

자연어처리에 대해 구현해보고 싶은분들에게는 추천해보고싶은 책

하지만 1편난이도로 생각하거나 1편두 안읽구 바로 보는것은 비추입니다.

덕분에 내용자체는 매우 흥미롭습지만 

이는 수학적 난이도가 높은편이여서 많은 시간이 소요됩니다.

https://www.kudryavka.me/?p=646

드디어 기다렸던 밑바닥부터 시작하는 딥러닝 2 책이 5월에 출간되었기 때문에, 리뷰해보고자 한다. 

밑바닥부터 시작하는 딥러닝 1은 기초적인 "파이썬"에 초점을 맞춰 초보자들이 딥러닝에 입문 할 수 있게 도와준 책이라면, 이번에 새로이 출간된 밑바닥부터 시작하는 딥러닝 2는 "순환신경망"과 "자연어처리"에 입문하기 위한 기초적인 지식들을 담았다.

밑바닥부터 시작하는 딥러닝 1과 2 모두 "밑바닥부터" 시작하고자 하는 이들에게 도움을 주고자 하는 방향은 변치 않았다. 책에서 배울 수 있는 기술들은 다음과 같다. 

이 책은 딥러닝 프레임워크 사용법을 다루지 않으며, 오로지 넘파이(Numpy), 맷플롯립(Matplotlib)에 기반한 파이썬 코드들만을 다룬다. 또한, 주로 자연어 처리 기법에 대해 다루며, 영상과 같은 다른 주제는 다루지 않는다. 딥러닝 프레임 워크 사용법을 터득하고 싶다면 한빛미디어에서 출간된 "텐서플로를 활용한 머신러닝"을 필독하길 추천한다. 

또한, 이 책은 신경망에 대한 기초적인 지식을 1장에서만 살짝 언급하고 있기 때문에 아주 기초적인 신경망에 대한 지식을 얻고 싶다면, 1권을 사는 것을 추천하고, 자연어 처리나 순환 신경망에 관심이 있다면 2권을 사는 것을 추천한다. 

책에서 주의 깊게 보았던 챕터는 계산 고속화, word2vec, RNN 이다. 

1. 계산 고속화 

이 책에서는 자연어 처리 뿐만 아니라 "계산 고속화" 라는 주제에 대해서도 다루고 있다. 신경망의 학습과 추론에 드는 연산량은 상당하기 때문에 신경망에서는 얼마나 빠르게 계산 하느냐가 중요한 주제이다. 그래서 이 책에서는 "비트 정밀도"와 "GPU"에 대해 설명하고 있었다. 최근에 관심 갖게된 분야가 바로 "최적화" 분야인데, 아직 입문자라 그런지 전체적인 흐름에 대한 개념이 미숙했는데, 책을 통해서 보완하게 되었다. 

간단히 설명하자면, 넘파이의 부동소수점 수는 기본적으로 64 데이터 타입을 사용하는데, 신경망에서는 32비트 부동소수점 수로도 인식률을 거의 떨어뜨리는 일 없이 수행할 수 있다고 한다. 메모리 관점에서 봤을 때, 64 비트 보다는 32 비트가 더 매력적으로 들려온다. 그래서 넘파이에서 32 비트 부동소수점 수를 우선으로 사용하려면 다음과 같이 데이터 타입을 지정한다. 필자도 64 데이터 타입으로 코드를 짜지않고 32 비트로 변경하여 코드를 짜니 성능이 훨씬 더 좋아졌었다. 

	b = np.random.randn(3).astype(np.float32)

32 비트보다 더 강력한 16 비트 부동소수점 수를 사용해도 인식률이 거의 떨어지지 않는다고 말하고 있지만 ... 사실 인식률이 떨어지는건 사실이다. 일반적으로 CPU와 GPU는 연산 자체를 32 비트로 수행하기 때문에 16 비트로 변환하여 계산하더라도 계산 자체가 32 비트로 이루어지기 때문에 처리 속도의 영향을 미치지 않는다. 

여기서 번외로 쿠파이(cupy) 라는 개념이 나오는데 GPU 를 이용하여 병렬 계산을 수행하는 라이브러리이다. 엔비디아 GPU 에서만 동작하며, CUDA 를 설치해야 사용할 수 있다. 

1. word2vec

단어를 벡터로 표현하는 방법은 크게 "통계 기반 기법"과 "추론 기반 기법"이 있다고 한다. word2vec 은 통계 기반 기법의 문제점을 해결하고, 추론 기반 기법의 이점을 거시적 관점에서 설명할 수 있다. 통계 기반 학습 방법은 학습 데이터를 한꺼번에 처리하는데, 이에 반해 추론 기반 기법은 학습 데이터의 일부를 사용하여 순차적으로 학습한다. 즉 배치 학습과 미니 배치 학습의 관계라고 볼 수 있다. 

추론 기반 기법은 주변 단어(맥락)가 주어졌을 때 빈칸에 무슨 단어가 들어가는지를 추측하는 작업이라고 할 수 있다. 이러한 추론 문제를 반복해서 풀면서 단어의 출현 패턴을 학습하게 된다. 신경망에서의 단어 처리는 원핫 표현으로 나타낸다고 한다. 

you □ goodbye and I say hello. 

이 책에서는 word2vec 을 구현하기 위한 자세한 설명과 CBOW 모델에 대한 설명도 자세히 기술해놓았다. 

순환신경망은 피드포워드 신경망이 "시계열 데이터"의 패턴을 충분히 학습 할 수 없다는 단점 때문에 등장하게 되었다. 순환신경망은 RNN(Recurrent Neural Network) 인데, 몇번이나 반복해서 일어나는 일을 뜻한다. 즉, 신경망을 순환하면서 학습하게 되는 형태로 구성이 된다. 순환하기 위해서는 경로가 존재해야 데이터가 같은 장소를 반복해서 지나 갈 수 있다. 

마찬가지로 이 책에서는 RNN의 계층 구현을 위한 설명을 자세히 기술해놓았다. 덧붙여, 게이트가 추가된 RNN에 대해서도 다루고 있었으며, RNN 구조에 기반한 LSTM 에 대해서도 다루고 있었다. 

밑바닥 부터 시작하는 딥러닝 1과 마찬가지로 실습에 필요한 소스코드를 git에 공개하고 있다.

공식 깃허브 저장소는 다음과 같다. 

https://github.com/WegraLee/deep-learning-from-scratch-2

대체적으로 밑바닥부터 시리즈는 진짜 "밑바닥" 부터 차근차근 세세하게 공부하여 큰 물고기를 잡을 수 있는 능력을 개발자들에게 길러주도록 훈련된 책 같다. 깃허브도 공개되어있고, 소스코드가 포함되어있기 때문에 책을 보면서 실습을 할 수 있고, 이 책에서는 누구나 노트북으로 실습할 수 있게끔 GPU 를 쓰는 코드는 최소화 시켰다고 한다.

어찌보면 이 책은 "누구나" 밑바닥부터 시작할 수 있는 딥러닝 책이 아닌가 싶다. 딥러닝 쌩 초보자들이 읽기에는 시즌 2보다는 시즌1이 수월하겠지만, 딥러닝을 이미 접했거나, 자연어 처리나 순환 신경망에 관심이 있는 개발자들이라면 충분히 무리 없이 따라 갈 수 있는 책이라고 생각된다. 개인적으로 밑바닥부터 시리즈가 계속 나와줬으면 하는 바람이 있다. 

제가 처음 딥러닝을 공부했을 당시 개념을 잡지 못해 어려움을 겪고 있었을 때 "Deep Learning from Scratch - 밑바닥부터 시작하는 딥러닝"이라는 책을 보고 개념을 잡게 되었습니다. 

뭔가 막혔던 천장을 뚫고 올라간 기분이라 할까요. 한 단계 올라 올라선 느낌이었습니다.

그 뒤로 다른 딥러닝 관련 책을 보거나 MOOC 강좌, 논문리뷰등 공부할 때 항상 참조 하는 책이었습니다. 그렇게 기초를 잘 닦고 나니 계속 한단계 한단계 수월하게 올라갈 수 있었습니다. 

계속 새롭게 업그레이드 되는지 실펴보고 있었는데 "Deep Learning from Scratch- 밑바닥부터 시작하는 딥러닝 2"의 출간 소식을 접하게 되었습니다. 그리고 게다가 제가 취약하다고 느끼고 있었던 RNN과 NLP관련 내용이라니...... 계속 출간을 기다렸고 드디어 공부를 했습니다.

역시 이 책으로 제가 부족하다고 느꼈던 부분에 대해 개념부터 확실히 잡을 수 있게 되었습니다.

이 책은 1편과 마찬가지로 해당 기술의 주요 개념을 먼저 쉽게 설명한 후에 파이썬 코드로 구현까지 진행합니다. 

이 책에서 배울 수 있는 기술은 다음과 같습니다. 

• 파이썬을 이용한 텍스트 처리
• 딥러닝 등장 이전의 단어 표현 방법
• 단어 벡터를 얻기 위한 word2vec( CBOW 모델과 skip-gram모델)
• 대규모 데이터 학습을 고속화하는 네거티브 샘플링
• 시계열 데이터를 처리하는 RNN, LSTM, GRU
• 시계열 데이터의 오차역전파법인 BPTT
• 문장을 생성하는 신경망
• 시계열 데이터를 다른 시계열 데이터로 변환하는 seq2seq
• 중요 정보에 주목하는 어텐션

딥러닝은 몇 년전부터 관심이 있었던 분야였다. 그래서 다른 사람이 먼저 시작하긴 했지만 회사 내 스터디도 참가하여 텐서플로우를 이용한 딥러닝도 다뤄보면서 공부하곤 했었다. 그러다가 바쁜 업무와 온갖 핑계로 인해 딥러닝과는 잠시 멀어져 있었다. 그리고 기회가 주어져 이 책을 만나게 되었다.

밑바닥부터 시작하는 딥러닝 2

​전편이 있는 서적인데, 전편을 읽어보진 못했지만 2편으로도 나에게는 다시 딥러닝을 살펴볼 수 있는 좋은 기회가 주어졌다. 저자는 이 책을 누구를 위한 책이 아닌가를 지향하는 책이라고 얘기한다. 그저 밑바닥부터 차근차근 공부하는 딥러닝책이라고만 설명한다. 

이 책에서는 다루지 않는 부분이 많다.

딥러닝 분야의 최신 연구에 대해서는 자세히 다루지 않는다.

카페, 텐서플로, 체이너 등 딥러닝 프레임워크 사용법은 설명하지 않는다.

딥러닝 이론을 아주 상세한 수준까지는 담지 않는다.

자연어 처리를 주로 다루고, 영상, 음성, 강화 학습 등의 주제는 다루지 않는다.

이 책에서는 요즘 핫한 분야인 영상, 음성, 강화 학습에 대해 다루지 않고, 자연어 처리를 다룬다. 그 점이 나에겐 오히려 좋은 점으로 다가왔다. 딥러닝을 잘 모를뿐더러, 밑바닥부터 차근차근 배우려면 조금 쉬운 예제가 필요했기 때문이다.

​예제 소스는 python3 로 작성되어 있고, GitHub 저장소에서 소스 코드를 받을 수 있다.

https://github.com/WegraLee/deep-learning-from-scratch-2

numpy와 matplotlib를 제외하고 외부 라이브러리는 사용하지 않고 딥러닝의 밑바닥부터 구현하는 것이 목표라고 한다. 외부 라이브러리를 사용하면 코드 작성은 편해지겠지만 원리를 잘 이해하지 못하는 경우가 많다. 맨땅에 헤딩하는 것 같지만 기초부터 차근차근 접근하는 방식이 마음에 든다.

이 책은 밑바닥부터 시작하는 딥러닝 2편이기 때문에 전편에 이어 딥러닝의 가능성을 한층더 깊이 다룰 것이라고 소개한다.

1장은 전편의 요약으로 시작한다. 수학과 파이썬 그리고 신경망의 복습을 담고 있다. 수학 공식과 파이썬 코드가 독자들을 어렵게 하지만 밑바닥부터 하려면 이정도는 해줘야 딥러닝을 한다고 할 수 있겠다.

​2장에서는 시소러스를 이용한 자연어와 단어의 분산 표현, 3, 4장에서는 ord2vec 그리고 순환신경망(RNN) 등 자연어 처리에 대한 딥러닝을 차례대로 학습할 수 있는 내용이 담겨있다.

책을 여러번 보고 있지만 수학공식은 여전히 눈에 잘 들어오지 않는다. 오히려 파이썬 코드만 눈에 잘 들어온다. GitHub에서 소스도 다운받아 예제 하나씩 돌려보고 있는데, 순환신경망(RNN)을 제대로 이해하는게 제일 중요한 것 같다.

RNN을 이용하여 언어 모델을 만들고 이를 구현함으로써 자연어 처리관련 다양한 어플리케이션에 응용할 수 있기 때문이다. 특히 마지막장의 어텐션 구조를 활용한 연구는 활용폭도 넓고, 최근 연구에도 많이 활용된다고 하니 다시 한번 주목할 필요가 있다고 생각한다. 

​

오랜만에 수학공식을 보니 혼란스럽긴한데, 딥러닝에 발을 들인 이상 내 것으로 만들기 위해 밑바닥부터 차근차근 다시 해보려한다.

한빛출판사의 나는 리뷰어다 활동을 통해 도서를 제공받아 작성한 리뷰입니다

#밑바닥부터시작하는딥러닝2 #딥러닝 #나는리뷰어다 #한빛미디어