​딥러닝에 대해서 알기 위해서는 기본 필독서! 지인분들이 대부분 이 책을 추천한다.

"밑바닥부터 시작하는 딥러닝" - 사이토 고키​

1권을 읽지 않고, 이 책을 바로 읽어서인지?

너무 생소하고, 쉽게 와닿지가 않았다.

파이썬에 대해서 기본 문법은 알고 있었지만, 딥러닝에 대해서 알지 못해서인가?​

Chap 1. 신경망 복습

기본 내용을 복습하는 과정으로 얼추 따라갈 수 있었다.

Chap 2. 자연어와 단어의 분산 표현

자연어 처리의 과정을 소개하고 통계 기반 기법을 다루고 있다.​

컴퓨터 입장에서 우리 사람이 표현하는 언어를 어떻게 해석할 것인지?

이를 통해서 자동 입력기, 자동 번역기, 음성 인식 기숙이 이루어 질 수 있을 것인데...

이제 본격적인 내용을 다루는 데, 예제 자체도 어떻게 작성을 해서 따라 가야하는지 조금 이해가 안되었다.

Chap 3. ~ Chap 4. word2vec 소개 및 속도 개선 방법

자연언어 처리를 위한 word2vec 알고리즘(?)의 개념 소개와 이를 수학적으로 풀어가는 과정

2010년 토마스 미콜로프가 이끄는 연구팀에 의해서 제안되었다는데. word2vec 의 경우도 지속적으로 개선이 이루어지고 있는 듯 하다.

이후 순환 신경망(RNN) 인데, 이 부분부터는 내용 이해가 되지 않아서, 잠시 보류 중!

1권을 구해야 할 듯 하다.

많은 이해를 위해서는 수학적 지식도 필요할 것 같다.

(선형대수, 행렬, 벡터, ... )

수학적 모델링/해석을 통해서 진행해 가는 과정을 소개하는데, 직접적인 풀이는 좀 어렵다.​

딥러닝에 대한 기본 지식을 습득하고 , 신경망(CNN)에 대해서 어느 정도 이해가 된 사람이 이책을 본다면 좋을 듯 하다.

(이론적 바탕을 충분히 쌓을 수 있을 것 같다.)

밑바닥 부터 시작하는 딥러닝 1과 마찬가지로 실습에 필요한 소스코드를 git에 공개하고 있다.

공식 깃허브 저장소는 다음과 같다.

https://github.com/WegraLee/deep-learning-from-scratch-2

공식 깃허브 저장소에 아래와 같이 스터디/강의를 위해서 수식 및 그림 파일을 추가로 제공하네요.

✅ 2019.07.02 - 책 본문의 수식과 그림 파일들을 모아 공유합니다. 스터디 자료 등을 만드실 때 필요하면 활용하세요.equations_and_figures_2.zip​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[도서리뷰] 밑바닥부터 시작하는 딥러닝2(Deep Learning from Scratch 2)

** 이리뷰는 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다. **

책 구매를 위해 서평을 찾아보고 있는 분들에게 하고싶은 말이 있다면 밑바닥부터 시작하는 딥러닝 2는 이전편, '밑바닥부터 시작하는 딥러닝'의 개정판이 아니라는 점이다. 전편이 인공 신경망에 대한 자세한 내용을 다뤘다면 밑바닥부터 시작하는 딥러닝 2는 보다 스코프를 좁혀서 '자연어 처리'에 집중하고있다.  서문에서 저자가 이야기 하듯이 전편을 읽지 않았더라도 딥러닝에 대한 이론적 지식이 있다면 이번 책도 무난히 읽을 수 있을 것이다. 그러나 딥러닝에 대한 지식이 없는 사람은 전편을 먼저 읽을것을 추천하고있다.

물론 첫장에서 딥러닝에 필요한 수학적 지식과 파이썬 라이브러리 사용법 등에 대해 가볍게 짚고 넘어가긴 하지만, 기본 지식 없이 이 내용만으로 책을 이해하기는 어렵다. 이책은 텐서플로같은 프레임워크의 사용법을 배우는 책이 아닌, 딥러닝의 이론과 원리에 대해서 좀더 심도있게 다룬다.(저자는 딥러닝 이론을 상세한 수준까진 담지 않았다고 하였으니 본인이 느끼기엔 그랬다.) 

이미 머신러닝 이론에대한 지식이 있으며, 경험도 있는 사람이 자연어 처리에 대해 공부하고싶은경우 이책을 추천한다. 

하지만 머신러닝에 대한 지식도 없는 상황에서 자연어 처리에 대한 관심만으로 공부를 시작하려는 사람이 보기는 조금 어려울 것 이라고 생각된다. 

출처: https://devms.tistory.com/570 [요가하는프로그래머]

한국시간으로 지난 달 20일 공개된 Tesla AI Day에서 그야말로 머신 러닝 기술의 State of the art, 현실 세계에 적용할 수 있는 세계 최고 수준의 딥러닝 기술을 볼 수 있었던 것 같습니다. Spatial RNN(Recurrent Neural Network)을 이용하여 카메라에서 가려진 차량이나 사물도 트레킹 하는 부분에서 이렇게 RNN을 활용하는구나 하고 개인적으로 감탄을 금치 못했습니다.

밑바닥부터 시작하는 딥러닝 2는 바로 그 RNN을 주요 내용으로 다루고 있습니다. 이미 유명세를 떨친 전편과 같이 단순히 기존 프레임워크 사용법을 나열하는 것이 아닌 이론과 원리를 그림과 코드로 이해하기 쉽게 설명하고 이를 바탕으로 직접 구현할 수 있도록 내용이 구성되어 있으며, 첫 번째 챕터에서 전편의 내용을 요약한 신경망 전반에 대한 전반적 내용을 컴팩트하게 정리해 두어서 전편을 읽어보지 않았더라도 전편의 내용을 빠르게 복기할 수 있도록 도움을 줍니다. 학술서나 대학교재처럼 너무 딱딱한 서술, 이론과 수식으로만 가득 차 있지도 않고, 너무 실용적인 부분에 치우쳐 단순 프레임워크 사용 설명서로 전락하지도 않은, 밑바닥부터 시작하는 딥러닝 시리즈만의 독자적인 영역을 개척한 느낌입니다.

전편 밑바닥부터 시작하는 딥러닝이 그러했듯이, 최근 트랜드에 맞춰 출간된 수많은 딥러닝 관련 서적 중 단연 독보적이라고 할 수 있을 것 같습니다. 딥러닝의 이론적 배경과 원리에 관심이 있으신 분들, 특히 RNN, 자연어 및 시계열 데이터 처리에 관심있으신 분들께 추천 드립니다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

'밑바닥' 시리즈는 딥러닝을 공부하는 사람이라면 '수학의 정석'같은 도서입니다. 1편과 비슷하게, 외부 라이브러리에 의지하지 않고 직접 구현하는 것이 특징입니다.  

특히 `밑바닥부터 시작하는 딥러닝2`은 자연어처리와 시계열 데이터 처리에 초점을 맞춰서 RNN, LSTM, attention을 소개하고 직접 구현해봅니다. 

최근에 Hot한 transformer에 대한 내용이 8.5.2장에 살짝 맛보기로 등장합니다. 만약 `밑바닥`4탄이 나온다면 Attention과 transformer 내용이 나오지 않을까? 라고 추측해봅니다. 

1장은 numpy를 사용한 행렬 복습과 신경망에 대해서 복습합니다. 손실함수, 연쇄법칙, 순전파, 역전파, 노드에 대한 class와 함수를 직접 구현합니다.

새롭게 알게된 점은 계산 가속을 위한 '16비트 반정밀도 부동소수점 연산 방법'과 GPU를 사용하는 numpy인 'cupy'입니다. 

2장은 말뭉치를 처리하고 단어 사이의 유사도와 차원에 대해 배웁니다. 특히 '통계 기반 기법'으로 행렬에 SVD를 적용하여 단어의 분산 표현을 얻는 방법에 대해 배웁니다. 

3장, 4장은 word2vec와 CBOW 모델에 대해 배웁니다. 2장과는 달리 '추론 기반 기법'으로, 특히 자연어 처리는 굉장히 많은 차원의 단어들의 유사도를 가지고 다음에 올 단어를 예측해야 하기 때문에 3장은 핵심 단원이라고 할 수 있습니다. 4장에는 Embedding 계층의 도입과 네거티브 셈플링을 통해 word2vec의 속도 개선을 목표로 하는 작업을 수행합니다. 

5장에는 RNN을 배웁니다. 기본적인 RNN의 모델, 계층을 직접 구현하고 테스트해봅니다. RNN에서의 순전파와 역전파를 그림으로 설명합니다. 

6장에는 LSTM과 GRU에 있는 게이트 구조를 추가한 RNN에 대해서 배웁니다. 시간적으로 멀리 떨어진 장기의존 관계를 잘 학습할 수 있도록 합니다.(RNN의 단점을 개선하려고 합니다.)

특히 게이트의 역할을 '물의 흐름을 멈추거나 배출하는 것'으로 비유한 그림이 이해를 도왔습니다. output, input, forget 게이트의 역할과 수식에 대한 설명을 코드와 함께 보여주었습니다. 

7장에는 RNN을 사용해 문장을 생성하는 방법에 대해 배웁니다. 말뭉치를 학습한 언어 모델을 사용해 새로운 문장을 만듭니다. 추가적으로 seq2seq라는 새로운 언어 모델에 대해 배웁니다. 하나의 시계열 데이터를 다른 시계열 데이터로 변환합니다. 

8장에는 Attention에 대해 배웁니다. 가장 어려우면서, 이 책의 가장 핵심이라고 생각합니다. 더욱 강력한 seq2seq라고 할 수 있고, seq2seq의 단점인 '고정 길이 벡터를 출력하는 Encoder'을 보완한 모델(물론 Decoder도 같이 보완)입니다. 

놀랍게도 seq2seq와 Attention 메커니즘(모델)은 뉴욕대학교 조경현 교수님이 제안되었다고 합니다. ㅠㅠ(너무 자랑스러운...)

------

책을 다 읽고 총평을 하자면,

딥러닝을 사용한 자연어 처리의 기본 개념을 다 담고 있는 책이라고 할 수 있고, transformer를 공부하기 전에 '자연어 처리가 이렇게 발전해 왔구나~'를 깨달으면 좋을 것 같습니다. 

특히 class 하나하나를 구현하는 점이 가장 마음에 들었습니다. 마치 하나의 딥러닝 프레임워크를 구축하는 것 같았습니다. 이 책이 나온 지는 꽤 오래되었기 때문에 `밑바닥부터 시작하는 딥러닝 3`도 2020년 11월에 출간되었습니다. `밑바닥부터 시작하는 딥러닝 3`을 구매하진 않고 서점에서 잠깐 읽었는데  딥러닝 프레임워크를 밑바닥부터 구축한다고 합니다. 조만간 3편도 구매하여 읽어보려 합니다. 

'나는 자연어 처리 말고 vision만 할꺼야!'라며 등한시한 적이 있었는데 이 책을 읽고 나서 그 시절이 후회가 됩니다. `밑바닥부터 시작하는 딥러닝 2` 강추 드립니다.

<이 리뷰는 한빛미디어 '나는 리뷰어다'로 부터 책을 지원 받아 작성되었습니다>

이 책으로 공부한지가 10개월 정도 지났지만 다시 봐도 너무 좋은 책입니다.

번역도 너무 잘 되어 있고 그냥 읽으면서 이해가 잘 되어 있도록 설명이나 그림, 도표가 잘 되어 있습니다.

편하게 읽었고, 실제로 파이선을 통해서 구현해보니깐 이론 공부에 많은 도움이 되었습니다.

이 시리즈 계속 나왔으면 좋겠습니다.

2년 전 정말 재미있게 읽었던 책의 후속편이 나왔다. 당시에는 딥러닝을 공부하려면 기저의 원리를 정확하게 이해하는것이 필수라는 생각에 그 책을 집어들었다. 하지만 지금은 생각이 바뀌어서 각자 필요로 하는 것이 무엇인지가 가장 중요하다고 생각한다.

예를 들어 딥러닝의 동작 원리가 무엇인지 너무 궁금해서 이 의문을 해결하지 못하고서는 단 한발자국도 앞으로 나아갈 수 없는 사람에겐 딥러닝의 동작 원리를 이해하는 것이 가장 중요하다. 하지만 당장 딥러닝이라는 마법의 도구를 가지고 내가 직면한 문제를 풀어보고 싶은 사람에겐 Tensorflow나 PyTorch 홈페이지의 최상단에 있는 예제 코드라를 복사, 붙여넣기 해서 내 문제에 맞게 수정하여 돌려보고 결과를 내보는 것이 훨씬 더 가치있는 일이다.

전자의 경우에 이 책은 정말 흠잡을 데 없는 완벽한 안내서다. 물론 딥러닝 일반에 대한 의문을 해소하는데에는 1권이 좀 더 좋겠지만, 만약 딥러닝을 이용한 자연어 처리가 어떻게 이루어지는지에 관심이 많고 하지만 여전히 딥러닝이 무엇인지 잘 모르겠다면 2권으로 바로 시작해도 전혀 문제가 없을 것이다. 딥러닝의 근간을 이루는 수학적 원리부터 시작해서 1권의 요약본에 해당하는 내용을 제공한다.

자연어 처리의 세자기 접근법(시소러스, 통계기반 그리고 추론 기반 기법)에 대해 간략하게 소개한 뒤 본격적으로 딥러닝을 이용한 자연어 처리에 입문하게 되는데 주요 키워드는 아래와 같다.

• word2vec
• RNN
• BPTT (BackPropagation through Time)
• LSTM (or GRU)
• seq2seq
• Attention

위 키워드들에 대해 충분한 학습이 되어 있다면 최근 쏟아져 나오는 기술들을 이해하기 위한 기반은 다 갖추었다고 생각된다. 이 책의 내용 외에 더 찾아보아야 할 내용은 논문을 직접 보고싶거나 (책에 참고자료로 잘 정리되어있다.) Tensorflow, PyTorch와 같은 프레임워크로는 어떻게 구현하는지 정도라고 생각된다.

만약 자신이 당장의 문제 해결에 더 관심이 있다면 이 책을 펼쳐보기보다는 조악하더라도 인터넷 여기저기서 예제 코드들을 짜깁기하여 조악한 결과라도 먼저 내보기를 추천하고 싶다. 운이 좋아 만족할만한 성능이 나왔다면 딥러닝 별거 아니네 하면서 계속 나아가면 된다. 원하는 성능이 나오지 않으면 여러 블로그, 유튜브를 검색해보면서 이것저것 붙여보고 튜닝도 해보자. 끝끝내 원하는 결과를 얻지 못하고 이제는 이게 도대체 어떻게 돌아가는건지, 수 많은 하이퍼 파라미터들이 어떤 역할을 하는건지 알아야겠다는 생각이 들면 그 때 이 책을 집어들면 가장 몰입감이 높을 것이라고 기대된다.

자연어처리에 대해 구현해보고 싶은분들에게는 추천해보고싶은 책

하지만 1편난이도로 생각하거나 1편두 안읽구 바로 보는것은 비추입니다.

덕분에 내용자체는 매우 흥미롭습지만 

이는 수학적 난이도가 높은편이여서 많은 시간이 소요됩니다.

https://www.kudryavka.me/?p=646

딥러닝은 몇 년전부터 관심이 있었던 분야였다. 그래서 다른 사람이 먼저 시작하긴 했지만 회사 내 스터디도 참가하여 텐서플로우를 이용한 딥러닝도 다뤄보면서 공부하곤 했었다. 그러다가 바쁜 업무와 온갖 핑계로 인해 딥러닝과는 잠시 멀어져 있었다. 그리고 기회가 주어져 이 책을 만나게 되었다.

밑바닥부터 시작하는 딥러닝 2

​전편이 있는 서적인데, 전편을 읽어보진 못했지만 2편으로도 나에게는 다시 딥러닝을 살펴볼 수 있는 좋은 기회가 주어졌다. 저자는 이 책을 누구를 위한 책이 아닌가를 지향하는 책이라고 얘기한다. 그저 밑바닥부터 차근차근 공부하는 딥러닝책이라고만 설명한다. 

이 책에서는 다루지 않는 부분이 많다.

딥러닝 분야의 최신 연구에 대해서는 자세히 다루지 않는다.

카페, 텐서플로, 체이너 등 딥러닝 프레임워크 사용법은 설명하지 않는다.

딥러닝 이론을 아주 상세한 수준까지는 담지 않는다.

자연어 처리를 주로 다루고, 영상, 음성, 강화 학습 등의 주제는 다루지 않는다.

이 책에서는 요즘 핫한 분야인 영상, 음성, 강화 학습에 대해 다루지 않고, 자연어 처리를 다룬다. 그 점이 나에겐 오히려 좋은 점으로 다가왔다. 딥러닝을 잘 모를뿐더러, 밑바닥부터 차근차근 배우려면 조금 쉬운 예제가 필요했기 때문이다.

​예제 소스는 python3 로 작성되어 있고, GitHub 저장소에서 소스 코드를 받을 수 있다.

https://github.com/WegraLee/deep-learning-from-scratch-2

numpy와 matplotlib를 제외하고 외부 라이브러리는 사용하지 않고 딥러닝의 밑바닥부터 구현하는 것이 목표라고 한다. 외부 라이브러리를 사용하면 코드 작성은 편해지겠지만 원리를 잘 이해하지 못하는 경우가 많다. 맨땅에 헤딩하는 것 같지만 기초부터 차근차근 접근하는 방식이 마음에 든다.

이 책은 밑바닥부터 시작하는 딥러닝 2편이기 때문에 전편에 이어 딥러닝의 가능성을 한층더 깊이 다룰 것이라고 소개한다.

1장은 전편의 요약으로 시작한다. 수학과 파이썬 그리고 신경망의 복습을 담고 있다. 수학 공식과 파이썬 코드가 독자들을 어렵게 하지만 밑바닥부터 하려면 이정도는 해줘야 딥러닝을 한다고 할 수 있겠다.

​2장에서는 시소러스를 이용한 자연어와 단어의 분산 표현, 3, 4장에서는 ord2vec 그리고 순환신경망(RNN) 등 자연어 처리에 대한 딥러닝을 차례대로 학습할 수 있는 내용이 담겨있다.

책을 여러번 보고 있지만 수학공식은 여전히 눈에 잘 들어오지 않는다. 오히려 파이썬 코드만 눈에 잘 들어온다. GitHub에서 소스도 다운받아 예제 하나씩 돌려보고 있는데, 순환신경망(RNN)을 제대로 이해하는게 제일 중요한 것 같다.

RNN을 이용하여 언어 모델을 만들고 이를 구현함으로써 자연어 처리관련 다양한 어플리케이션에 응용할 수 있기 때문이다. 특히 마지막장의 어텐션 구조를 활용한 연구는 활용폭도 넓고, 최근 연구에도 많이 활용된다고 하니 다시 한번 주목할 필요가 있다고 생각한다. 

​

오랜만에 수학공식을 보니 혼란스럽긴한데, 딥러닝에 발을 들인 이상 내 것으로 만들기 위해 밑바닥부터 차근차근 다시 해보려한다.

한빛출판사의 나는 리뷰어다 활동을 통해 도서를 제공받아 작성한 리뷰입니다

#밑바닥부터시작하는딥러닝2 #딥러닝 #나는리뷰어다 #한빛미디어