한빛출판네트워크

2년 전 정말 재미있게 읽었던 책의 후속편이 나왔다. 당시에는 딥러닝을 공부하려면 기저의 원리를 정확하게 이해하는것이 필수라는 생각에 그 책을 집어들었다. 하지만 지금은 생각이 바뀌어서 각자 필요로 하는 것이 무엇인지가 가장 중요하다고 생각한다.

예를 들어 딥러닝의 동작 원리가 무엇인지 너무 궁금해서 이 의문을 해결하지 못하고서는 단 한발자국도 앞으로 나아갈 수 없는 사람에겐 딥러닝의 동작 원리를 이해하는 것이 가장 중요하다. 하지만 당장 딥러닝이라는 마법의 도구를 가지고 내가 직면한 문제를 풀어보고 싶은 사람에겐 Tensorflow나 PyTorch 홈페이지의 최상단에 있는 예제 코드라를 복사, 붙여넣기 해서 내 문제에 맞게 수정하여 돌려보고 결과를 내보는 것이 훨씬 더 가치있는 일이다.

전자의 경우에 이 책은 정말 흠잡을 데 없는 완벽한 안내서다. 물론 딥러닝 일반에 대한 의문을 해소하는데에는 1권이 좀 더 좋겠지만, 만약 딥러닝을 이용한 자연어 처리가 어떻게 이루어지는지에 관심이 많고 하지만 여전히 딥러닝이 무엇인지 잘 모르겠다면 2권으로 바로 시작해도 전혀 문제가 없을 것이다. 딥러닝의 근간을 이루는 수학적 원리부터 시작해서 1권의 요약본에 해당하는 내용을 제공한다.

자연어 처리의 세자기 접근법(시소러스, 통계기반 그리고 추론 기반 기법)에 대해 간략하게 소개한 뒤 본격적으로 딥러닝을 이용한 자연어 처리에 입문하게 되는데 주요 키워드는 아래와 같다.

• word2vec
• RNN
• BPTT (BackPropagation through Time)
• LSTM (or GRU)
• seq2seq
• Attention

위 키워드들에 대해 충분한 학습이 되어 있다면 최근 쏟아져 나오는 기술들을 이해하기 위한 기반은 다 갖추었다고 생각된다. 이 책의 내용 외에 더 찾아보아야 할 내용은 논문을 직접 보고싶거나 (책에 참고자료로 잘 정리되어있다.) Tensorflow, PyTorch와 같은 프레임워크로는 어떻게 구현하는지 정도라고 생각된다.

만약 자신이 당장의 문제 해결에 더 관심이 있다면 이 책을 펼쳐보기보다는 조악하더라도 인터넷 여기저기서 예제 코드들을 짜깁기하여 조악한 결과라도 먼저 내보기를 추천하고 싶다. 운이 좋아 만족할만한 성능이 나왔다면 딥러닝 별거 아니네 하면서 계속 나아가면 된다. 원하는 성능이 나오지 않으면 여러 블로그, 유튜브를 검색해보면서 이것저것 붙여보고 튜닝도 해보자. 끝끝내 원하는 결과를 얻지 못하고 이제는 이게 도대체 어떻게 돌아가는건지, 수 많은 하이퍼 파라미터들이 어떤 역할을 하는건지 알아야겠다는 생각이 들면 그 때 이 책을 집어들면 가장 몰입감이 높을 것이라고 기대된다.

자연어처리에 대해 구현해보고 싶은분들에게는 추천해보고싶은 책

하지만 1편난이도로 생각하거나 1편두 안읽구 바로 보는것은 비추입니다.

덕분에 내용자체는 매우 흥미롭습지만 

이는 수학적 난이도가 높은편이여서 많은 시간이 소요됩니다.

https://www.kudryavka.me/?p=646

드디어 기다렸던 밑바닥부터 시작하는 딥러닝 2 책이 5월에 출간되었기 때문에, 리뷰해보고자 한다. 

밑바닥부터 시작하는 딥러닝 1은 기초적인 "파이썬"에 초점을 맞춰 초보자들이 딥러닝에 입문 할 수 있게 도와준 책이라면, 이번에 새로이 출간된 밑바닥부터 시작하는 딥러닝 2는 "순환신경망"과 "자연어처리"에 입문하기 위한 기초적인 지식들을 담았다.

밑바닥부터 시작하는 딥러닝 1과 2 모두 "밑바닥부터" 시작하고자 하는 이들에게 도움을 주고자 하는 방향은 변치 않았다. 책에서 배울 수 있는 기술들은 다음과 같다. 

이 책은 딥러닝 프레임워크 사용법을 다루지 않으며, 오로지 넘파이(Numpy), 맷플롯립(Matplotlib)에 기반한 파이썬 코드들만을 다룬다. 또한, 주로 자연어 처리 기법에 대해 다루며, 영상과 같은 다른 주제는 다루지 않는다. 딥러닝 프레임 워크 사용법을 터득하고 싶다면 한빛미디어에서 출간된 "텐서플로를 활용한 머신러닝"을 필독하길 추천한다. 

또한, 이 책은 신경망에 대한 기초적인 지식을 1장에서만 살짝 언급하고 있기 때문에 아주 기초적인 신경망에 대한 지식을 얻고 싶다면, 1권을 사는 것을 추천하고, 자연어 처리나 순환 신경망에 관심이 있다면 2권을 사는 것을 추천한다. 

책에서 주의 깊게 보았던 챕터는 계산 고속화, word2vec, RNN 이다. 

1. 계산 고속화 

이 책에서는 자연어 처리 뿐만 아니라 "계산 고속화" 라는 주제에 대해서도 다루고 있다. 신경망의 학습과 추론에 드는 연산량은 상당하기 때문에 신경망에서는 얼마나 빠르게 계산 하느냐가 중요한 주제이다. 그래서 이 책에서는 "비트 정밀도"와 "GPU"에 대해 설명하고 있었다. 최근에 관심 갖게된 분야가 바로 "최적화" 분야인데, 아직 입문자라 그런지 전체적인 흐름에 대한 개념이 미숙했는데, 책을 통해서 보완하게 되었다. 

간단히 설명하자면, 넘파이의 부동소수점 수는 기본적으로 64 데이터 타입을 사용하는데, 신경망에서는 32비트 부동소수점 수로도 인식률을 거의 떨어뜨리는 일 없이 수행할 수 있다고 한다. 메모리 관점에서 봤을 때, 64 비트 보다는 32 비트가 더 매력적으로 들려온다. 그래서 넘파이에서 32 비트 부동소수점 수를 우선으로 사용하려면 다음과 같이 데이터 타입을 지정한다. 필자도 64 데이터 타입으로 코드를 짜지않고 32 비트로 변경하여 코드를 짜니 성능이 훨씬 더 좋아졌었다. 

	b = np.random.randn(3).astype(np.float32)

32 비트보다 더 강력한 16 비트 부동소수점 수를 사용해도 인식률이 거의 떨어지지 않는다고 말하고 있지만 ... 사실 인식률이 떨어지는건 사실이다. 일반적으로 CPU와 GPU는 연산 자체를 32 비트로 수행하기 때문에 16 비트로 변환하여 계산하더라도 계산 자체가 32 비트로 이루어지기 때문에 처리 속도의 영향을 미치지 않는다. 

여기서 번외로 쿠파이(cupy) 라는 개념이 나오는데 GPU 를 이용하여 병렬 계산을 수행하는 라이브러리이다. 엔비디아 GPU 에서만 동작하며, CUDA 를 설치해야 사용할 수 있다. 

1. word2vec

단어를 벡터로 표현하는 방법은 크게 "통계 기반 기법"과 "추론 기반 기법"이 있다고 한다. word2vec 은 통계 기반 기법의 문제점을 해결하고, 추론 기반 기법의 이점을 거시적 관점에서 설명할 수 있다. 통계 기반 학습 방법은 학습 데이터를 한꺼번에 처리하는데, 이에 반해 추론 기반 기법은 학습 데이터의 일부를 사용하여 순차적으로 학습한다. 즉 배치 학습과 미니 배치 학습의 관계라고 볼 수 있다. 

추론 기반 기법은 주변 단어(맥락)가 주어졌을 때 빈칸에 무슨 단어가 들어가는지를 추측하는 작업이라고 할 수 있다. 이러한 추론 문제를 반복해서 풀면서 단어의 출현 패턴을 학습하게 된다. 신경망에서의 단어 처리는 원핫 표현으로 나타낸다고 한다. 

you □ goodbye and I say hello. 

이 책에서는 word2vec 을 구현하기 위한 자세한 설명과 CBOW 모델에 대한 설명도 자세히 기술해놓았다. 

순환신경망은 피드포워드 신경망이 "시계열 데이터"의 패턴을 충분히 학습 할 수 없다는 단점 때문에 등장하게 되었다. 순환신경망은 RNN(Recurrent Neural Network) 인데, 몇번이나 반복해서 일어나는 일을 뜻한다. 즉, 신경망을 순환하면서 학습하게 되는 형태로 구성이 된다. 순환하기 위해서는 경로가 존재해야 데이터가 같은 장소를 반복해서 지나 갈 수 있다. 

마찬가지로 이 책에서는 RNN의 계층 구현을 위한 설명을 자세히 기술해놓았다. 덧붙여, 게이트가 추가된 RNN에 대해서도 다루고 있었으며, RNN 구조에 기반한 LSTM 에 대해서도 다루고 있었다. 

밑바닥 부터 시작하는 딥러닝 1과 마찬가지로 실습에 필요한 소스코드를 git에 공개하고 있다.

공식 깃허브 저장소는 다음과 같다. 

https://github.com/WegraLee/deep-learning-from-scratch-2

대체적으로 밑바닥부터 시리즈는 진짜 "밑바닥" 부터 차근차근 세세하게 공부하여 큰 물고기를 잡을 수 있는 능력을 개발자들에게 길러주도록 훈련된 책 같다. 깃허브도 공개되어있고, 소스코드가 포함되어있기 때문에 책을 보면서 실습을 할 수 있고, 이 책에서는 누구나 노트북으로 실습할 수 있게끔 GPU 를 쓰는 코드는 최소화 시켰다고 한다.

어찌보면 이 책은 "누구나" 밑바닥부터 시작할 수 있는 딥러닝 책이 아닌가 싶다. 딥러닝 쌩 초보자들이 읽기에는 시즌 2보다는 시즌1이 수월하겠지만, 딥러닝을 이미 접했거나, 자연어 처리나 순환 신경망에 관심이 있는 개발자들이라면 충분히 무리 없이 따라 갈 수 있는 책이라고 생각된다. 개인적으로 밑바닥부터 시리즈가 계속 나와줬으면 하는 바람이 있다. 

제가 처음 딥러닝을 공부했을 당시 개념을 잡지 못해 어려움을 겪고 있었을 때 "Deep Learning from Scratch - 밑바닥부터 시작하는 딥러닝"이라는 책을 보고 개념을 잡게 되었습니다. 

뭔가 막혔던 천장을 뚫고 올라간 기분이라 할까요. 한 단계 올라 올라선 느낌이었습니다.

그 뒤로 다른 딥러닝 관련 책을 보거나 MOOC 강좌, 논문리뷰등 공부할 때 항상 참조 하는 책이었습니다. 그렇게 기초를 잘 닦고 나니 계속 한단계 한단계 수월하게 올라갈 수 있었습니다. 

계속 새롭게 업그레이드 되는지 실펴보고 있었는데 "Deep Learning from Scratch- 밑바닥부터 시작하는 딥러닝 2"의 출간 소식을 접하게 되었습니다. 그리고 게다가 제가 취약하다고 느끼고 있었던 RNN과 NLP관련 내용이라니...... 계속 출간을 기다렸고 드디어 공부를 했습니다.

역시 이 책으로 제가 부족하다고 느꼈던 부분에 대해 개념부터 확실히 잡을 수 있게 되었습니다.

이 책은 1편과 마찬가지로 해당 기술의 주요 개념을 먼저 쉽게 설명한 후에 파이썬 코드로 구현까지 진행합니다. 

이 책에서 배울 수 있는 기술은 다음과 같습니다. 

• 파이썬을 이용한 텍스트 처리
• 딥러닝 등장 이전의 단어 표현 방법
• 단어 벡터를 얻기 위한 word2vec( CBOW 모델과 skip-gram모델)
• 대규모 데이터 학습을 고속화하는 네거티브 샘플링
• 시계열 데이터를 처리하는 RNN, LSTM, GRU
• 시계열 데이터의 오차역전파법인 BPTT
• 문장을 생성하는 신경망
• 시계열 데이터를 다른 시계열 데이터로 변환하는 seq2seq
• 중요 정보에 주목하는 어텐션

딥러닝은 몇 년전부터 관심이 있었던 분야였다. 그래서 다른 사람이 먼저 시작하긴 했지만 회사 내 스터디도 참가하여 텐서플로우를 이용한 딥러닝도 다뤄보면서 공부하곤 했었다. 그러다가 바쁜 업무와 온갖 핑계로 인해 딥러닝과는 잠시 멀어져 있었다. 그리고 기회가 주어져 이 책을 만나게 되었다.

밑바닥부터 시작하는 딥러닝 2

​전편이 있는 서적인데, 전편을 읽어보진 못했지만 2편으로도 나에게는 다시 딥러닝을 살펴볼 수 있는 좋은 기회가 주어졌다. 저자는 이 책을 누구를 위한 책이 아닌가를 지향하는 책이라고 얘기한다. 그저 밑바닥부터 차근차근 공부하는 딥러닝책이라고만 설명한다. 

이 책에서는 다루지 않는 부분이 많다.

딥러닝 분야의 최신 연구에 대해서는 자세히 다루지 않는다.

카페, 텐서플로, 체이너 등 딥러닝 프레임워크 사용법은 설명하지 않는다.

딥러닝 이론을 아주 상세한 수준까지는 담지 않는다.

자연어 처리를 주로 다루고, 영상, 음성, 강화 학습 등의 주제는 다루지 않는다.

이 책에서는 요즘 핫한 분야인 영상, 음성, 강화 학습에 대해 다루지 않고, 자연어 처리를 다룬다. 그 점이 나에겐 오히려 좋은 점으로 다가왔다. 딥러닝을 잘 모를뿐더러, 밑바닥부터 차근차근 배우려면 조금 쉬운 예제가 필요했기 때문이다.

​예제 소스는 python3 로 작성되어 있고, GitHub 저장소에서 소스 코드를 받을 수 있다.

https://github.com/WegraLee/deep-learning-from-scratch-2

numpy와 matplotlib를 제외하고 외부 라이브러리는 사용하지 않고 딥러닝의 밑바닥부터 구현하는 것이 목표라고 한다. 외부 라이브러리를 사용하면 코드 작성은 편해지겠지만 원리를 잘 이해하지 못하는 경우가 많다. 맨땅에 헤딩하는 것 같지만 기초부터 차근차근 접근하는 방식이 마음에 든다.

이 책은 밑바닥부터 시작하는 딥러닝 2편이기 때문에 전편에 이어 딥러닝의 가능성을 한층더 깊이 다룰 것이라고 소개한다.

1장은 전편의 요약으로 시작한다. 수학과 파이썬 그리고 신경망의 복습을 담고 있다. 수학 공식과 파이썬 코드가 독자들을 어렵게 하지만 밑바닥부터 하려면 이정도는 해줘야 딥러닝을 한다고 할 수 있겠다.

​2장에서는 시소러스를 이용한 자연어와 단어의 분산 표현, 3, 4장에서는 ord2vec 그리고 순환신경망(RNN) 등 자연어 처리에 대한 딥러닝을 차례대로 학습할 수 있는 내용이 담겨있다.

책을 여러번 보고 있지만 수학공식은 여전히 눈에 잘 들어오지 않는다. 오히려 파이썬 코드만 눈에 잘 들어온다. GitHub에서 소스도 다운받아 예제 하나씩 돌려보고 있는데, 순환신경망(RNN)을 제대로 이해하는게 제일 중요한 것 같다.

RNN을 이용하여 언어 모델을 만들고 이를 구현함으로써 자연어 처리관련 다양한 어플리케이션에 응용할 수 있기 때문이다. 특히 마지막장의 어텐션 구조를 활용한 연구는 활용폭도 넓고, 최근 연구에도 많이 활용된다고 하니 다시 한번 주목할 필요가 있다고 생각한다. 

​

오랜만에 수학공식을 보니 혼란스럽긴한데, 딥러닝에 발을 들인 이상 내 것으로 만들기 위해 밑바닥부터 차근차근 다시 해보려한다.

한빛출판사의 나는 리뷰어다 활동을 통해 도서를 제공받아 작성한 리뷰입니다

#밑바닥부터시작하는딥러닝2 #딥러닝 #나는리뷰어다 #한빛미디어