한빛미디어

스탠포드 CS231n 강좌의 핵심과 저자의 직관이 잘 담긴 책으로 유명하다. 텐서플로우 등의 프레임워크에 의존하지 않고 파이썬과 넘파이 만으로 코드를 구현했다는 점이 상당히 매력적이다. 동작원리를 더 명확히 이해하려면 코드 레벨에서 들여다 볼 필요가 있는데 이 책은 아주 잘 짜여진 코드를 제시하며 보다 깊은 이해를 유도한다.

고전적인 퍼셉트론으로 2장이 시작된다. (1장은 파이썬과 넘파이의 기본적인 소개이다.)
가중치(weight)와 편향(bias)에 대한 설명에서 약간의 전율을 느낄 수 있었다. 대강의 개념은 알고 있었으나 이 책의 설명을 통해 시야가 더 넓어진 느낌이다.
가중치는 퍼셉트론으로 들어오는 입력 신호가 결과에 주는 영향력을 조절하는 요소로 작용한다는 점과
태초의 퍼셉트론 식에서 우변에 존재하던 임계값(θ)을 좌변으로 넘기면서 그 값이 자연스레 편향이 되고 우변의 기준은 0으로 고정이 되었다는 설명을 통해 가중치와 편향의 개념을 더욱 확실히 다질 수 있었다. 

3장의 내용은 퍼셉트론에서 신경망으로 발전하게 된 과정을 살펴본다. 태초에 사용되었던 계단 함수의 한계점과 그를 극복한 시그모이드 함수의 도입을 통해 신경망은 더욱 풍부한 표현력을 갖추게 되었다는 점을 밝힌다. 왜 시그모이드 함수를 사용하는가의 의문점은 완전히 해소된다.

4장에서는 경사하강법이 소개된다. 학습의 지표로 정확도가 아닌 오차를 사용하게 된 배경과 오차를 최소화하는 최적화 과정에서 기울기, 즉 미분값이 길잡이로 사용되게 된 자세한 설명이 나온다. 이 책의 설명만큼 깊고 명확한 이해를 유도할수는 없을것 같다. 오차함수와 경사하강법에 대한 이해의 범위가 넓어질뿐만 아니라 왜 이것이 튀어나오는가에 대한 궁금점이 해소된다. 처음 공부를 시작할 당시엔 미분이 갖는 의미를 다소 과소평가했던것 같다. 이 책을 통해 미분과 기울기라는 개념을 완전히 다시 생각하게 되었다.

필자는 이 책의 꽃을 5장이라고 생각한다. 딥러닝의 존속과 강하게 결부되는 개념인 "오차역전파"를 아름다울정도로 서술한 장이다. 계산그래프를 통해 수치적으로 접근을 하며 설명이 시작된다. 곱셈과 덧셈뿐인 간단한 연산으로 오차역전파의 과정을 되짚는다. 너무나도 손쉬운 연산의 연속으로 난제로 꼽히던 깊은 신경망의 학습을 가능케 한 이 아이디어가 경이롭기까지 하다. 마빈 민스키 교수님도 후학의 성취를 보면 놀라워하실 것이다. 

6장에서는 학습 관련 테크닉들이 소개된다. 경사하강법이 가지던 단점을 극복한 모멘텀, AdaGrad, Adam 알고리즘이 소개되는데 필자가 너무나도 갈망하던 내용이 소개되어서 정말 반가웠다. 특히 요새는 Adam이 많이 사용되는데 그토록 유명한 경사하강법을 놔두고 왜 이걸 쓸까란 궁금증이 항상 있었다. 이 책의 설명은 그 궁금점을 완전히 해소해준다. 저자의 깊은 이해와 직관력에 다시금 감탄했던 대목이다. 또한 가중치 초기값에 대한 설명도 압권이다. 기존의 초기화 방식으로는 기울기 소실 문제에 직면할 수 밖에 없는 필연성을 보여주고 그를 해결한 방안을 소개한다. Xavier 초기값과 He 초기값이 그것이다.

CNN을 다루는 7장도 숨쉴틈 없이 읽어봤다. 기본적인 설명은 다른 책을 통해서도 얻을 수 있다. 그러나 이 책에서는 통찰력과 직관력을 얻을 수 있다. "합성곱 계층, 쉽게 말해 필터가 보고 있는게 도대체 무엇일까?" "사람과 달리 인공신경망은 도대체 이미지를 어떻게 인식하는걸까?" "깊게 형성되어 있는 합성곱 계층에서는 도대체 무슨 일이 일어나는걸까?" 이러한 의문점에 대한 속 시원한 대답을 내놓는다.
앞단의 필터는 엣지와 블롭을 추출한다. 뒤로 진행될수록 사물의 텍스쳐(질감), 의미있는 부분 등으로 고급 정보가 추출된다. 깊은 층을 타고 정보가 흐를수록 이미지에서 고급 특징을 얻어내고 신경망은 사물을 더 잘 이해하게 되는것이다. 이 정도의 설명은 쉽게 찾아볼 수 있는 것이 아니다. 컴퓨터 비전 분야에도 관심이 있기에 더 흥미롭게 읽은 대목이다.

마지막 8장에서는 딥러닝의 추가적인 연구과제와 미래를 보여준다. 정말 공부하면 할수록 더 공부할게 많아지고 어려워지는게 딥러닝 같다. 정말 끝이 없다. 그러기에 재밌다. 자율주행과 강화학습 등의 내용도 흥미로웠지만 화풍변환 기술과 GAN의 소개가 가장 기억에 남는다. GAN을 공부해야겠다 GAN..