한빛미디어

한빛미디어에서 해당 책을 지원받아 리뷰를 작성합니다. 해당 책은 딥러닝의 순전파, 역전파, 합성곱 필터, 신경망 구현으로 나뉘어 수학적 원리를 소개한 후 파이썬으로 직접 구현을 합니다.

​

경사하강법을 배우는데 직접 숫자를 대입해 보면서 가장 오차가 적은 곳을 찾아가는 학습을 할 수 있습니다.

​

역전파를 학습하는데 있어 편미분을 대신하는 델타가 나옵니다. 신경망의 파라미터들을 일일히 미분하지 않고 델타라는 개념을 통해 복잡함을 줄일 수 있는 내용이 나옵니다.

​

위의 쓰여있듯이 이 델타를 구하기 위한 계산법이 신경망 학습의 핵심이라고 한다. 즉 역전파에서 마지막 출력층으로 부터 입력층에 이르는 델타들을 구하는 것이라 볼 수 있다.

​

내용을 간단히 정리하면, "신경망 학습 -> 목적 함수를 가장 작게하는 가중치를 찾는 최적화 문제 풀기 -> 경사하강법을 사용해서 풀기 -> 직접 가중치를 편미분하는 것이 어렵다 -> 가중치가 부여된 입력을 편미분 = 델타" 와 같다고 할 수 있다.

​

합성곱 필터에 대해서도 나와있다. 위의 사진으로 내용을 대체한다.

​

마지막으로 여태까지 배운 내용을 바탕으로 신경망을 구현한다. 먼저 순전파, 역전파를 구현하고 이후 MNIST와 같은 예제들을 구현한다.

​

책의 내용을 토대로 간단히 정리해 보자면 이렇다.

​

1. 순전파: 학습 데이터를 순전파시키고 가로세로비가 높은지 낮은지 판단한다. (책에서는 가로세로비를 판단하는 신경망이 예제로 나왔다.)

2. 역전파: 예측 결과를 바탕으로 각 층 정답 레이블과의 오차(델타)를 계산한다.

3. 파라미터 갱신: 게선된 오차(델타)를 바탕으로 편미분을 구해서 파라미터를 갱신한다.

​

이 책을 딥러닝 초보자 분들이 읽어보신다면 딥러닝의 안에 들어있는 수학의 기초적 원리를 파악하는데 도움이 되리라 생각한다.