한빛미디어

한빛 미디어에서 '텐서플로 첫걸음'으로 첫걸음 시리즈를 공부한 적이 있었는데,
당시 처음 입문자로서 접근하기 쉽게 설명이 되어 있어서 많은 도움을 받은 경험이 있다.
그래서 그런지, '강화학습 첫걸음'에 대한 나의 기대감 또한 컸다.

책은 크게 12 챕터로 구성이 되어있고,  
1~8 챕터는 강화학습의 주요 알고리즘, 9~12 챕터는 강화학습의 심화 주제에 대해 다루고 있다.

목차에서 보듯이, 이 책에서 설명하는 강화학습의 주요 알고리즘 부분에서는

콘텍스트 밴딧 / 마로코프 결정 과정 / Q러닝 / 딥 Q 네트워크 / 부분관차성과 순환 신경망 / 비동기적 어드밴티지 액터-크리틱
을 다루고 있다.
심화 파트에서는 agent의 action 시각화 / action 선택 전략 등을 서술하고 있다.
이처럼 책을 따라가면서 강화학습 전반의 개념을 이해하여 입문할 수 있게 도와주는 책이다.

강화학습이란?

agent(행위자)의 action(행위)는 환경에 영향을 준다는 가정 아래,특정 action이 환경의 state(상태)를 변화시키고 이에따라 agent는 reward(보상)를 받게 되는데이러한 행동의 기반이 되는 관계를 상호 관계라고 부른다. 그리고 이러한 상호 관계를 포착하여 포착하여 공식적인 모델로 만든 것이 바로 강화학습이다. (P.17-18)

그리고 주요 알고리즘에 대한 설명이 나오게 되는데,
알고리즘을 설명할때 이론적인 내용에 대해 우선 설명을 하고, 이를 code로 돌려가면서 직접 이해할 수 있게 주석이 달린 code를 책에서 함께 제공한다는 것이 특징이다. 
저도 새로운 내용을 습득할 때 code를 직접 돌려가면서 하나하나 따라가며 공부할 경우 더 이해가 빠르게 되는 경우가 많았기에 이러한 점은 매우 만족스러웠다.
(물론, full code는 github에서 따로 제공한다)
https://github.com/awjuliani/DeepRL-Agents

책을 읽으면서 가장 좋았던 점은, 주요 설명이나 용어들에 각주를 달아서 인용한 논문을 직접적으로 찾아볼 수 있게 밑에다가 Reference를 달아주었다는 점이다. 많은 책들이 각주를 달아놓고 뒤로 빼버려서 찾기가 불편했는데 밑에 바로 적혀있어서 필요할때 마다 바로바로 검색해서 찾아볼 수 있다는 점이 편리했다.

하지만 이 책은 기본 신경망 및 머신러닝 이론에 대해 알고 있으며 강화학습을 처음 접근하는 독자를 대상으로 썼기에,

처음 신경망 분야를 접하는 사람에게는 적합하지 않다고 보여진다. 따라서 다른 기초 이론서를 먼저 읽고 접근해보기를 추천한다.