메뉴 바로가기 검색 및 카테고리 바로가기 본문 바로가기

한빛출판네트워크

그로킹 심층 강화학습

이론과 실제 사이의 틈을 메우다

한빛미디어

번역서

판매중

  • 저자 : 미겔 모랄레스
  • 번역 : 강찬석
  • 출간 : 2021-10-10
  • 페이지 : 500 쪽
  • ISBN : 9791162244838
  • 물류코드 :10483
초급 초중급 중급 중고급 고급
4.8점 (10명)
좋아요 : 2

사람처럼 학습하는 인공지능,

심층 강화학습의 모든 것

 

사람은 시행착오를 통해 학습한다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 한다. 심층 강화학습도 마찬가지. 심층 강화학습은 딥러닝 기법을 활용해 환경의 반응을 기반으로 탐색하고 학습하는 머신러닝 시스템을 만드는 것을 목표로 한다. 저자는 심층 강화학습을 이해하는 밑바탕이 되어줄 강화학습에 관한 개념부터 알고리즘과 심층 강화학습의 기법, 최신 기술 동향까지 심층 강화학습에 대한 모든 걸 소개한다. 또한, 각 장마다 설명에 사용되는 예시와 삽화, 실습, 명확한 설명은 강력한 머신러닝 접근법에 대해 독자들이 쉽게 살펴볼 수 있도록 해준다. 이해하는 속도에 맞춘 친절한 해설이 여러분의 머릿속에 심층 강화학습의 기초와 원리, 복잡한 상황에 적용하는 방법까지 차근차근 넣어줄 것이다.

 

상세이미지700_그로킹 심층 강화학습.jpg

저자

미겔 모랄레스

록히드 마틴의 미사일 화기 통제 및 자율 시스템 부서에서 강화학습을 활용하며 일하고 있다. 조지아 공과대학교에서 강화학습 및 의사 결정과 관련된 강의를 했으며, 유다시티에서 머신러닝 프로젝트 리뷰어 및 자율 주행 강의에서 멘토로 활동했으며, 심층 강화학습 강의를 개발했다. 조지아 공과대학교에서 컴퓨터과학 석사 과정을 수료했고, 유기적 지능에 대해 연구했다.

역자

강찬석

LG전자 인공지능연구소에서 생활가전에 인공지능 기술을 적용하는 업무를 하고 있다. 임베디드환경부터 인공지능까지 관심 영역이 넓으며, ‘생각많은 소심남의 자신에 대한 고찰’이라는 블로그(https://talkingaboutme.tistory.com/)를 통해, 본인이 알고 있는 지식을 다른 사람에게 쉽게 공유하는 방법을 항상 고민하는 편이다. 한빛미디어에서 『텐서플로를 활용한 머신러닝』 감수를 맡았다.

CHAPTER 1 심층 강화학습의 기초

1.1 심층 강화학습이란 무엇인가?

1.2 심층 강화학습의 과거와 현재 그리고 미래

1.3 심층 강화학습의 적절성

1.4 두 가지의 명확한 기대치 설정

1.5 요약

 

CHAPTER 2 강화학습의 수학적 기초

2.1 강화학습의 구성 요소

2.2 MDP: 환경의 엔진

2.3 요약

 

CHAPTER 3 순간 목표와 장기 목표 간의 균형

3.1 의사결정을 내리는 에이전트의 목적

3.2 이상적인 행동들에 대한 계획

3.3 요약

 

CHAPTER 4 정보의 수집과 사용 간의 균형

4.1 평가가능한 피드백 해석의 어려움

4.2 전략적인 탐색

4.3 요약

 

CHAPTER 5 에이전트의 행동 평가

5.1 정책들의 가치를 추정하는 학습

5.2 여러 단계를 통해서 추정하는 학습

5.3 요약

 

CHAPTER 6 에이전트의 행동 개선

6.1 강화학습 에이전트의 구조

6.2 행동에 대한 정책을 개선하기 위한 학습

6.3 학습에서 행동을 분리하기

6.4 요약

 

CHAPTER 7 조금 더 효율적인 방법으로 목표에 도달하기

7.1 강건한 목표를 활용한 정책 개선 학습

7.2 상호작용, 학습 그리고 계획하는 에이전트

7.3 요약

 

CHAPTER 8 가치 기반 심층 강화학습 개요

8.1 심층 강화학습 에이전트가 사용하는 피드백의 유형

8.2 강화학습을 위한 함수 근사화

8.3 NFQ: 가치 기반 심층 강화학습을 위한 첫 번째 시도

8.4 요약

 

CHAPTER 9 조금 더 안정적인 가치 기반 학습 방법들

9.1 DQN: 강화학습을 지도학습처럼 만들기

9.2 이중 DQN: 행동-가치 함수에 대한 과도추정 극복

9.3 요약

 

CHAPTER 10 샘플 효율적인 가치 기반 학습 방법들

10.1 듀얼링 DDQN: 강화학습에 초점을 맞춘 신경망 구조

10.2 PER: 유의미한 경험 재현에 대한 우선순위 부여

10.3 요약

 

CHAPTER 11 정책-경사법과 액터-크리틱 학습법

11.1 REINFORCE: 결과기반 정책 학습

11.2 VPG: 가치함수 학습하기

11.3 A3C: 병렬적 정책 갱신

11.4 GAE: 강력한 이점 추정

11.5 A2C: 동기화된 정책 갱신

11.6 요약

 

CHAPTER 12 발전된 액터-크리틱 학습법

12.1 DDPG: 결정적 정책에 대한 근사화

12.2 TD3: DDPG를 넘어선 성능을 보이는 개선점들

12.3 SAC: 기대 반환값과 엔트로피를 최대화하기

12.4 PPO: 최적화 과정을 제한하기

12.5 요약

 

CHAPTER 13 범용 인공지능을 향한 길

13.1 다룬 내용과 다루지 못한 내용

13.2 범용 인공지능에 대한 조금 더 발전된 개념들

13.3 이후의 내용들

13.4 요약

 

부록 A 구글 콜랩에서의 실습 환경

수학 공식부터 코드 예제까지

모든 걸 갖춘 심층 강화학습 풀 코스

 

이 책은 강화학습과 심층 강화학습이 무엇인지 이해하고 실제로 적용해보고 싶은 사람들을 위해 기본 이론부터 실제 적용 방법까지 차례로 안내합니다. 자세한 예제와 적절한 비유가 섞인 개념 설명으로 시작해, 해당 개념을 수학적으로 확인할 수 있는 공식들과 이를 직접 만들어볼 수 있는 코드까지 제공하며 강화학습을 떠먹여줍니다. 눈과 손을 통해 들어오는 설명을 하나씩 차례대로 소화해나가다 보면 어렵게만 느껴졌던 심층 강화학습이 어느새 여러분의 것이 되어 있을 겁니다.

 

 

대상 독자

 

인공지능이란 연구 영역에 익숙하고 파이썬 코드를 볼 줄 알아야 합니다. 여기저기 있는 수학과 수많은 직관적인 설명을 이해하며 재미있고 자세한 예제를 바탕으로 학습하고자 하는 사람이라면 이 책을 재미있게 볼 수 있습니다. 인공지능에 대해 모르더라도, 파이썬 코드를 읽을 줄 알고 학습에 대한 흥미만 있다면 많은 내용을 얻어갈 수 있습니다. 기본적인 딥러닝 지식이 요구되긴 하지만, 이 책은 신경망과 역전파 방식 및 관련 기법을 간단하게 복습합니다. 결론적으로 이 책 한 권에서 원하는 지식을 모두 얻어갈 수 있으며 인공지능 에이전트를 가지고 놀고 싶은 사람이나 심층 강화학습을 깊게 이해하려는 사람에게 좋습니다.

 

 

주요 내용

  • 심층 강화학습의 기본 원리
  • 최신 심층 강화학습 기법
  • 인간처럼 학습하는 심층 강화학습 에이전트 개발법
  • 복잡한 상황에 적용할 수 있는 심층 강화학습 접근법

 

추천사

 

“이 책은 강화학습을 처음 시작하는 입문자에게 충실한 길잡이 역할을 할 것이다.”

최규빈, 전북대학교 통계학과 교수

 

“잘 짜인 책이다. 머신러닝과 딥러닝, 강화학습이 무엇인지 기술적이지만 명확한 언어로 설명한다.”

찰스 이스벨, 조지아 공과대학 교수

 

“심층 강화학습을 다루는 상당히 실용적인 입문서. 추천합니다.”

아이크 오콘코, 솔리드 스테이트 AI

 

“수학과 개념, 예시를 균형 있게 보여주며 심층 강화학습을 알려주는 좋은 입문서”

알랭 쿠니오, 소프라 스테리아

 

“심층 강화학습에 관한 완벽한 개념서를 찾으시나요? 이 책이면 충분합니다.”

스와미나탄 수브라마니안, DXC 테크놀로지

  • SE-94944810-4e47-4323-a53a-cb445bb322fe.jpg

     

     

    한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

     


    대상 독자

    - 파이썬에 익숙한 자

    - 강화학습에 관심이 있는 자

    - 수식에 익숙한 자

    - 파이토치에 익숙한 자


     

    좋은 점

    - 수식과 알고리즘 그리고 코드의 구성으로 서로 상호 보완을 하며 이해하는 데 큰 도움이 된다

    - 수학이 부족한 사람들을 위한 자세한 수식 설명


     

    아쉬운 점

    - 오탈자가 있어 보기 불편함

    - 강화학습에 대한 지식이 있는 사람들에겐 기초적인 내용

    - 프레임워크가 파이토치에 국한되어 있다


     

    총평

    단점을 더 많이 쓰긴 했지만 아쉬움보단 장점이 더 큰 책이다.

    수식을 코드를 통해 직접 구현하고 사용해보면서 왜 이 책의 부제가 "이론과 실제 사이의 틈을 메우다!" 인지 정확하게 알게 해 주는 대목이다.

    강화학습의 기초를 탄탄하게 공부하려는 사람들을 위한 좋은 교재라 생각한다.

  • 2016년 알파고와 이세돌 9단의 구글 딥마인드 챌린지 매치(Google Deepmind Challenge match) 이후 딥러닝은 현대 컴퓨터 과학의 주류로 급 부상하게 되었고, 강화학습(Reinforcement learning) 또한 알파고의 벽돌깨기 학습 영상 공개와 함께 많은 관심을 받는 분야로 떠 오르게 되었습니다.

     

    이 책 제목의 그로킹은 Grok으로, 심층 강화학습 이해하기 정도로 번역될 수 있겠습니다. 학습을 위한 데이터 레이블링 작업에서 상대적으로 자유로운 이점을 가진 강화학습이지만 막상 사용해 보려면 참 막막하고 어려운데, 책을 읽는 동안 책 표지에 적혀 있는 카피라이팅 "이론과 실제 사이의 틈을 메우다”처럼 가르쳐 주는 사람의 관점이 아니라 배우는 사람이 막상 사용하려고 할 때 느끼게 되는 이론과 실제 사이의 간극을 정확히 캐치하고 쉽게 풀어 설명해 주고 있는 느낌을 받을 수 있었습니다.

     

    특히 이 책의 도입부는 요 근래 읽어본 그 어떤 IT 서적보다 인상적이었는데, 강화학습의 개념과 딥러닝의 발전 과정을 이토록 쉽고 읽기 편하게 설명할 수 있다니 하고 놀랐습니다. 책의 내용은 결코 쉽지 않습니다만 읽기 쉽게 단계별로 개념을 이해할 수 있게 풀어 쓴 저자의 역량에 감탄하면서 읽을 수 있었습니다. 굳이 강화학습에 크게 관심이 없더라도 한번 읽어 보기를 추천 드리고 싶을 정도로 책 그 자체로 인상적인, 참 잘 쓰여진 읽기 좋은 책이라 생각합니다.

     

    한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

  •  

     

    이 책의 내용

    강화학습의 역사와 배경적 설명은 물론 실제 구현하는 내용까지 총망라한 구성으로 이루어져 있습니다. 이전에 강화학습을 공부하기 위해 몇몇 책들과 자료들을 살펴보았는데, 번역서이지만 한글 자료보다 더 와닿고 이해가 쉬웠습니다. 저자가 서론에서 알고리즘을 위주로 공부하는 것이 가장 효과적이라고 말했는데, 그 말에 걸맞게 3장부터 12장까지 알고리즘으로 가득찬 구성을 가지고 있습니다. 깔끔한 내용과 다양한 구성, 그리고 독자에게 생각해볼 거리는 던져주는 저자의 말들이 어우러져 좋은 책이라는 인상을 받았습니다. 거기에 체감상 1페이지당 1개의 그림이 있어 글로 와닿지 않는 개념들을 머리속에서 그려보는데 많은 도움이 되었습니다.

    그중에서도 가장 인상깊었던 것은 트렌디하고 가독성 좋은 코드였습니다. 파이썬에 입문하신지 얼마 되지 않으신 분들에게는 어렵게 다가올 수 있지만, 간결하고 충분히 효율적인 코드, 이해하기 쉬운 네이밍을 통해 강화학습 알고리즘을 코드로 구현할 때 참고할만한 모범답안이라고 생각됩니다.

    대상 독자

    저자가 앞서 밝혔듯 딥러닝과 머신러닝, 그리고 파이썬에 대해서 익숙하셔야 이 책을 온전히 이해하고 따라갈 수 있을 것 같습니다. 내용 자체가 쉬운편이 아니고, 수많은 이론들과 알고리즘이 곳곳에서 나타나고 활용되기 때문에 코드나 알고리즘에 익숙하지 않다면 장황하다고 느낄 수도 있겠습니다. 하지만 강화학습이 무엇인지 대략적으로 알고 있는 상태에서 더 자세히 공부하고 싶으신 분들에게는 더할나위 없이 좋은 책일 것 같습니다.

    추천합니다

    • 강화학습에 간단하게라도 입문하셨던 분
    • 파이썬과 알고리즘에 익숙하신 분
    • 수식에 두려움이 없으신 분
    • 강화학습을 바로 구현해서 활용해 보고 싶으신 분

    추천하지 않습니다

    • 머신러닝과 딥러닝을 이 책으로 처음 접하시는 분

     

     "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

     

  • KakaoTalk_20211121_160906046.jpg

     

    제목에서 짐작할 수 있듯이 초급자용 책이 아니다. 입문자용이 판치는 머신러닝 서적에서 이런 책은 반갑기만 하다.

    입문자용이 아니기 때문에, 코드 설치 방법이나 파이썬 함수의 의미를 설명하는 쓸데없는 짓도 없다.

    수학없이 딥러닝을 가르쳐준다는 사람들도 존재하지만, 저자는 수학 공식을 외면하지 않았다. 수학 공식은 연구 영역을 깊숙이 이해하는 데 필수적인 요소이기 때문이다. 게다가 대충 강화학습이 이런거다를 설명하는 책이 아니고, 심층 강화학습으로 고품질 솔루션을 만들기 위해서는 이론적인 배경도 필요하다. 그러나 공식에만 의존한 책은 아니다.

    이 책의 목표는 이론과 실제 코드 사용간의 틈을 메우는 것이라고 하는데 정확한 것 같다. 그러나 적어도 딥러닝 기본 지식과 파이썬 코드를 볼 줄 아는 사람 한정이다.

     

    책의 재밌는 점은 단순히 개념을 가르쳐주고 코드를 설명하는게 아니라, 단원 끝마다 '트위터에서 만나요!'라는 마무리가 있다. #gdrn_ch02_tf01 과 같은 해시태그로 전세계 사람들에게 서로 배운 것을 공유하며, 틀린 부분을 바로 잡고, 다른 사람들은 어떻게 구현했는지 보자는 취지이다. 매우 좋은 것 같다. 하지만 난 트위터를 싫어하기에 하지 않는다는게 문제지만...

     

    강화 학습을 심층적으로 공부하기 위한 내용은 전부 다 들어있는 것 같다. 책을 보다가 재미있는 점을 발견하였는데, 무조코(MuJoCo)에 대해 설명하고 있다는 것이다. 이 책이 한국 기준으로 21년 10월 10일날 초판이 발행되었는데, 무조코는 10월 18일날 구글 딥마인드에 인수되면서 무료로 풀렸다. 저자가 말한대로 이전에는 학생용 라이센스를 받던가, 수천달러는 지불해야 되었지만, 이제는 자유롭게 사용하면 된다.

     

    이 책을 한달만에 완독한 사람들은 강화 학습에 대단한 지식을 보유하고 있는 사람들이라고 생각한다. 대학원 시절 때, ODE(Open Dynamic Engine)를 이용했던 경험을 토대로 MuJoCo를 해볼려고 한다. 더불어 책에서 말하는 강화 학습을 이용해서 포식자-피식자 생태계를 다시 구현해보고 싶다. 무조코 사용법만 익히는데도 어려울 것 같고, 여기에 강화 학습 공부를 별도로 해야하며, 현업 일도 해야하지만 꼭 해보고 싶다.

     

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

     

  • 이 책은 심층 강화학습의 이론과 실제 코드 작성에 대해 알려 줍니다. 기본적인 딥러닝 지식이 있으면 책을 읽어나가는 데 수월하지만 신경망에 대한 기초적인 지식들도 다룹니다.

  •  

    [서론]

     

    강화학습은 

    에이전트가 경험하지 못한 

    미지의 환경에 대해서 

     

    직접 탐색하고, 

    전략을 적용하며 

    겪는 시행착오를 통해 

    최선의 정책을 찾아가는 과정이다.

     

    불확실한 상황에서 탐색하고 

    해결책을 실행하며,

    그 결과로서 얻어지는

    긍정적인/부정적인 피드백을 통해 

    개선해나가는 것은 

     

    어찌보면 생물의 학습과정과도 

    비슷한 점이 많다고 느껴진다.

     

     

    [내용]

     

    흔한 머신러닝 입문서와는 

    꽤나 거리가 멀다. 

     

    머신러닝/딥러닝에 익숙한 사람이

    심층 강화학습에

    제대로 입문하기 위한 

    도서라고 볼 수 있다. 

     

    책의 내용이

    프로그래밍 도서라기보다는

     

    자세하게 설명된 이론/수식을 

    실습을 통해 이해하기 위한 

    코딩 예제의 측면이 강하다.

     

    유튜브에서 흔히 나오는 

    강화학습 결과물처럼 

    인공지능 에이전트를 활용해서

    게임 같은 걸 

    화려하게 풀어나가는 방식은 

    전혀 아니므로 주의하자.

     

     

    [대상 독자]

     

    머신러닝에 익숙하고 

    강화학습을 배우고 싶어하는 

    사람이 대상 독자이다. 

     

    딥러닝 이론에 대한 

    배경지식이 있고, 

    심층 강화학습의 기초부터 

    살펴볼 사람은 누구나 괜찮다. 

     

    심층강화학습 기법을 

    이론부터 실습까지 

    비교적 자세하게 다루기 때문이다. 

     

    심층 강화학습을 

    수식과 이론으로 깊이 있게 

    이해하고자 하는 독자와, 

     

    심층 강화학습에 대한 

    기초적인 흥미만 가진 상태에서

    파이썬 코드를 읽고 실행해가며 

    큰 그림을 그려가려는 독자,

     

    모두가 각자의 방식으로 

    학습 가능할 것으로 보인다.

     

     

    [배경 지식]

     

    기초적인 파이썬 문법과 

    패키지 사용법에는 익숙해야 한다. 

     

    기본적인 딥러닝 지식도 있어야 한다. 

    신경망과 역전파 방식에 관련한 

    내용이 은근히 나오기 때문이다. 

     

    예제가 텐서플로+케라스 기반이 아니라 

    파이토치 기반으로 구성되었으므로,

    파이토치의 기초적인 사용 방법도 

    알고 있으면 더 유리할 것 같다.

     

     

    [저자]

     

    저자는 조지아 공대를 졸업하고

    록히드 마틴에서 강화학습 관련 

    업무를 진행하고 있으며, 

     

    온라인 교육 플랫폼인 

    유다시티(Udacity)에서 

    심층강화학습 관련 강의의 

    컨텐츠 개발에 참여한 사람이다. 

     

     

    [번역]

     

    쉽게 술술 읽히도록 

    한글 문장에 신경을 많이 쓴 흔적이 역력하다. 

     

    원서 저자는 docker로 

    예제를 제공하지만, 

     

    번역자는 예제 코드를 

    구글 코랩에서 바로 실행해가며 

    결과를 쉽게 확인할 수 있도록 

    부록을 자체적으로 추가하여 

    신경써서 구성해두셨다. 

     

     

    [장점]

     

    독자들에게 심층 강화학습이라는 

    어려운 주제를 

    알기 쉽게 서술하려고 

    엄청 애를 쓴 책이다. 

     

    수식, 알고리즘/삽화, 코드가 

    모두 나오며, 

     

    본문에 상세하게 서술된 

    이론 뿐만 아니라 

     

    수식과 알고리즘에 많은 분량의 주석이 

    구석구석 추가되어 있어서

    독자의 이해를 돕는다.

     

     

    [결론]

     

    심층 강화학습을 

    처음 접할 때 도움이 되는 책. 

     

    강화학습에 대한 이론과 실습 

    모두를 잡는 책이다. 

     

    실용적인 입문서라고 볼 수 있다.  

     

    그렇지만 주제 자체가 

    아직 널리 일반화되지 않은 

    내용인 만큼 

    책의 난이도는 절대 쉽지 않다. 

     

    머신러닝 중급자 이상 중에서 

    심층 강화학습을 제대로 배우고 싶은 

    사람에게 추천한다. 

     

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • 한빛미디어에서 제공받는 책으로 해당 리뷰를 작성하였습니다.

    책표지

    TL;DR

    1. 이 책은 ‘파이토치’를 기반으로 강화학습을 소개하는 교재이며, 교재에 소개한 이론은 수학과 파이썬 코드를 활용해서 설명하고 있다.

    2. 실습 환경을 구성할 때 약간의 에러가 발생할 수 있는데, 윈도우 사용자의 경우 SWIG을 먼저 설치해서 진행하면 좋다.

    • Gym이 업데이트 되면서 약간의 오류가 발생할 수 있는데, 그러한 문제는 발생한 에러를 확인하면 쉽게 수정할 수 있다. 예를 들어, 2장 “강화학습의 수학적 기초”를 실습할 때 발생한 오류를 수정한 예제에서 확인할 수 있듯이 큰 문제가 아니니 오류를 자세히 확인해보자.
    1. 머신러닝/강화학습 연구자들에겐 ‘초급’ 수준의 기초 교재라 할 수 있으며, 강화학습을 처음 접하는 분들에겐 ‘중급’ 수준의 교재라 할 수 이다. 만약 강화학습을 처음 시작하는 분들이라면 개론적인 교재를 함께 읽어보길 권한다.

    1

    이 책은 강화학습 중 ‘가치 기반’과 ‘정책 기반’을 ‘파이토치’를 활용해서 차근차근 설명하는 교재다. 이 교재는 여타 교재에 비해서 수학 표기법 및 수학 이론에 대한 지식을 자세히 소개하고 있으며, 이러한 수학적 지식의 공허함을 파이썬 코드를 활용해서 차근차근 ‘메워주고’있다.

    강화학습을 다루는 대부분의 교재가 가지는 큰 딜레마 중 하나는 ‘수학’과 ‘프레임워크’라 생각한다. ‘수학’의 경우 머신러닝이나 딥러닝에 비해서 표기법이 복잡하기 때문에 많은 교재들이 수학 표기법 및 수학적 지식을 전달하기 위해서 많은 노력을 하지만 수학은 언제나 어렵다. 그리고 수학이라는 작은 동산을 넘어가기 시작하면, OpenAI의 Gym과 같은 프레임워크 설치 및 활용법이라 할 수 있다. 특히, Gym과 같은 프레임워크에 대한 소개 및 적절한 가이드를 쉽게 찾을 수 없다는 점이 강화학습을 학습할 때 겪게되는 일상이다.

    수식의 설명은 멋지다

    2

    강화학습 자체가 가지는 난이도도 있지만, 실습이 쉽지 않다는 점도 한 몫 한다. 만약 자신이 ‘우분투’와 같은 리눅스 배포판을 주력으로 사용하고 있다면 2장의 예제를 손쉽게 실행할 수 있다. 필자도 연구에 사용하는 우분투 서버에선 무리 없이 진행할 수 있었지만, 현재 집에서 가끔 사용하는 윈도우 PC의 경우 SWIG 패키지가 설치되지 않아서 Box2D 설치시 오류가 발생했다. 이러한 오류의 경우 파이썬을 잘 활용하시는 분들은 손쉽게 처리할 수 있지만, 강화학습을 처음 접하거나 해당 패키지 사용법을 처음 접하는 분들에게 조금 어려울 수 있다.

    그리고 필자와 같이 연구를 중심으로 머신러닝을 접하는 분들에게 파이토치(PyTorch)는 매우 반갑고 즐거운 일이지만, 텐서플로 사용자의 경우 새로운 형태의 프레임워크를 배워야 한다는 부담감이 있다는 점에서 교재를 선택할 때 주의를 요한다.

    3

    이 교재를 공부하면서 느꼈던 점은 ‘실습환경’을 잘 갖춘다면 강화학습을 학습하시는 분들에게 굉장히 좋은 교재라는 점이다. 이 책은 크게 2부분으로 나눌 수 있다(1장과 13장을 제외). 강화학습을 시작하는 분들에게 좋은 참고가 될 1부(2장~7장)와 딥러닝 프레임워크인 파이토치를 사용해서 기초적인 내용을 연습하는 2부(8장~12장)로 나눌 수 있다.

    1부의 경우 OpenAI의 Gym을 사용해서 실습을 진행하고 있고, 교재에서 소개하는 모든 이론에 대한 수학적인 부분은 코드를 활용해서 직접확인 할 수 있다. 만약 1부(2장~7장)에서 소개하는 내용이 쉽게 이해되지 않는다면 강화학습 첫걸음(아서 줄리아니)알파고를 분석하며 배우는 인공지능(오츠키 토모시)를 참고하면 좋을 듯 하다. 2부의 경우 머신러닝 연구자의 대부분이 파이토치를 활용할 수 있을 것으로 예상되지만, 파이토치가 어색하다면 파이토치 관련 교재를 함께 진행하길 권한다.

    강화학습을 주제로 나온 교재 중에서 핵심적인 이론적을 체계적으로 소개한다는 점에서 추천하며, 처음 접하는 분들의 경우 강화학습의 개론서를 참고하면서 진행하면 더 좋을 듯 싶다. 무엇보다 강화학습을 필요로 하는 연구자라면 한번 꼭 읽어보길 강권한다.

    Written on November 20, 2021

  • > 시작

    올 한해 특히나 머신러닝에 대한 책들을 많이 접하게 되는 것 같습니다.

    혼자 공부하는 머신러닝+딥러닝이나, 처음배우는 딥러닝 챗봇 등 한해 동안 다양한 책을 접했습니다.

    아쉬웠던 점은 업무로서 머신러닝을 하지는 않고 있어 자격증 취득 등의 스터디 이상의
    체득을 하지 못하고 있는데, 책앞에 쓰인 "이론과 실제사이의 틈을 메우다" 라는 글이 끌려
    그로킹 심화 강화학습 책을 읽어보게 되었습니다.

     

    책 표지

     

    > 책의 구성 및 내용

    이 책은 500 page입니다.

    책 초반에 머신러닝에서 지도학습/비지도학습/강화학습/딥러닝에 대한 분류에 대해
    설명하고 있습니다.

     

    머신러닝 (지도학습/비지도학습/강화학습/딥러닝)

     

     

    개인적으로는 정확한 x, y label 을 가지는 지도학습만 주로 경험해본 터라
    책에서 주로 설명하는 강화학습에 대한 내용들이 약간은 생소하게 느껴졌습니다.

    다만 예제를 통해 상세히 설명해주고 있어서 이해가 어렵지는 않았습니다.

     

     

    코드도 잘 설명되어 있어 이론적으로 설명해주었던 강화학습이
    실제적으로 코드로는 어떻게 표현되는지도 책에서 볼 수 있습니다.

     

     

     

    책은 나름의 위트도 있습니다. 특별히 재미있었던 부분은 에이전트의 행동평가 항목에서
    강화학습의 순간적인 목표와 장기적인 목표를 설명할 때 책에서는 아래와 같이 설명하고 있습니다.

    오늘 밤, 영화를 보는 것이 좋을까요? 아니면 이 책을 계속 읽는 것이 좋을까요?
    어떤 선택은 순간적인 만족을 줄 것입니다. 영화를 보게 된다면, 부자가 된 느낌도 얻을 것이고,
    사랑을 얻을 수도 있고,  다이어트도 할 수 있을 것입니다. 두시간 동안 팝콘을 먹으면서 말입니다.
    반면, 책을 읽어도 오늘 밤 당장에는 아무것도 생기지 않을 것입니다.
    하지만 아마도, 장기간을 놓고 봤을때 더 큰 만족을 얻을 수 있을 것입니다.

    펙트폭행에 책을 읽을 수 밖에 없었습니다...

    우습게도, 강화학습책을 보면서 중간중간 나오는 "미겔의 한마디"라는 섹션을 보면서
    결국 강화학습도 목표에 도달하기 위한 효율적인 방법을 찾는 것이고 
    삶도 똑같은 목표로 강화학습과 같이 목표를 효율적으로 도달하는 방법의 경험들을
    해 나가는 것이라는 것에 묘한 기분이 들기도 했습니다.

    이전에 읽었던 머신러닝 책들이 대부분 지도학습을 얘기하고 있다면
    이 책은 명확하게 강화학습에 대해 설명하고 알려주고 있습니다.

    많은 예시와 코드들이 이해를 쉽게 도와주지만, 머신러닝의 기초지식은 가지고 있어야
    읽기 쉽겠다는 생각이 많이 들었습니다.

    > 장점

    • 강화학습에 대한 명쾌할 설명과 많은 예시들

    > 단점

    • 다소 어렵게 느껴질 수 있음

    책읽기 필요사항

    머신러닝에 대한 기초 지식

     

    추천 독자

    머신러닝을 기본적으로 학습한 학생 또는 IT 전문가 

     

    > 정보

    저자: 미겔 모랄레스
    옮긴이: 강찬석
    출판사: 한빛미디어
    가격: 35,000원
    전체 페이지: 500페이지


    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

  • 그로킹 심층 강화학습 표지.jpg

    이론과 실제 사이의 틈을 메우다니....

    아직 인공지능 관련 공부를 시작하고 다양한 강의와 동영상 자료 관련 책등을 

    읽고 보고 있는 중이다.

     

    리뷰에 신청한 책이 아니라 처음 받았을 때 느낌이 뭔가 어려워 보인다.....


    책 전반적으로 심층 강화학습에 대해 설명하고 다양한 수식이나 코드를 배치하여 하나 하나 독자를

     

    이해 시키려고 하고 있다.

     

    물론 기초적인 수학적 지식을 필요로 하고 용어등 낯선 부분이 분명이 존재한다.

     

    여러가지 이론을 기초로 하여 실무에 필요한 내용까지 가감없이 전달하고자 한다.

     

    내용도 방대하다... 아 음 좀 어렵네 내공이 좀더 필요하겠다라는 생각이 가감없이 든다.

     

    하지만 이 책은 강화학습에 필요한 모든 내용을 다 포함하고 있다.

     

    언제든지 다시 보고 또 보고 해도 좋을 그런 책이다.

     

    초보자가 보기에는 쉽지 않은 책은 분명하다. 인공지능에 필요한 기본적인 지식이 어느정도

     

    있는 독자이고 관련 알고리즘을 학습한 독자라면 충분히 가치가 있는 책이라고 생각이 든다.

     

    강화학습에 대해서 이론과 실무가 적절히 녹아져 있는 책이다.

     

    충분히 이해하기 쉽게 다양한 수식과 도형등을 가지고 설명하기에 꽤 괜찮은 책이다.

     

    이론과 실제 사이의 틈을 충분히 매울수 있게 도와줄 그런 책이다.

     

  • KakaoTalk_20211116_234448044.jpg

    이 책은 원서로 처음 접했습니다. 그 때 읽으면서 '언제쯤 번역이 되어 나올까' 라는 생각을 했습니다.

    이 책의 저자인 믹겔 모랄레스가 책의 서문에 말했던 것 처럼 '이론과 실제 사이의 틈을 메우는 것'을 책을 읽으면서 느꼈기 때문입니다.

    논문을 읽다가 아니면 다른 책을 보다가 이해가 안되는 수식이나 코드를 발견한 후, 이 책에서 그 내용을 찾아보면 너무나도 쉽게 이해가 됐기 때문입니다.

     

     

    KakaoTalk_20211116_234448813.jpg

    이 책의 장점은 수식을 설명할 때 다양한 그림을 통해 설명을 하고 있습니다. 그래서, 그만큼 수식 자체를 이해하기 쉬웠습니다. 또한, 코드도 순서대로 핵심적인 부분만 잘라서 설명을 하고 있습니다.

     

    이 책은 고전적인 강화학습부터 딥 강화학습까지 스토리로 구성되어 있습니다. 그리고 마지막 부분은 '범용 인공지능을 향한 길' 이라는 타이틀로 Inverse RL, Meta Learning, Transfer Learning, curriculum Learning 그리고 multi agent rl 등 최근에 관심이 집중되는 분야에 대해 개념을 설명하면서 마무리 하고 있습니다.

    강화학습은 쉬운듯 하면서 어렵고 이해한듯 하면서 이해가 안되는... 그리고 실제 적용하려고 하면 막막해지는 . 그런 분야인듯 합니다.

    하지만, 이 책을 통해 조금 더 그런 간격을 줄일 수 있을 것이라 생각합니다.

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

결제하기
• 문화비 소득공제 가능

배송료 안내

  • 책, 아이템 등 상품을 1만원 이상 구매시 무료배송
  • 브론즈, 실버, 골드회원이 주문하신 경우 무료배송

무료배송 상품을 포함하여 주문하신 경우에는 구매금액에 관계없이 무료로 배송해 드립니다.

닫기

도서판매처

리뷰쓰기

닫기
* 도서명 :
그로킹 심층 강화학습
* 제목 :
* 별점평가
* 내용 :

* 리뷰 작성시 유의사항

글이나 이미지/사진 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 게시물은 이용약관 및 관련법률에 의해 제재를 받을 수 있습니다.

1. 특히 뉴스/언론사 기사를 전문 또는 부분적으로 '허락없이' 갖고 와서는 안됩니다 (출처를 밝히는 경우에도 안됨).
2. 저작권자의 허락을 받지 않은 콘텐츠의 무단 사용은 저작권자의 권리를 침해하는 행위로, 이에 대한 법적 책임을 지게 될 수 있습니다.

오탈자 등록

닫기
* 도서명 :
그로킹 심층 강화학습
* 구분 :
* 상품 버전
종이책 PDF ePub
* 페이지 :
* 위치정보 :
* 내용 :

도서 인증

닫기
도서명*
그로킹 심층 강화학습
구입처*
구입일*
부가기호*
부가기호 안내

* 인터넷 서점에서 구입한 도서를 인증하면 마일리지 500점을 드립니다.

* 한빛 웹사이트에서 구입한 도서는 자동 인증됩니다.

* 도서인증은 일 3권, 월 10권, 년 50권으로 제한되며 절판도서, eBook 등 일부 도서는 인증이 제한됩니다.

* 구입하지 않고, 허위로 도서 인증을 한 것으로 판단되면 웹사이트 이용이 제한될 수 있습니다.

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?

자료실