한빛미디어

AI를 조금씩 알아가는 차에, AI 딥 다이브란 책을 볼 수 있었다.

여느 책과 다르게 논문을 바탕으로 한 심도있는 내용을 다루고 있으며 교수님들의 추천사도 들어있었다.

목차만 봐도 알찬 정보들이 들어있는 것을 확인할 수 있었다. 차근차근 의미를 찾으면서 봐야 했기에 나는 1장을 일단 읽고 리뷰를 작성하고 있다.

매니폴드와 가설과 관련한 내용이다. 하나의 예시로 한 이미지는 각도, 광원의 위치, 카메라의 위치에 의해 결정되며 이러한 파라미터를 매끄럽게 변화시키면 이미지도 매끄럽게 변화한다.

이렇게 데이터가 적은 파라미터에 의해 지배되고 그 파라미터를 변화시키면 데이터도 매끄럽게 변하는 성질을 띄는데 이것은 다른 많은 데이터에서도 볼 수 있다.

각 점의 주변이 n차원으로 확장된다고 볼 수 있는 공간을 매니폴드라고 한다고 한다. 국소적으로는 n차원 좌표계를 이용하여 표현할 수 있는, n차원 유클리드 공간과 위상동형으로 볼 수 있는 공간이라고 한다.

StyleGAN을 소개하며 이 모델은 생성 데이터를 구성 요소 별로 구분할 수 있으며 어느 요소를 변화시켜서 형태가 매끄럽게 바뀌도록 할 수 있는지 등의 분해가 가능하다고 한다.

이 책을 통해 이런 내용이 있다는 걸 확인했으니 차차 알아가면 될 것 같다.

독립 성분 분석(ICA)에 대한 소개와 사람의 음성 분리 사례가 소개되며 정보원이 정상인 경우와 비정상인 경우로 나누어 소개를 하고 있다.

복권 가설에 대한 내용은 큰 수의 법칙과 실제 유효한 신경망의 크기를 한정할 수 있다는 내용이었고, 대칭성이 학습에 활용되는 방식에선 각자 다른 순서로 연산한 함수의 값이 서로 같아질 수 있음을 보이며 이것이 곧 같은 이미지라도 각도를 변화시켜 입력을 받은 것을 동일하게 판단할 수 있는데 사용할 수 있음을 제안하고 있었다.

모델이 클수록 일반화 능력과 샘플 효율이 좋아진다는 것을 과거 OpenAI의 연구 사례 소개를 들었으며 강건한 모델의 과다 파라미터 표현 필요성 장에선 함수의 립시츠 성질을 이용하여 노이즈 과적합을 피하는 방법을 소개했다.

앞으로 남은 챕터2 사람의 학습, 3 학습 방법, 4 강화 학습 등의 장들도 유익하게 읽을 수 있을 것으로 생각됐다.

이 글은 한빛미디어로 부터 책을 증정받아 작성되었습니다.