한빛미디어

AI를 위한 필수 수학 책을 읽게 되었다. 기본적인 수학 지식부터 컴퓨터 비전, 자언어 처리, 확률적 생성 모델, 그래프 모델, 인공지능과 편미번 방정식에 대한 개괄적인 수식을 담고 있어 AI분야에서 수학 수식이 어떻게 사용되는지 파악하는데 도움이 많이 되었다.

AI는 거품이 끼어 있다고 하나 분명 발전중인 분야이다. 이에 대한 미래에 대한 내용을 담고 있었으며, 선형함수 비선형 함수에 대한 내용이 소개가 되었다. 익히 알고 있는 기본적인 신경망의 기본 함수 형태는 선형함수 형태를 띄고 있고 비선형 함수로 근사하기 위해서 활성화 함수를 사용하는 것으로 알고있다.

볼록한 평면과 볼록하지 않은 평면에 대한 내용이 나오는데 아주 작은 영역에서는 비선형 함수가 선형으로 보이고 선형으로 작동할 수 있다고 한다. 더불어 많은 선형함수 들이 모이면 비선형 함수를 모방할 수 있다고 알고있다. 볼록 함수의 장점은 미분을 통해 극값을 갖는 위치를 찾는데 도움을 받을 수 있다는 것이다.

크로스 엔트로피 정보이론에 대한 내용도 나왔는데 발생할 확률이 낮은 사건일 수록 점수를 높게 주는 함수를 나타내고 있었다.

커널 트릭을 다루는 파트에서는 데이터 포인트 쌍에 적용할 수 있는 함수 K가 있을 때 이 함수를 고차원 공간으로 변환된 데이터 포인트 상의 스칼라 곱을 계산해 주는 함수라 가정하면 쌍대 문제의 스칼라곱을 함수 K로 대체해서 동일한 쌍대 문제를 더욱 고차원 공간에서 풀 수 있게 된다는 것과 여기서 직관적으로 알 수 있는 점으로 저차원에서 비선형적으로 분리되는 데이터가 고차원에서는 선형적으로 분리될 수 있다는 내용이었다. 커널 트릭을 사용해 각 데이터 포인트를 변환하지 않고 데이터의 스칼라곱을 계산할 수 있다는 내용이 인상적이었다.

연속 함수를 다항식으로 근사할 수 있다는 내용이 나오는데 바이어슈트라스 근사 정리라는 수학 분야에서 매우 고전적인 내용이라 한다.

또, 과적합을 방지하기 위해서 손실 함수의 최소 값을 구할 때 패널티 항까지 합쳐서 최소값을 구하는 방법이 있다는 것을 알게 되었다.

마지막으로 신경망 가중치 계산을 빠르게 갱신하기 위한 역전파 계산식이 나오는데 체인-룰을 이용한 미분 함수를 사용함을 알 수 있었다.

이 글은 한빛미디어로부터 책을 증정받아 작성되었습니다.