한빛미디어

생성형 AI의 시초는 Auto Encoder에서 기인되었다고 해도 무방하다.

오토인코더(Auto Encoder)란 입력이 들어왔을 때, 해당 입력 데이터를 최대한 compression 시킨 후, compressed data를 다시 본래의 입력 형태로 복원 시키는 신경망입니다. 이때, 데이터를 압축하는 부분을 Encoder라고 하고, 복원하는 부분을 Decoder라고 부릅니다. 압축 과정에서 추출한 의미 있는 데이터 Z를 보통 latent vector라고 부르고, 이 외에도 ‘latent variable’, ‘latent vector’, ‘code’, ‘feature’등과 같은 용어로 부른다.

오토인코더의 압축된 정보를 어떻게 다시 복원하는가에 대한 연구가 바로 생성형 AI의 시초이기 때문이다.

이를 근간으로 GAN은 Generative Adversarial Networks 이 출현하게 된다.

이는 Generative Model의 한 종류입니다. 우리말로는 적대적 생성 신경망이 2014년 출현하게 된다.

GAN은 구글 브레인에서 머신러닝을 연구했던 Ian Goodfellow에 의해 2014년 처음으로 신경정보처리시스템학회(NIPS)에서 제안되었고 이후 이미지 생성, 영상 생성, 텍스트 생성 등에 다양하게 응용되고 있습니다.

GAN은 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델입니다. “적대적 생성 신경망”이라는 이름에서 알 수 있듯 GAN은 서로 다른 두 개의 네트워크를 적대적으로(adversarial) 학습시키며 실제 데이터와 비슷한 데이터를 생성(generative)해내는 모델이며 이렇게 생성된 데이터에 정해진 label값이 없기 때문에 Un-supervised learning 기반 생성모델로 분류됩니다.

인공지능이 실제 예제를 학습하고 공통점을 추론하여 매우 정교한 위조품을 만들어내는 것이 목표입니다.

이런 비슷한 일을 하는 생성형 모델이 통계, 계량 경제학 및 신호 처리에서는 자기회귀 모형(自己回歸模型, autoregressive model, AR)이라고 불리워진다. 자연, 경제 등에서 시간에 따라 변하는 특정 프로세스를 설명하는 데 사용된다. 자기회귀 모형은 출력 변수가 자신의 이전 값과 확률적 항(불완전하게 예측 가능한 항)에 선형적으로 의존함을 지정한다. 따라서 모델은 확률적 차이 방정식(또는 미분 방정식과 혼동되어서는 안 되는 반복 관계)의 형태이다. MA (이동 평균) 모델과 함께 더 복잡한 확률론적 특성을 갖는 시계열의 보다 일반적인 ARMA(자기 회귀 이동 평균) 및 ARIMA(자기회귀누적이동평균) 모형의 특수한 경우이자 핵심 구성요소이다.

데이터에 따라서 모형의 설계가 조금씩 달라지기 때문에 동작은 같지만 그 안에 목적함수가 다르기 때문에 위와 같이 불리워지는 것이다.

이런 생성 모델의 이론들은 Attention is all you need라는 논문이 출현하면서 Transformer 아키텍처로 일치 단결하게 된다. 이를 통해 다양한 멀티모델과 적용이 되는 길이 열리게 된 것이다.

이런 전반적인 내역들을 이 책 한권을 보면 알 수 있게 된다.

초심자에게도 쉽게 쓰여진 책이라 추천이 바람직하다고 생각된다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."