한빛미디어

멀티모달 생성 AI 인사이드 책을 읽게 되었다. 멀티모달의 의미를 잘 몰랐었는데 여러가지 입력과 출력으로 이루어진 AI를 가르키는듯 하다. 텍스트, 이미지와 같이 어느 타입에 구애받지 않으려는 시도로 보인다.

자동차, 로봇과 등의 분야에선 다양한 센서로부터 오는 정보를 복합적으로 해석해야 하므로 멀티모달이 중요하다고 한다.

확산 모델에 대해서 알게 되었는데, 본질적으론 다르지만, 마치 위상 수학에서 도넛이 컵으로 변하듯 점진적으로 데이터의 모양이 달라지는 것을 볼 수 있다. 최근 NLP를 포함한 딥러닝 분야에선 의미론적 관계를 계속해서 발전시키고 있는 것으로 보이는데 이것을 우리는 문맥이라고 부른다고 볼 수 있다.

스테이블 디퓨젼은 언어 그대로 안정적으로 디퓨젼을 하며 초기의 모델 보다 성능도 더 뛰어난 것으로 보인다. 이 모델은 전체 이미지를 직접 다루는 대신 잠재 공간에서 노이즈를 다루는 것으로 보인다.

앞으로 멀티모달 생성 AI가 우리 생활에 미칠 효과들을 생각해 보며 이만 리뷰를 마치고자 한다.

이 글은 한빛미디어로 부터 책을 증정받아 작성되었습니다.