나에게 필요한 지식과 기술을 검색해 보세요.

대표이미지

하루만에 완성하는 멀티모달 RAG 검색 & 추천 서비스

Building Smarter Systems - Multimodal RAG with GPT-4 for Search & Recommendations

강사

파울러 디숀

강의

21강

시간

1h 31m

수강기간

6개월

레벨

초중급

정가

48,000

판매가

9,600

총 결제 금액

80%

9,600

평생교육이용권 사용안내

이 강의는 평생교육바우처로 결제할 수 있습니다.

텍스트와 이미지, 비정형 데이터를 임베딩하고 하나의 멀티모달 RAG 검색 및 추천 서비스를 구현해보세요!


하루만에 완성하는 
멀티모달 RAG 검색 & 추천 서비스

텍스트만 검색하는 시대는 끝났습니다.
GPT 기반 멀티모달 RAG로 텍스트 + 이미지를 함께 검색하고, 추천까지 완성하세요.
벡터 DB, 임베딩, 랭체인, Streamlit까지 — 하루 만에 “작동하는 서비스”를 구현합니다.

AI 검색·추천의 새로운 기준, 멀티모달 RAG

현실의 데이터는 텍스트만으로 구성되지 않습니다. 이커머스 상품 이미지, 의료 영상, 문서 스캔본, 썸네일처럼 이미지 중심 탐색이 핵심인 서비스가 빠르게 늘고 있습니다.

본 과정은 텍스트 임베딩과 이미지 임베딩(CLIP/OpenCLIP)을 하나의 벡터 공간에 통합하고, 크로스 모달 검색(텍스트로 이미지 검색, 이미지로 텍스트/이미지 검색)을 구현합니다. 나아가 검색 결과를 기반으로 LLM(GPT)이 사용자 맥락을 이해하여 추천까지 완성하는 엔드투엔드 파이프라인을 구성합니다.

주요 학습 내용 

  • RAG(Retrieval-Augmented Generation)의 정의와 작동 원리 (청킹, 임베딩, 벡터 DB, Retrieval)
  • 텍스트 임베딩 + 이미지 임베딩(CLIP/OpenCLIP)의 결합과 통합 임베딩 공간(Unified Embedding Space) 설계
  • ChromaDB 기반 멀티모달 데이터 저장·관리 및 검색 (거리/메타데이터 출력·시각화)
  • 텍스트 ↔ 이미지 간 크로스 모달 검색(Cross-modal Retrieval) 구현
  • 검색(객관적)과 추천(주관적)의 차이 이해 및 멀티벡터 추천 로직 설계
  • 랭체인 기반 RAG Flow 구성 및 이미지 base64 인코딩 파이프라인
  • Streamlit으로 UI 구축 및 최종 서비스 형태로 완성

이 강의로 만들 수 있는 실제 결과물 

🔎 멀티모달 검색 시스템
텍스트/이미지 입력으로 이미지·텍스트를 교차 검색하는 서비스
🎯 멀티벡터 추천 시스템
사용자 맥락(취향/상황)을 반영해 더 “주관적”인 추천을 생성하는 구조
🧠 RAG + GPT 추천 파이프라인
검색 결과를 LLM에 전달하여 최종 추천을 생성하는 End-to-End 흐름
🖥️ Streamlit 기반 UI
실제 사용자가 쿼리하고 결과를 확인할 수 있는 웹 인터페이스 완성

이 강의가 특별한 이유

1️⃣ “작동하는 서비스”  완성

단순 데모가 아니라, 서비스 흐름을 갖춘 결과물이 남습니다.
멀티모달 검색과 추천을 엔드투엔드로 연결합니다.

2️⃣ “멀티모달 RAG” 핵심 개념 습득

CLIP 기반 임베딩으로 텍스트와 이미지를 하나의 검색 공간에 통합하고,
크로스 모달 검색 정확도를 극대화합니다.

3️⃣ 실무에 활용 가능한 역량 함양

학습 후 내 데이터로 확장 가능한 구조를 기준으로 설계합니다.
실무 적용에 필요한 핵심 패턴을 함께 다룹니다.

3단계 학습 로드맵 

  1. 1단계: 멀티모달 RAG 기본 구조 이해 — 검색·임베딩·벡터 DB 구성요소 학습
  2. 2단계: 멀티모달 검색 구현 — 텍스트/이미지 임베딩 생성 및 크로스 모달 검색 실습
  3. 3단계: 추천 서비스 완성 — 랭체인+ GPT 추천 생성, Streamlit UI 배포 형태로 완성

 

 ※ 각 단계는 실습 중심으로 구성되며, 프로젝트 별 완성 코드를 통해 개념과 구현을 동시에 익힙니다.

상세 커리큘럼

섹션 1. 강의 소개 및 데모
강의 목표와 전체 구조 이해 · 최종 프로젝트(꽃다발 추천 서비스) 데모로 엔드투엔드 흐름 확인
섹션 2. 환경 설정
파이썬 설치 · API Key 설정 · 프로젝트 의존성 패키지 설치(chromadb, pillow, open_clip 등)
섹션 3. RAG 이론 심화 (Deep Dive)
Chunking/임베딩/벡터 DB/Retrieval · RAG의 장점(환각 감소/최신성) · 멀티모달 RAG 개념
섹션 4. 멀티모달 검색 통합 워크플로우
텍스트 임베딩 + 이미지 임베딩 결합 · 검색 프로세스 다이어그램 분석 · 크로스 모달 검색 설계
섹션 5. 실습: 멀티모달 검색 구현
ChromaDB에 이미지 저장 자동화 · 검색 테스트(거리/메타데이터 출력) · 간단 데이터로 크로스 모달 검색 확인
섹션 6. 실전 프로젝트: 꽃 추천 시스템 구축
Flowers 데이터셋 적용 · OpenCLIP 임베딩 자동화 · 랭체인 RAG Flow · 지피티 추천 생성 · Streamlit UI 완성
섹션 7. 마무리 및 확장
전체 학습 내용 요약 · 내 데이터셋/내 서비스로 확장하는 방법 · 성능 개선 및 운영 팁

사용하는 핵심 기술 스택 ⚙️

🐍 언어: 파이썬 (3.x)
🗂️ 벡터 Database: ChromaDB (멀티모달 임베딩 저장 및 검색)
🧠 임베딩: CLIP / OpenCLIP (텍스트-이미지 임베딩 통합)
🧩 프레임워크: 랭체인(RAG 워크플로우 구성)
🖥️ UI: Streamlit (웹 기반 인터페이스)
🧰 기타: 허깅페이스 Datasets, Pillow, Matplotlib

이런 분들께 추천합니다 💪

  • 소프트웨어 개발자 및 아키텍트 전문가: 검색·추천 시스템에 AI를 통합해 서비스 경쟁력을 높일 수 있습니다.
  • AI 엔지니어 및 데이터 과학자: RAG 및 멀티모달 시스템 구축으로 스킬셋을 확장할 수 있습니다.
  • ML 엔지니어: 임베딩·벡터 DB·멀티모달 검색을 실전에서 구현할 수 있습니다.
  • 프로젝트 기반 학습자: 개념이 아니라 “동작하는 결과물”을 완성하며 배울 수 있습니다.

사전 요구 지식 및 준비 사항 ✅

  • 필수 사전 지식: 해당 강의는 프로그래밍 입문 강의가 아니므로 파이썬 코드를 이해하고 작성할 수 있어야 합니다
  • 권장 사항: 머신러닝/LLM 기본 개념, 임베딩·벡터 검색 개념에 대한 익숙하다면 학습을 좀더 수월하게 진행할 수 있습니다.
  • 개발 환경: 파이썬 설치, VS Code 등 코드 에디터, OpenAI API Key 등
  • 비용: 실습 과정에서 API 호출량에 따라 소액 비용이 발생할 수 있습니다

자주 묻는 질문 ❓

  • Q. 프로그래밍 초보자도 수강 가능한가요?
    A. 본 과정은 프로그래밍 입문 과정이 아닙니다. 파이썬 코드를 읽고 작성할 수 있어야 수강 효과가 좋습니다.
  • Q. 실습 비용이 발생하나요?
    A. OpenAI API를 사용하므로 호출량에 따라 소액 비용이 발생할 수 있습니다. 실습 규모는 비용이 크게 들지 않도록 설계되어 있습니다.
  • Q. 멀티모달 검색이 왜 중요한가요?
    A. 실제 서비스 데이터는 이미지 기반 탐색이 많습니다(상품 이미지, 의료 영상, 썸네일 등). 멀티모달 검색은 단일 텍스트 검색 대비 정확도와 사용자 만족도를 크게 높입니다.
  • Q. 최종 프로젝트는 무엇인가요?
    A. 꽃 데이터셋을 기반으로, 텍스트·이미지 복합 쿼리로 최적의 꽃다발 구성을 추천하는 “꽃다발 추천 시스템”을 구현합니다.

하루 만에 멀티모달 검색과 추천 서비스를 완성해보세요.
이 강의는 “개념 이해”가 아니라 “완성 경험”을 제공합니다.

지금 시작하면, 내 서비스에 바로 적용 가능한 멀티모달 RAG 설계와 구현 역량을 갖추게 됩니다.


강사

파울러 디숀

파울러 디숀

안드로이드, 자바, 플러터 개발자이자 강사이다. IT 분야에서 사람들을 가르치는 것에 열정을 가지고 있습니다. 175개 이상의 국가에서 80,000명 이상의 학생들을 가르쳐 온 그는 프로그래밍과 개발 분야의 지식과 전문성을 전파하는 데 헌신해 왔습니다.

 

Whitworth University에서 컴퓨터 공학 학위를 취득한 했으며, 교육과 더불어 프로그래밍을 즐깁니다. 그는 모바일 앱과 웹 개발 분야에서 풍부한 경험을 보유하고 있으며, 학생들이 전문 개발자가 되는 데 필요한 기술을 제공하는 플랫폼인 "Build Apps with Paulo"를 설립했습니다.

 

학생들이 뛰어난 애플리케이션과 소프트웨어를 만들 수 있도록 가르치고 안내하는 것은 그에게 매우 보람 있는 여정이었습니다. 10년 넘게 온라인으로 강의해 온 그는 학습자들의 현재 경험 수준과 관계없이 숙련된 개발자가 될 수 있도록 돕는다는 사명감으로 활동하고 있습니다.

커리큘럼

1-1차시 강의 소개 및 사전 요구 지식

02:38

02

1-2차시 강의 구성

00:32

1-3차시 프로젝트 미리보기

02:38

04

2-1차시 개발 환경 설정

01:04

05

3-1차시 RAG 시스템 깊이 이해하기

04:17

06

3-2차시 RAG의 이점과 실제 적용

04:14

07

3-3차시 멀티모달 RAG이란 무엇인가?

08:54

08

4-1차시 멀티모달 RAG 시스템과 검색 통합하기

03:19

09

4-2차시 멀티모달 검색이 강력한 이유 - 1

02:53

10

4-3차시 멀티모달 검색이 강력한 이유 - 2

04:47

11

5-1차시 멀티모달 검색 시스템 설정- 이미지 임베딩 생성하기

09:18

12

5-2차시 멀티모달 검색 시스템 완성하기

07:58

13

6-1차시 멀티모달 추천 시스템 - 개요

03:28

14

6-2차시 허깅페이스에서 데이터셋 가져오기 및 행 수 표시

03:27

15

6-3차시 이미지를 로컬에 저장하기

03:00

16

6-4차시 임베딩 이미지를 벡터 데이터베이스에 저장하기

04:51

17

6-5차시 멀티모달 추천 시스템 테스트 - 올바른 이미지 가져오기

03:53

18

6-6차시 RAG 플로우 설정

08:12

19

6-7차시 RAG 플로우 통합 및 테스트

06:30

20

6-8차시 Streamlit으로 UI 구현하기

02:59

21

7-1차시 다음 단계 학습에 대하여

02:54

수강 후기

첫번째 리뷰어가 되어주세요.

소중한 후기가 다른 분들께 도움이 될 거에요.

48,000

80%

9,600