성공적인 생성형 AI 도입의 마지막 관문
신뢰할 수 있는 LLM 시스템 설계와 운영 전략

오픈 소스 모델이나 상용 API로 대규모 언어 모델(LLM)에 접근하는 것은 쉬워졌지만, 이를 실제 운영 환경에 올리는 순간 추론 비용, 지연 시간, 환각 현상, 보안 위협 등 전혀 다른 차원의 문제에 직면하게 된다. 이 책은 기존 MLOps의 한계를 넘어 생성형 AI의 고유한 특성을 통제하기 위해 등장한 LLMOps 프레임워크를 포괄적으로 다룬다. 데이터 엔지니어링부터 배포, 평가, 거버넌스까지 전체 수명 주기를 하나의 흐름으로 연결해 LLM 기반 애플리케이션이 신뢰성, 확장성, 견고성, 보안이라는 네 가지 핵심 목표를 달성하도록 돕는다.
 

CHAPTER 1 대규모 언어 모델 소개
_1.1 주요 용어
_1.2 트랜스포머 모델
_1.3 대규모 언어 모델
_1.4 LLM 구조
_1.5 LLM 선택
_1.6 기업의 LLM 활용 사례
_1.7 LLM을 활용한 구축의 도전 과제
_1.8 결론
참고 문헌

CHAPTER 2 LLMOps 소개
_2.1 운영 프레임워크의 개념
_2.2 LLMOps 팀과 역할
_2.3 LLM과 조직
_2.4 LLMOps의 네 가지 목표
_2.5 LLMOps 성숙도 모델
_2.6 결론
참고 문헌
읽을거리

CHAPTER 3 LLM 기반 애플리케이션
_3.1 애플리케이션에서 AI 모델 사용하기
_3.2 인프라 애플리케이션
_3.3 VLM과 멀티모달 LLM의 부상
_3.4 LLMOps 질문
_3.5 LLM 기반 애플리케이션에서 무엇을 제어할 수 있는가?
_3.6 LLM 기반 인프라 시스템의 도전 과제
_3.7 결론
참고 문헌

CHAPTER 4 LLM 데이터 엔지니어링
_4.1 데이터 엔지니어링과 LLM의 부상
_4.2 데이터옵스 엔지니어 역할
_4.3 데이터 관리
_4.4 일반적 LLM 데이터 전처리 파이프라인
_4.5 벡터화
_4.6 결론
참고 문헌
읽을거리

CHAPTER 5 LLM 기반 애플리케이션의 모델 도메인 적응
_5.1 LLM 기초 훈련
_5.2 모델 앙상블 접근 방식
_5.3 모델 도메인 적응
_5.4 프롬프트 엔지니어링
_5.5 파인 튜닝
_5.6 전문가 혼합 모델
_5.7 자원 제약 장치용 모델 최적화
_5.8 효과적인 LLM 개발 전략
_5.9 결론
참고 문헌

CHAPTER 6 API 우선 LLM 배포
_6.1 모델 배포하기
_6.2 LLM용 API 개발하기
_6.3 API 구현하기
_6.4 자격 증명 관리
_6.5 API 게이트웨이
_6.6 API 버전 관리 및 수명 주기 관리
_6.7 LLM 배포 아키텍처
_6.8 검색 재정렬기 파이프라인을 활용한 RAG 자동화
_6.9 지식 그래프 자동 업데이트
_6.10 배포 지연 시간 최적화
_6.11 다중 모델 오케스트레이션
_6.12 RAG 파이프라인 최적화
_6.13 확장성과 재사용성
_6.14 결론

CHAPTER 7 LLM 평가
_7.1 평가가 어려운 이유
_7.2 성능 평가
_7.3 일반적인 평가 고려 사항
_7.4 전통적인 평가 지표의 한계
_7.5 결론
참고 문헌

CHAPTER 8 거버넌스: 모니터링, 개인정보 보호, 보안
_8.1 데이터 문제: 규모와 민감성
_8.2 보안 위험
_8.3 방어 조치: LLMSecOps
_8.4 LLMSecOps 감사 수행
_8.5 안전 및 윤리적 가드레일
_8.6 결론
참고 문헌

CHAPTER 9 스케일링: 하드웨어, 인프라, 자원 관리
_9.1 올바른 접근 방식 선택하기
_9.2 스케일링과 자원 할당
_9.3 모니터링
_9.4 LLM을 위한 A/B 테스트와 섀도 테스트
_9.5 자동 인프라 프로비저닝과 관리
_9.6 LLM 인프라 최적화
_9.7 LLM을 위한 병렬 및 분산 컴퓨팅
_9.8 고급 프레임워크 ZeRO와 DeepSpeed
_9.9 결론
참고 문헌

CHAPTER 10 LLM과 LLMOps의 미래
_10.1 현재의 한계를 넘어서는 확장
_10.2 하이브리드 아키텍처: 신경망과 심볼릭 AI의 결합
_10.3 LLMOps의 미래
_10.4 LLMOps 엔지니어로 성공하는 방법
_10.5 결론
참고 문헌
읽을거리
 

모델 호출은 누구나 하지만 운영은 아무나 못하는 이유
AI 서비스를 비즈니스 자산으로 바꾸는 단 하나의 전략

이제 LLM을 활용한 비즈니스는 ‘무엇을 만들 것인가’를 넘어 ‘어떻게 안정적으로 가치를 창출할 것인가’라는 증명의 단계로 진입했습니다. 프로토타입 단계의 환희는 짧고 실제 서비스화 과정에서 마주하는 비용과 품질의 벽은 높기만 합니다. 이 책은 단순한 기술 나열을 넘어, 불확실성이 가득한 LLM을 비즈니스의 통제권 안으로 가져오는 운영의 기술을 전수합니다. 특히 사이트 신뢰성 엔지니어링(SRE)의 정수인 SLO-SLA-KPI 프레임워크를 LLM에 도입해 막연한 성능 지표를 구체적인 성과로 전환하는 명확한 해법을 제시합니다.

이 책은 기술적인 해결 방법 소개에 그치지 않고, LLMOps 엔지니어라는 새로운 역할 정의부터 조직의 AI 성숙도를 단계별로 높이는 로드맵까지 상세히 담았습니다. 앤트로픽의 MCP 프로토콜이나 에이전틱 워크플로 같은 최신 흐름을 운영자의 시각에서 재해석하여, 급변하는 기술에 휘둘리지 않고 조직의 핵심 인프라를 설계하는 전략가로 거듭나도록 돕습니다. 대규모 언어 모델을 단순한 도구가 아닌 신뢰할 수 있는 시스템으로 안착시키고 싶다면, 지금 이 책이 제안하는 운영 방식에 주목해야 할 차례입니다.

주요 내용
●    LLM 운영을 위한 새로운 역할과 프로세스 파악하기
●    기존 지표의 한계를 넘는 LLM 성능 모니터링 방법
●    생성형 AI 맞춤형 평가, 거버넌스, 보안 감사 체계 구축하기
●    에이전트, RAG, 프롬프트의 복잡한 운영 문제 해결법
●    비용 낭비를 막는 효율적인 인프라 확장 전략

대상 독자
●    조직의 AI 성숙도를 높여 비즈니스 가치를 증명하고 싶은 리더 또는 관리자
●    프로토타입을 넘어 견고한 실전 운영 인프라를 구축하려는 AI/ML 엔지니어
●    생성형 모델의 특성에 맞춰 전문성을 확장하려는 데이터 엔지니어와 데브옵스 엔지니어
●    전사적 AI 도입 전략과 효율적인 운영 체계를 고민하는 기획자나 경영진