한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

저는 로봇을 개발해 본 적은 없습니다. 보통 Java와 Spring으로 서버를 만들고, Kafka로 이벤트를 처리하고, Redis로 캐싱처리 하는  게 제 일입니다. 책에 VLA니 GR00T니 하는 단어들이 등장하는데, 정작 나는 그게 무슨 흐름 위에 서 있는 기술인지 몰랐었습니다. 장비 없이, 웹/앱 개발만 해본 사람도 쉽게 입문할 수 있다는 소개 문구가 눈에 이끌려 이 책을 읽게 되었습니다.

책은 크게 4부로 나뉩니다.

1부는 "왜 지금인가"를 다룹니다. 저자의 표현을 빌리면 로봇이 드디어 통제된 닫힌 환경을 벗어나 '열린 환경(open-world)'으로 나온다는 것. 컨베이어 벨트 위 밀리미터 좌표에서만 유능하던 로봇이, 매일 위치가 바뀌는 식탁 의자 앞에서도 버티기 시작했다는 이야기 입니다.

2부는 SayCan에서 시작해 — LLM을 로봇의 손발이 아니라 '상위 계획기'로 먼저 올려놓은 연구 — RT-1, RoboCat, RT-2로 이어지는 VLA의 탄생, Open X-Embodiment·Octo·OpenVLA로 이어지는 오픈 데이터 생태계, 그리고 RT-H NaVILA가 보여준 중간 표현과 연속 액션, 마지막으로 CoT-VLA·Gemini Robotics·GR00T 가 만든 '생각하는 층과 움직이는 층의 분리'까지. 논문 십수 편을 하나의 이야기로 꿰어냅니다

3부가 "로봇 없이 시작"에 대해서 이야기 합니다. 데이터 수집(DexCap, AirExo), 시뮬레이터(MuJoCo, Genesis, Brax), 합성 데이터(MimicGen, RoboCasa), 파인튜닝, 온디바이스 최적화(TinyVLA), 디지털 트윈(GRS, RoboTwin, TwinRL), 지속 학습, 그리고 LeRobot 프레임워크에 대해서 다룹니다

4부는 커리어에 대해 다룹니다. 개발자가 '단순 코더'에서 '데이터 큐레이터'로 이동할 것이다 라는 내용을 다룹니다.

좋았던 점

피지컬 AI 논문을 혼자 따라가려면 금방 길을 잃기 쉬운데, 예를 들면 모델 이름이 엄청나게 쏟아지기 때문입니다. 이 책의 가장 큰 미덕은 그 이름들 사이에 인과의 화살표를 그어준다는 점입니다.

예를 들어) LLM은 "료를 엎질렀으면 닦아야 한다"는 상식은 있지만 "지금 이 상황에서 뭐가 실제로 가능한가"는 모른다(그라운딩 문제). → 그래서 SayCan은 LLM의 상식 점수와 로봇의 가치 함수(실행 가능성) 점수를 곱해서 행동을 골랐다. → 그런데 이건 미리 준비된 스킬 조합일 뿐이라, 아예 행동 자체를 스케일링할 수 없을까? → 그래서 RT-1이 행동을 토큰처럼 예측하기 시작했고 → RT-2는 웹에서 배운 지식을 로봇 행동으로 전이된다.

아쉬웠던 점

솔직하게 말하면, 논문을 너무 많이 훑어서 지루한 감이 있습니다. 흐름을 꿰어주는 건 장점이지만, 어느 순간부터는 "이 모델은 이걸 했고, 저 모델은 저걸 했다"는 요약의 연속처럼 느껴지는 구간이 있습니다. 특히 6~8장(중간 표현, 듀얼 시스템, 온톨로지)은 개념 하나하나가 무거운데 페이지당 밀도가 높아서, 크게 기억에 남는 내용은 없었습니다.

백엔드 개발자로서 가장 오래 남은 한 문장

18장의 이 관점이 제일 오래 남았습니다. 엔비디아가 피지컬 AI를 "모델 하나"가 아니라 "현실 데이터 수집 → 합성 데이터 → 시뮬 학습·검증 → 배포 → 다시 현장 데이터 수집"이라는 **루프 전체(데이터 플라이휠)**로 다룬다는 것. 경쟁이 모델 성능이 아니라 데이터 파이프라인과 개발 인프라로 옮겨간다는 내용이 있습니다. 이게 왜 인상적이냐면, 내가 지금 하는 일이 바로 그 인프라 쪽과도 연관성이 아주 없진 않기 때문입니다. 좋은 이벤트 스트림, 멱등성 보장, 재처리 가능한 파이프라인 — 피지컬 AI의 데이터 플라이휠도 결국 같은 문제를 풀고 있습니다.

추천 대상

• 로봇을 이미 하는 사람: 3부의 최신 사례 정리(RoboTwin, TwinRL, GRS 등)에 대해서 깊이 보면 좋을듯 합니다.
• 아무래도 백엔드 개발자가 보기에는 어려운건 맞는거 같습니다.

한 줄로 정리하면: “피지컬 AI가 뭔지 흐름을 잡고 싶고, 개발 경력이 AI라는 파도에서 어디에 설 수 있는지 확인하고 싶은 개발자 에게추천 해 주고 싶은 책”