한빛미디어



"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

사내 교육, 가족 상경 등 여러 가지로 너무 정신이 없던 6월이었다. 덕분에 월초에 반 정도 읽고 더이상 진도를 못 내고 있다가 월말이 다 되어서 겨우 완독하고 리뷰를 남겨 본다. 지난 달에 사내에서 SW 보안 교육을 직접 진행했었는데, 그 때에도 살짝 언급을 했었던 하네스 엔지니어링이 이번 도서의 주제이다. 최근 들어 생성형 AI 개발 도구인 ChatGPT Codex와 Claude Code 유료 버전을 하나씩 차례로 사용해 보면서 이번 도서의 주제인 하네스 엔지니어링에 대해서도 실제 테스트를 해볼 수가 있었는데, 음.. 이제는 정말 개발 생산성 향상을 위해 생성형 AI 유료 구독 하나쯤 필수라는 생각이 드는 것처럼 하네스 엔지니어링도 AI 기반 바이브 코딩 시 반드시 활용해야 하는 스킬이라는 생각이 든다.

저자도 강조했듯이 AI 도구의 활용 결과는 모델이 아니라 하네스가 결정을 한다는 말에 나 또한 동의한다. 단순히 프롬프팅만을 입력하면서 코드를 생성하고 개발하는데 그치지 않고, 그러한 프롬프팅 결과가 미리 정해진 규칙에 의해 다듬어질 수 있도록 에이전트 스킬을 미리 심어두게 되면, 꼭 사용 모델을 최신의 프론티어 모델로 변경하지 않더라도 동작의 성능이 올라갈 수 있다는 것이다. 저자 분은 카카오에서 AX 관련 업무를 하면서 그러한 다양한 시도를 통해 더 나은 결과물을 낼 수 있는 환경을 구축할 수 있었고, 이 책은 그러한 저자의 경험에 대한 내용을 담은 도서이다.

하네스(Harness)란 모델의 가중치를 바꾸지 않고, 모델 바깥의 권한, 도구, 검증, 상태, 관측을 설계해 에이전트가 일하게 하는 환경을 말하며, 하네스 엔지니어링은 그러한 하네스라는 AI 에이전트가 일하는 환경 전체를 설계하고 운용하는 구조적 체계라고 이해하면 된다. 이제는 단순히 좋은 프롬프트로 1회성의 좋은 결과물을 내는 것만이 목적이 아니라, AI 에이전트의 자율적인 action을 관리하고 구조적으로 제어하기 위해서 하네스가 반드시 필요해진 시대가 되었다.

솔직히 이 책을 읽기 전까지는, 물론 하네스 엔지니어링이 필요하긴 해도 프롬프트를 길고 정교하게 잘 쓰면 하네스 없이도 그러한 하네스 엔지니어링의 효과를 낼 수 있는게 아닌가하는 생각을 하곤 했었다. (도서에도 그런 내용이 나와 있어서 사실 굉장히 뜨끔했다. ^^;) 그러나 사실 프롬프트는 강제사항이 아니기 때문에, 구조적인 가드레일 및 통제 체계를 갖추기 위해서는 하네스와 같은 별도의 강제 설정이 반드시 필요하고, 그래야만 만에 하나 프롬프트가 잘못되어 있더라도 하네스에 의해 통제될 수 있다. (물론 별도 md로도 100% 강제라고 보장은 안되겠지만..)

한 마디로 본 도서에는 하네스 엔지니어링 노하우의 모든 것이 담겨있다고 볼 수 있을 정도로 하네스와 관련된 많은 유용한 내용을 담고 있어, 하네스 엔지니어링에 대해 입문하고자 하는 분들 뿐만 아니라, 약간의 AGENTS.md나 SKILL.md를 이미 사용하고 있는 분들에게도 유용할 것 같다. 사람이 단일 에이전트 하나에 명령을 내리는 체계에서 AI 에이전트들이 자신의 컨텍스트를 관리하고 서로 협업하면서 자율적으로 일을 할 수 있게 만드는 멀티 에이전트 형태로 변화되면서 이러한 에이전트들에 대한 역할 기반의 동작 설계를 위한 요소로서 하네스가 이용되고 있다.

참고로, 저자분의 깃헙에 가보면 harness-100이라는 리포지토리가 있는데, 일상생활과 업무에 바로 적용할 수 있는 100가지 유용한 에이전트 팀 하네스가 저장되어 있다. 그 내용들만 둘러봐도 하네스를 어떻게 작성하는지 이해하는데 많은 참고가 된다. 보통 여러 개의 멀티 에이전트들을 위한 md 파일과 그에 따라 필요한 skill.md 파일이 존재하고, 무엇보다도 이러한 각 에이전트들의 결과물들을 통합하여 최종 산출물로 정리하는 오케스트레이터 skill.md 파일이 존재하는 구조이다.

아무래도 실습 파일이 md 파일 형태로 되어 있다보니, 실습 자체는 쉽게 해볼 수가 있는데, 문제는 클로드 코드 사용 비용이다. ㅠ 최근 잠깐 풀렸다가 막힌 Claude Fable5 모델을 써보니, Pro 버전이었음에도 토큰(5시간 사용량)이 너무 금방 소진되어서 불편했던 경험이 있었다. 이제는 코딩 실력보다는 토큰을 누가 더 많이 쓸 수 있느냐가 관건인 新 물질 만능시대가 된 것 같아 마음 한편이 좀 씁쓸하기도 하지만, 그럼에도 약간의 비용 투자만 할 수 있다면, 그리고 본 도서에서 다루고 있는 하네스 엔지니어링의 관찰, 구현, 검증, 조정으로 이루어진 정교한 자동화 동작 제어 매커니즘을 적용하게 된다면, 분명 단일 프롬프트 혹은 단일 에이전트를 사용할 때보다 확실히 높은 성능을 낼 수 있다는 것을 느낄 수 있을 것이다.

또한, 개인적으로 부록 D의 토큰 사용량을 다룬 부분이 매우 흥미로웠는데, 돌릴 때마다 토큰 비용이 드는 AI 서비스의 특성 상, 적은 비용 투자 대비 최고의 효율을 얻고자하는 모든 사람들의 관심사항이기 때문이다. 저자분이 그 동안의 경험을 토대로 기록한 5가지 원리와 안티패턴은 예산이 충분치 않은 개인이나 조직에 상당한 도움이 될 것이라 생각된다.

결론적으로, 본 도서는 다음과 같은 분들께 도움이 될 것 같다.

하네스 엔지니어링에 대해 잘 모르거나 이름만 들어보신 분들

하네스 엔지니어링을 통한 적절한 하네스 설정 방법이 궁금하신 분들

프롬프트 엔지니어링만으로 한계를 느끼는 개발자분들

보다 안전한 SW 개발을 위한 보안 가드레일 등을 통해 에이전트 동작 기능에 대한 자동 통제가 필요한 개발자

AI 기술이 대중화되면서 AI 관련 서적들도 쏟아져 나오고 있지만, 본 도서처럼 하네스 엔지니어링을 본격적으로 자세히 다룬 도서는 처음 읽어보게 되어 개인적으로 많은 도움이 되었다. AI 시스템을 소프트웨어 공학적 관점에서 어떻게 통제하고 확장해야 하는지의 본질을 짚어주는 도서인 것 같다.

여담인데, 오늘 페이스북 타임라인에 올라온 글들을 쭉 읽어보다가, 친구 중 누군가가 웹툰 제작용 하네스를 무료로 공개한다고 올린 글을 보고, 여기에도 하네스 엔지니어링 전문가 분이 계셨다고 생각을 했었는데, 다시 잘 보니 본 도서의 저자분이셔서 매우 놀라고 신기했다. ^^ 저자분의 활발한 활동을 보며 나 또한 더 노력해야겠다는 긍정적인 자극이 되는 것 같아 저자분께 이 자리를 빌어 감사의 말씀을 전한다.