한빛미디어

Apache Kafka는 여러 대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템입니다. 

메시지를 받고, 받은 메시지를 다른 시스템이나 장치에 보내기 위해 사용합니다. 

높은 처리량과 실시간으로 대량의 데이터를 취급하기 위해 초점을 맞췄으나 이제는 기능과 신뢰성을 향상시켜 현재는 데이터가 들어오는 대로 순차 실행하는 플랫폼이 되고 있습니다. 

구글, 애플, 드롭박스, 넷플릭스, 골드만삭스, 트위터, 핀터레스트, 세일즈포스, 우버, 마이크로소프트 등이 카프카를 사용하고 있습니다. 

오픈소스인 카프카는 링크드인에서 개발했습니다. 링크드인 웹사이트에서 생성되는 로그를 처리하여 웹사이트 활동을 추적하는 것을 목적으로 개발했습니다. 링크드인에서 누군가의 프로필을 조회하거나 아티클을 보거나 특정 키워드로 검색하거나 혹은 광고를 클릭하는 등의 모든 행위가 낳는 로그들은 매우 방대했습니다. 우리는 이것을 빅데이터라고 부릅니다. ​

저 역시 카프카를 도입하고 안정화하기까지 메시지 유실도 겪고 브로커가 다운되는 많은 고난과 역경이 있었지만, 당시 국내에서는 트러블 슈팅 문서나 책이 없어 더 힘들었습니다. 하지만 이번에 만난 <실전 아파치 카프카>책은 당시 제가 겪었던 장애 원인들이 많이 기술된 책입니다. 

카프카를 처음 접하는 독자에게는 카프카에 대한 순차적인 이해를 돕고 실습으로 이어지며, 이미 카프카를 접해본 독자에겐 놓칠 수 있는 장애 포인트를 짚어주고 있습니다. 

​

이 책에서 가장 감명받았던 것은 Ack와 In-Sync Replica의 관계를 매우 중점적으로 다뤘다는 것입니다. 2장에서도 다루지만 마지막 11장에서 능숙하게 카프카를 다루기위해 알아야할 내용에서 다시 또 다룹니다. 저는 이 옵션으로 인해 많은 장애를 겪었고 당시에는 경험이 부족했기에 옵션에 대한 이해도가 부족했습니다. 이 책은 그점을 잘 표현하고 있어 매우 마음에 들었습니다.  

저는 감히 이 마지막 11장이 이 책의 핵심이라고 칭할 수 있습니다. 카프카 능숙하게 사용하기. 

이 11장 카프카 능숙하게 사용하기를 이해하고 숙지했다면 운영에서 카프카 안정성을 찾아나가는데 엄청난 기여를 할 것입니다. 앞서 언급한 내용을 다시 정리하면서 강조합니다. 

​

카프카를 사용해야하는 개발자라면 저는 이 책을 반드시 추천하고 싶습니다. 

API example을 온라인 상에도 많지만 일목요연하게 카프카를 이해하고 주요한 옵션에 대한 설명을 담고 있기 때문입니다.