한빛미디어



XGBoost는 Kaggle 대회를 통해 명성이 높습니다.

캐글 우승자들은 XGBoost를 사용해 좋은 성적을 거뒀습니다.

캐글 대회의 데이터셋을 사용한 실전 예제도 많이 담겨있습니다.

캐글은 구글의 자회사인데요.

데이터 과학자나 기계학습 연구자들의 온라인 커뮤니티 활성화가 잘 되고 있습니다.

머신러닝 최강자인 XGBoost 관련 책을 소개해드리려 합니다.

소개해 드릴 책은 'XGBoost와 사이킷런을 활용한 그레이디언트 부스팅'입니다.

XGBoost와 그레이디언트 부스팅를 어떻게 활용하는지 알아보겠습니다.

1) 앙상블 모델

앙상블에 모델을 포함할 땐 상관관계를 확인해야 합니다.

상관관계가 높은 머신러닝 모델의 경우 앙상블에 포함하지 않는 것이 좋습니다.

왜냐하면 분류를 할 때 동일한 예측의 경우 성능 향상이 없습니다.

반대의 경우는 앙상블 모델을 돌릴 경우 향상된 성능을 보입니다.

편향과 분산이 줄어들면 성능이 향상된다고 생각할 수 있는데요.

줄더라도 앙상블 모델이 성능 향상이 되지 않는 경우도 있습니다.

2) 그래이디언트 부스팅

그레이디언트 부스팅을 아시나요?

그레이디언트 부스팅은 이전 예측기가 만든 잔여 오차에 새로운 예측기를 학습시키는 방법입니다.

그레이디언트 부스팅은 얕은 결정트리를 사용하는데요.

이진 트리의 오차를 보완하는 형태로 앙상블을 할 수 있습니다.

과대적합할 때 그레이디언트 부스팅은 강합니다.

학습률을 증가시켜도 트리의 개수가 늘리면 조금 더 향상된 성능을 낼 수 있습니다.

Ps

코드랩과 주피터로 머신러닝 실습을 쉽게 할 수 있습니다.

책의 저자는 머신러닝 관련 서적도 많이 썼습니다.

이 책은 한국 독자를 위해 또 다른 유명한 그레이디언트 부스팅 라이브러리인 LightGBM, CatBoost가 포함되어 있습니다.

"한빛미디어＜나는리뷰어다＞활동을위해서책을제공받아작성된서평입니다."