한빛미디어

이 책을 보면서 느낀 점은 점점 분산형 아키텍처가 거의 베이스가 되어버린 느낌을 많이 받았다. 스파크, 하둡, PostgresQL등등 대다수의 프레임워크, 툴들이 분산 확장형의 컨셉을 지니는 것 같아 신기 했는데, 데이터 분석 처리 툴은 그런게 있나? 막연하게 생각 했는데, Dask라는 도구를 알게 되었다. 

데이터 엔지니어링을 하고 있지는 않아 실무에서는 어떤 프레임워크를 더 많이 쓰는지는 잘 모르겠다.
팀에서 쓰고 있는 파이스파크로 충분한 때가 있는 것 같기도 하고 Daks가 또 어느 지점에서는 유용하지 않을까? 생각 하게되었다.

물론, 스파크로도 충분히 많이 처리 하고는 있긴 하겠지만, Daks가 또 어느 지점에서는 유용하지 않을까? 생각 했다. 

그런 점에서 데이터 사이즈가 급격하게 확장 될 요소가 있고, 빠르게 분석을 해야 한다면, 파이 스파크에서 Dask를 도입하는 것도 좋은 선택이 아닐까? 생각 한다. 

결국 데이터 사이즈는 지속적으로 확장 될 수 밖에 없는 구조임을 기억해야 한다. 파이스파크로는 한계점이 분명히 있기 때문에, 성격은 다르지만, 범용 라이브러리를 확장 가능하게 사용할 수 있다는 점에서 좋다고 생각한다.