Spark를 이용한 빅데이터 분석 (2)

240717 Today I Learn

병렬처리와 분산처리

병렬처리 vs. 분산처리

• 병렬처리 : 여러개의 core에서 동시 다발적으로 일을 나누어서 처리
  • Multiprocessing이나 joblib이 흔히 사용.
  • sklearn의 njobs가 이를 제어하는 기능.
• 분산처리 : 네트워크를 통해 연결된 여러 대의 컴퓨터(노드)가 각각의 작업을 수행하는 것
  • Spark를 포함해 Ray, Dask 등의 라이브러리를 사용할 수 있음.

병렬 처리 vs Vectorize

💡 한 기기의 메모리 안에서 처리가 가능한 규모라면, 굳이 Spark를 사용하는 것보다는 연산을 최적화하는 것이 더 낫다.

• Numpy(Pandas 포함)는 벡터화 연산을 통해 단순 반복작업을 굉장히 빠르게 처리할 수 있음.
• 스파크에서도 개별 머신은 벡터화를 수행하여 속도를 최적화할 수 있음.

병렬처리의 기술

• Pickling & Job broker
  • 분산/병렬처리 도구들은 내부에서 데이터를 Picklie로 변환하여 송수신
  • 또한 어떤 프로세서에 어떤 데이터를 보내고, 어떤 작업을 시킬 것이며, 어떻게 취합할 것인지에 대한 매니저가 필요하며, 이를 Job broker라고 함
    → 스파크에서는 클러스터 매니저Cluster Manager가 Yarn, Mesos, Kube 등을 이용
• 스레드와 프로세스
  • 스레드 : 같은 메모리 공간을 공유
  • 프로세스 : 독립된 메모리 공간
    →  파이썬은 멀티 프로세싱이 일반적
• Joblib : 병렬처리를 위한 파이썬 패키지
  • Sklearn의 경우 내부에서 joblib을 사용
  • k개의 멀티프로세싱을 할 때 k개 완료 되어야 다음 순회로 넘어가 약간의 비효율 발생 가능 → 대안으로는 multiprocessing 패키지도 많이 사용

Spark를 피하는 방법

샘플링

"전체 데이터가 많다면, 일부의 데이터를 가지고 작업한다."

• Random Sampling : 랜덤으로 샘플링 
  → 표본이 우연히 편향될 수도 있고 매번 결과가 달라진다는 문제점이 있음.
• Stratified Sampling : 일정 비율을 맞추어 샘플링 하는 것
  → 여전히 매번 결과가 달라진다는 문제점이 있음.
• Systematic Sampling : 패턴이 없거나 순서의 영향을 받지 않는 칼럼을 기준으로함.
  • 패턴이 있는지 검사해보는 과정이 필요
  • 건너뛰는 단위는 소수를 사용하는 것이 특정 패턴을  피하기에 좋음.

분할 처리

"메모리가 부족하다면 1/n로 작업을 나누어서 수행"

• 데이터가 완벽히 분할되는 경우 사용 가능 ← 소셜네트워크와 같은 그래프 데이터는 분할이 어려움.
• 각 파티션의 데이터를 불러와, 필요한 연산을 수행한 뒤 최종 결과만을 집계하여 저장
  • 전체 데이터 > 집계된 데이터
  • 일정 수준 이상의 상세함은 남겨줘야 추후 에러를 관리하기 좋음.

Dask

"분산처리 도구로 Spark 보다 가볍게 사용 가능"

• Dask를 사용하면 NumPy, Pandas 및 sklearn과 같은 Python 라이브러리를 쉽게 확장할 수 있음.
• Dask Dataframe을 Pandas와 유사하게 사용할 수 있으며, 비교적 학습 난이도도 또한 낮음.
• Spark와 유사한 구조를 가짐
• 싱글 머신으로 큰 파일을 읽을 때 유용함.
  → parquet에서 일부 칼럼을 읽거나, csv에서 일부 row만 읽는 방법도 있지만 dask로 파일을 쪼개는 것이 편리

자동화

Batch vs Streaming

• batch job : 주기적인 대규모 데이터에 대한 처리
  → 데이터 분석가의 업무는 batch job인 경우가 많음.
• streaming job : 실시간으로 발생하는 데이터에 대한 처리

Cron을 이용한 스케줄링

• 가장 쉽고 단순한 스케쥴링 도구로 소프트웨어 이름인 동시에, 스케쥴링 표현식의 이름

• 단점 → 규모 있는 회사에서는 Airflow나 Jenkins를 많이 사용
  • job이 실패할 경우, 따로 알람이 오지는 않음.
    → 따로 알람을 세팅하더라도, OOM 등으로 프로세스가 멈추면 아예 레포팅이 안됨.
  • 서버 자체가 죽은 경우, 확인하기 어려움.
  • 로그를 제외하면 히스토리를 파악하기 어려움.
  • GUI를 따로 제공하지 않음.
  • 로드 밸런싱을 포함한 자원 관리를 지원하지 않음.

모니터링과 히스토리 관리

• 모니터링 : 주기적인 batch job이 수행되지 않았을 때 알림이 오도록 하는 것.
  → 보통 슬랙 등의 앱을 이용 알림을 받을 수 있음.
• 코드 단에서 어떻게 작업이 수행되었는지 기록(logging)하는 것이 중요함.