Spark를 이용한 빅데이터 분석 (3)

240718 Today I Learn

스파크의 기본 구조

Lazy Compuation

• Spark는 바로바로 주어진 변환Transformation을 수행하지 않고, 여러 변환들을 차곡차곡 쌓아둔 뒤, 한 번에 최적화하여 수행
• 미루어둔 일이 쌓인 것을 Lineage라고 하는데, 전체 변환을 보고 중간에 필요없는 연산은 제거하기 위해 고의적으로 이러한 지연을 만드는 것이다.
• 변환이 쌓인 Lineage를 수행하도록 구동Trigger하는 작업들을 Action이라고 함.
  → count, collect, take, top, show, write, toDF 등

분산처리와 Partition

• Partition : 모든 executer가 병렬로 일할 수 있도록 쪼갠 데이터의 단위
  • 파티션을 직접 조작해 원하는 데이터를 파티션에 강제로 배정할 수 없음 
    → high-level 설계만 가능, 실제 시행은 spark가 알아서 함
  • Repartition 을 통해 재구성 가능
    → 특정 파티션의 메모리 부하가 심하면 OOM으로 스파크가 종료될 수 있음.
  • 파티션 사이의 데이터 통신(=네트워크 통신)은 비싼 연산
    → 가능하면 파티션 내부에서 연산이 가능하도록 하기

Spark 작업의 수행과정

1. DataFrame 등으로 코드를 작성
2. 이를 논리적 실행 계획(Catalyst Optimizer)으로 변환
   → Driver와 Execute의 정보를 고려하지 않고, 논리적인 가능성만 참조
3. 스파크는 논리적 실행 계획을 물리적 실행 계획으로 변환하며, 그 과정에서 추가적 최적화 가능 여부를 확인
   → 테이블의 크기와 파티션 수 등을 고려
4. 클러스터에서 물리적 실행 계획(RDD 처리)를 실행합니다

Spark 데이터 타입

Data Types - Spark 3.5.1 Documentation

스파크 구동하기

스파크 세션

스파크 세션은 Spark Applications에 명령어와 데이터를 전달.
→ PySpark에서도 Sparksession을 띄우면서 Spark를 시작함

## Session 생성
spark = (
    SparkSession
    .builder
    .appName("First Session")
    .getOrCreate()
)

spark

 

스파크 꿀팁

브로드 캐스트

💡 브로드캐스트

• 모든 Worker에게 큰 규모의 입력 데이터셋을 효율적으로 제공할 때 사용하는 방법
• 메모리를 효율적으로 사용하는 방법론 중 하나

• Numpy 브로드 캐스트

• Spark 브로드 캐스트
  • 모든 Executor가 접근 가능한 공통의 변수
  • 너무 큰 데이터를 사용하는 경우 오히려 부하가 심해질 수 있음.
  • spark.sparkContext.broadcast()를 이용하게 됨.
  • 모든 Executor가 공유하되 그 값이 변할 수 잆는 것을 어큐물레이터라 합니다

Join

big to big / big to small join

• Big to Big join(= 셔플 조인) : 큰 테이블 끼리의 조인
  
  • 모든 executer가 다른 executer와 통신
  • 데이터가 어떻게 분할되어있느냐에 따라 혼잡도가 달라짐
  • 가능하면 피하는게 좋음 → 어떻게하면 효율적으로 사용할 수 있을까를 고민
• Big to Small join : 하나의 큰 테이블과 작은 테이블을 병합
  • 작은 테이블을 복사해 executer에 보냄.
  • 처음에만 대규모 통신이 필요하고, 이후에는 노드간 통신이 불필요
• Small to Small join
• 기타 join 팁
  • 데이터가 잘 분할되어있다면 big to big 조인도 빠르게 수행 가능 (하지만 repartition 할 정도는 아님)
  • 어떤 조인은 필터 역할을 수행하기 때문에 join 순서에 따라 속도가 달라질 수 있음.

고급 I/O

• inferschem : 자동으로 데이터 타입을 추론하지만 다소 느리고 의도하지 않은 타입을 할당할 수도 있음
  → 스키마를 강제하는 것이 나음
• Write option
  • mode: overwrite라고 명시하지 않으면, 기존의 파일이 있을 때 에러가 남.
  • partitionBy: 어떤 칼럼을 기준으로 데이터를 분할해 저장할지 명시
  • maxPartitionBytes: 분할된 파일의 최대 크기를 조정
• ETC
  • 파일 크기 관리 중요 (일반적으로 500MB ~ 2GB선택)
  • 여러 executer가 같은 파일을 동시에 읽을 수는 없지만, 여러 파일을 동시에 읽을 수는 있음
  • 복합 데이터유형(nested)은 모든 파일 포맷에서 적합하지는 않으므로 권장되지 않음.