Spark를 이용한 빅데이터 분석 (1)

240715 Today I Learn

스파크란?

💥 Spark?
SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진. 클라우드의 Apache Hadoop, Apache Mesos, Kubernetes에서 자체적으로 실행될 수 있으며 다양한 데이터 소스에 대해 실행될 수 있음.
→ 대용량 데이터를 다루는 것에 특화된 프레임 워크

파이썬과 데이터

메모리 

• RAM  = 작업 공간
  • 기억된 정보를 읽어내기도 하고 다른 정보를 기억시킬 수도 있는 메모리로서, 컴퓨터의 주기억장치, 응용 프로그램의 일시적 로딩(loading), 데이터의 일시적 저장 등에 사용됨.
  • 컴퓨터를 끄면 RAM에 올라간 데이터는 삭제 
• SSD = 저장 공간
  • 장기적으로 데이터를 보관(저장)하는 공간
  • 컴퓨터를 꺼도, Disk의 데이터는 사라지지 않음.

CPU

• 프로그램 명령어를 실행하는 일을 담당하는 중앙처리장치
• 명령어를 해독하고 실행하는 장치로, 제어장치, 연산장치, 레지스터들로 구성

👩‍💻 병렬처리
하나의 작업을 위해 여러 코어를 사용하는 것. 스파크 또한 여러 대의 PC를, 그리고 각 PC의 여러 코어를 모두 사용한다.

데이터 타입

😰 오버플로
크기에 맞지 않는 데이터를 넣어 의도하지 않은 결과가 나오는것.
파이썬의 데이터 타입은 기본적으로 동적Dynamic이기 때문에 자동으로 데이터형이 바뀐다. 따라서 큰 숫자를 다루는 것은 굉장히 주의해야함.

• 정수 (int)

• int8:-128 ~ 127
• int16: -32768 ~ 32727
• Int32: -2,147,483,648 ~ 2,147,483,647
• Int64: -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807

• 소수 (float)
  • 컴퓨터는 이진법을 사용하기 때문에, 정수는 표현하기 쉽지만 정수가 아닌 수(0.2,  0.8, 파이와 같은 정수가 아닌 숫자)는 정확하게 표현할 수 없음. → 부동소수점 사용
  • 부동소수점 또한 정수와 마찬가지로 float16, float64 등을 사용하는데, 더 큰 메모리를 사용할수록 값이 정확해지지만 데이터가 더 무거워진다.

💡 부동소수점

하나의 숫자를 형태와 자릿수로 구분하여 표현하는 것. 필연적으로 오차를 동반함.

• 문자열 (String, Category) 

• 대부분의 소프트웨어는 유니코드를 활용해 인코딩 → 이러한 방식은 메모리를 많이 사용하기 때문에 Category 사용
• Category(범주)형 데이터를 사용하면  각 데이터의 고유값을 내부에서 숫자로 치환하여 사용하게 되어 메모리 절약이 가능.

• 날짜 (Datetime)
  • 일반적으로 소프트웨어들은 Unix Timestamp를 기준으로함.(UTC time zone을 사용)
  • 년도는 %y, %Y(4자리)로, 월을 %m, 일은 %d로 표현
  • 시간대time zone은 시간 데이터를 다룰 때 굉장히 중요한 부분으로 특히 소프트웨어는 범국가적이기 때문에, 시간의 표준화는 필수. → 대부분의 Database 또한 timezone 정보를 필수로 함.

파일 유형

시공간적 비용

• 시간적 비용: 읽고 쓰는데 걸리는 시간입니다
  • 파일 유형에 따라 수십배까지 차이가 납니다
• 공간적 비용: 저장된 파일의 크기를 가리킵니다
  • 마찬가지로 파일 유형에 따라 수십배까지 차이가 납니다
  • 좀 더 나아가, 입/출력 시에 필요한 메모리도 굉장히 중요합니다

파일 유형

• csv, txt
  • Comma(,) 대신 Tab(\t)과 같은 다른 구분자seperator를 사용할 수도 있음.
  • 데이터 안에 구분자가 들어있는 경우, 방어할 수는 있지만 깨질 위험이 있음.
  • 가장 느리고, 무거워서 소규모 데이터가 아니면 부적절
  • 인코딩 방식에 따라 다르게 저장
• json : 별도의 압축 과정이 없음
  • 저장된 자료를 python의 dictionary와 같은 형식으로 강제하며, 이를 JSON Object라 함. → {”키”:”값”}
  • 파이썬의 dict를 json으로 변환하여 사용할 수 있으며, 이를 dump한다고함.
  • 비교적 개발자의 선호도가 높으며, 비교적 대용량의 데이터도 JSON으로 관리하는 경우가 많음.
  • 인코딩 방법을 utf-8을 사용하는 것이 일반적
• Pickle : 하나의 컴퓨터로 개인용 프로젝트에서 데이터를 관리할 때 편리한 데이터 형식
  → 버전과 운영체제에 대한 의존Dependency이 있기 때문에 협업할 때 데이터를 주고 받으면 작동하지 않을 위험이 있음.
  • csv, json보다 2~30% 정도 용량이 가벼움 (csv, json)보다 2~30% 정도 용량이 가벼움)
  • nested type을 지원
  • 병렬처리에서 그리고 때로는 분산처리에서 내부 데이터를 pickle로 직렬화Serialize함.
• Parquet : 대용량 데이터 저장에서 표준
  • 굉장히 가볍고, 빠르며 다수의 OLAB Database가 내부적으로 parquet를 사용하여 데이터를 저장함.

I/O(Input & Output) : 데이터 입출력

• 전처리에서 잘 돌다가 저장시 데이터가 터질 수 있음

• 가장 빠른 데이터 수급은 메모리(Network < Disk < Memory) →  In-memory DB를 사용
• 스파크는 기본적으로 모든 데이터를 Memory에서 처리

클라우드

3대 클라우드 플랫폼

• AWS : 시장에서 지배적인 위치에 있음.
• GCP : Bigquery에서만 사용. 그러나, 호환이 매우 좋음.
• Azure : 편리하지만 비쌈

데이터베이스

💡 데이터 베이스를 사용하는 이유

• 데이터 공유: 데이터베이스는 여러 사용자가 동시에 접근하여 데이터를 공유할 수 있음.
• 데이터 보호: 데이터베이스는 데이터를 보호하기 위해 다양한 보안 기능을 제공.
• 데이터 검색: 데이터베이스는 데이터를 쉽게 검색할 수 있도록 인덱싱 기능을 제공.
• 데이터 백업과 복원: 데이터베이스는 데이터를 백업하고 복원하는 기능을 제공하여 데이터 손실을 방지. 이를 통해 중요한 데이터를 안전하게 보호할 수 있음.

아키텍쳐 예시

• RDS: 관계형 데이터베이스
  • postgres와 mysql 등 다양한 옵션이 있음.
  • 인덱싱을 잘 활용하면 좋음.
  • 항상 서버가 떠 있어야 하며, 그렇기 때문에 그 비용이 나감.
• Athena: S3에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스
  • 보통 S3에 있는 데이터와 연동
  • Serverless라고 하여, 쿼리를 운용할 때만 잠시 기기를 빌려 연산한 뒤 다시 반납. 따라서 보통 비용이 저렴
  • 바로 Spark와 연동할 수도 있음.
• Redshift: 빠르고 강력한 데이터 웨어하우징
  • 구동을 위해서는 클러스터(여러 대의 컴퓨터)를 구성하여 운영해야 함. → 비쌈.
  • 복잡한 연산에 조금 더 효율적
  • 스파크와 연동 가능