📒 Today I Learn/🐍 Python

240718 Today I Learn스파크의 기본 구조Lazy CompuationSpark는 바로바로 주어진 변환Transformation을 수행하지 않고, 여러 변환들을 차곡차곡 쌓아둔 뒤, 한 번에 최적화하여 수행미루어둔 일이 쌓인 것을 Lineage라고 하는데, 전체 변환을 보고 중간에 필요없는 연산은 제거하기 위해 고의적으로 이러한 지연을 만드는 것이다.변환이 쌓인 Lineage를 수행하도록 구동Trigger하는 작업들을 Action이라고 함.→ count, collect, take, top, show, write, toDF 등분산처리와 PartitionPartition : 모든 executer가 병렬로 일할 수 있도록 쪼갠 데이터의 단위파티션을 직접 조작해 원하는 데이터를 파티션에 강제로 배정할..

240717 Today I Learn병렬처리와 분산처리병렬처리 vs. 분산처리병렬처리 : 여러개의 core에서 동시 다발적으로 일을 나누어서 처리Multiprocessing이나 joblib이 흔히 사용.sklearn의 njobs가 이를 제어하는 기능.분산처리 : 네트워크를 통해 연결된 여러 대의 컴퓨터(노드)가 각각의 작업을 수행하는 것Spark를 포함해 Ray, Dask 등의 라이브러리를 사용할 수 있음.병렬 처리 vs Vectorize💡 한 기기의 메모리 안에서 처리가 가능한 규모라면, 굳이 Spark를 사용하는 것보다는 연산을 최적화하는 것이 더 낫다.Numpy(Pandas 포함)는 벡터화 연산을 통해 단순 반복작업을 굉장히 빠르게 처리할 수 있음.스파크에서도 개별 머신은 벡터화를 수행하여 속도를..

240715 Today I Learn스파크란?💥 Spark?SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진. 클라우드의 Apache Hadoop, Apache Mesos, Kubernetes에서 자체적으로 실행될 수 있으며 다양한 데이터 소스에 대해 실행될 수 있음.→ 대용량 데이터를 다루는 것에 특화된 프레임 워크파이썬과 데이터메모리 RAM  = 작업 공간기억된 정보를 읽어내기도 하고 다른 정보를 기억시킬 수도 있는 메모리로서, 컴퓨터의 주기억장치, 응용 프로그램의 일시적 로딩(loading), 데이터의 일시적 저장 등에 사용됨.컴퓨터를 끄면 RAM에 올라간 데이터는 삭제 SSD = 저장 공간장기적으로 데이터를 보관(저장)하는 공간컴퓨터..

240614 Today I Learn클러스터링이란?💡 클러스터링데이터분석에서 피쳐(컬럼) 유사성의 개념을 기반으로 전체데이터셋을 그룹으로 나누는 기법. (이때, 각 그룹을 클러스터라고 한다.)→ 데이터분석가는 방대하게 구축된 DB에서 의미있는 특징(컬럼)을 찾고,최적의 그룹 개수를 찾아 그룹별 인사이트를 도출하는 역할을 수행하게 된다. 클러스터링 프로세스전처리 프로세스1. 기간선정 : 클러스터링을 위한 데이터 기간을 설정 최소 3개월 이상의 데이터셋이 권장 → 주별/ 월별 이벤트/서비스 진행. 따라서 이러한 특성을 한달만 보고 판단하기는 어려움. 클러스터링의 목적 :  live 한 데이터의 유입시 해당 유저의 행동을 통해, 이를 알맞게 배치시키는 모델의 생성→  서비스 변동사항에 따라서 일정 주기에 따..

240613 Today I Learn어렵다..☆선형회귀해석적으로(수학적으로) 구하기정규방정식 (Normal Equation)sklearn의 Linear Regeression정규방정식 보다 더욱 일반화된 방법통계학에서 배우는 Least Squares와 같음선형대수에서 배우는 SVD(Singular Value Decomposition) 계산을 수행하는 유사역행렬을 계산하는 것이라고도 볼 수 있음경사하강법으로 구하기💡 경사하강법기울기를 이용해서 파라미터를 학습하는 방법Batch : 학습 데이터 전부 다 기울기를 구하는 것SGD : 랜덤으로 1개만 골라서 기울기를 구하는 것, 대신 불안정함Mini-Batch : 학습 데이터 일부에 대해서 묶어 기울기를 구하는 것특성이 많고 데이터 개수가 많을 때 적합한 방법오..

라이브러리 불러오기# 기본 라이브러리 불러오기import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns베이직 문항1. Iris 데이터셋에서 Logistic Regression 분류Iris 데이터셋을 사용하여 Logistic Regression 모델을 학습시키고, 정확도(accuracy)를 계산하세요풀이과정데이터 불러오기test, train 데이터 나누기💡 train_test_split에서 stratify의 역할클래스의 분포 비율을 맞춰서 데이터를 나눠준다.→ stratify 유무에 따라 accuracy에 차이가 있다. 교차검증 정확도가 1인 것 보다는 , 0.933이 더 신뢰가능한 수준이라고 판단해 s..