📒 Today I Learn

240718 Today I Learn스파크의 기본 구조Lazy CompuationSpark는 바로바로 주어진 변환Transformation을 수행하지 않고, 여러 변환들을 차곡차곡 쌓아둔 뒤, 한 번에 최적화하여 수행미루어둔 일이 쌓인 것을 Lineage라고 하는데, 전체 변환을 보고 중간에 필요없는 연산은 제거하기 위해 고의적으로 이러한 지연을 만드는 것이다.변환이 쌓인 Lineage를 수행하도록 구동Trigger하는 작업들을 Action이라고 함.→ count, collect, take, top, show, write, toDF 등분산처리와 PartitionPartition : 모든 executer가 병렬로 일할 수 있도록 쪼갠 데이터의 단위파티션을 직접 조작해 원하는 데이터를 파티션에 강제로 배정할..

240718 Today I Learn지표를 왜 알아야 할까?데이터 분석가는 객관적으로 데이터와 상황을 설명하기 위해 수치로 된 자료를 많이 사용하게 되고, 이는 곧 지표(= 정량적 데이터)이기 때문이다. 데이터 분석가는 문제가 생기면 목적에 맞는 지표를 정의하고 만들어낸 수치를 기반으로 해석하고 전달하는 업무를 진행하게 된다. 이렇게 만들어진 지표들을 모아서 해당 데이터를 필요할 때 즉시 활용해야하고 지속적인 활용이 필요한 경우 대시보드를 제작하게 됨.비즈니스 모델과 데이터 베이스데이터 분석가는 어느정도로 비즈니스 모델을 이해해야 할까?전체적인 구조를 이해 : 데이터의 흐름과 데이터 분석이 개입할 수 있는 지점에 대한 부분을 알 수 있다.다양한 비즈니스 모델에 대해 알아보며 또 다른 기회를 창출할 수 있..

240717 Today I Learn병렬처리와 분산처리병렬처리 vs. 분산처리병렬처리 : 여러개의 core에서 동시 다발적으로 일을 나누어서 처리Multiprocessing이나 joblib이 흔히 사용.sklearn의 njobs가 이를 제어하는 기능.분산처리 : 네트워크를 통해 연결된 여러 대의 컴퓨터(노드)가 각각의 작업을 수행하는 것Spark를 포함해 Ray, Dask 등의 라이브러리를 사용할 수 있음.병렬 처리 vs Vectorize💡 한 기기의 메모리 안에서 처리가 가능한 규모라면, 굳이 Spark를 사용하는 것보다는 연산을 최적화하는 것이 더 낫다.Numpy(Pandas 포함)는 벡터화 연산을 통해 단순 반복작업을 굉장히 빠르게 처리할 수 있음.스파크에서도 개별 머신은 벡터화를 수행하여 속도를..

240715 Today I Learn스파크란?💥 Spark?SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진. 클라우드의 Apache Hadoop, Apache Mesos, Kubernetes에서 자체적으로 실행될 수 있으며 다양한 데이터 소스에 대해 실행될 수 있음.→ 대용량 데이터를 다루는 것에 특화된 프레임 워크파이썬과 데이터메모리 RAM  = 작업 공간기억된 정보를 읽어내기도 하고 다른 정보를 기억시킬 수도 있는 메모리로서, 컴퓨터의 주기억장치, 응용 프로그램의 일시적 로딩(loading), 데이터의 일시적 저장 등에 사용됨.컴퓨터를 끄면 RAM에 올라간 데이터는 삭제 SSD = 저장 공간장기적으로 데이터를 보관(저장)하는 공간컴퓨터..

240702 Today I Learn워크 시트에 여러 측정값 활용하기측정값 직렬 배치측정값을 단순하게 행에 여러 개 추가하는 방법 각각의 측정값에 다른 차트 형식과 마크 서식을 적용할 수 있음.이중축 활용이중축 차트는 다른 유형의 측정값을 하나의 차트로 사용하기 위해서 사용된다.활용 방법 : 바+꺾은선 그래프, 도넛 차트추가적인 축 활용차원 머리글 활용별칭 편집: 데이터에 있는 명칭 외에 다른 이름을 부여하고 싶을 때 사용→ 측정값 이름이 너무 길면 별칭 편집으로 수정할 수 있음.레이블 회전은 주로 공간 때문에 문자가 세로로 표시될 때 가로로 전환하기 위해 사용측정값 축 활용측정값은 축 편집을 통해 범위를 지정할 수 있음→ 측정값 안에 묶여 있을 때 축을 동일한 범위로 만들거나 독립적인 축 범위를 부여할..

240702 Today I Learn문제 상황📌 주요 지표(수익, 매출, 수익률, 주문수, 고객수)의 MoM을 나타내는 차트를 그려라.우선 우리가 생각할 수 있는 가장 간단한 방법인, 모든 지표를 측정값으로 각각 추가해 지표의 개수만큼의 차트를 하나의 그래프에 나타내는 방법이 있다. 이 방법으로 그린 차트는 아래와 같다.워크시트에서만 작업을 해봐도 이 방법은 상당히 불편한 방법임을 알 수 있다. 우선 주요 지표를 모두 측정값으로 추가해 퀵 테이블 계산을 해주고 색상값 역시 서식을 따로 지정해줘야 하기 때문이다. 이 차트를 대시보드에 넣어 보면, 이 방법이 얼마나 비효율적인지 알 수 있다. 위의 시트를 대시보드에 표현하면 다음과 같이 나타나게 된다.보통 대시보드의 경우 의사결정자들이나 실무진들이 실적을 ..