전체 글

240611 Today I Learn지도학습 vs. 비지도학습 지도 학습비지도 학습목표새로운 데이터의 결과를 예측많은 양의 새로운 데이터에 대한 통찰력을 얻는 것사용 데이터레이블이 지정된 데이터세트레이블이 지정되지 않은 데이터세트정확성비교적 높음→ 단, 데이터에 적절하게 레이블을 지정하기 위해서는 데이터분석가의 적절한 주관이 필요.비교적 부정확복잡성비교적 낮음비교적 높음→ 대규모 훈련 세트, 통계 라이브러리가 필요함.활용 분야감정 분석, 일기 예보 및 가격 예측이상 감지, 추천 엔진, 고객 페르소나 및 의료 영상사용되는 기법선형 회귀(Linear Regression)로지스틱 회귀(Logistic Regression)나이브 베이즈(Naive Bayes)K-최근접 이웃(k-Nearest Neighbors)서..

240610 Today I Learn회귀분석이란?💡 회귀분석독립변수(x)로 종속변수(y)를 예측하는 분석기법으로 추세선*을 찾는것이 목적이다. 가지고있지 않은 데이터에 대한 예측을 하고 싶을 때 사용한다. *추세선 y = a+bx회귀분석의 단계독립변수(x), 종속변수(y) 설정 및 가설(귀무 vs. 대립)설정x(게임시간, 독립변수), y(전기세, 종속변수)대립가설 : 게임시간은 전기세와 관련이 있을 것이다.→ 귀무가설 : 게임시간은 전기세와 관련이 없을 것이다.데이터 경향성 확인 → 산점도를 간단하게 그려보기데이터가 어떻게 분포해있는지 확인하기.어디에 데이터들이 많이 분포해 있는지 확인하기.정합성 검증 & 결과 해석회귀모델(회귀식)이 얼마나 설명력을 갖는지? - 얼마나 정확한지?회귀모델이 통계적으로 유..

240607 Today I Learn데이터 수집데이터 수집 프로세스Data SourceOLTP Database: OnLine Transaction Processing 은 온라인 뱅킹,쇼핑, 주문 입력 등 동시에 발생하는 다수의 트랜잭션(데이터베이스 작업의 단위) 처리 유형Enterprise Applications: 회사 내 데이터 (ex 고객 관계 데이터, 제품 마케팅 세일즈)Third - Party: Google Analytics와 같은 외부소스에서 수집되는 데이터Web/Log: 사용자의 로그데이터ETL(Extract, Transform, and Load) : 다양한 소스의 데이터를 데이터 웨어하우스에 결합하는 과정Data Lake: 원시 형태의 다양한 유형의 데이터를 저장Data Warehouse: ..

240607 Today I LearnZ-차트로 매출 추이 확인하기💡 Z차트란?매출분석을 위해 사용하는 차트로, 월별매출, 매출누계, 그리고 이동합계를 한번에 표시하는 그래프이다.월별매출 (파랑)매출누계 (주황) : 상대적으로 단기적 추이이동합계 (회색) : 해당 월 기준 1년치 누적합계장기적 추이를 알 수 있음계절성, 프로모션 등 변동성을 완화해 추세를 볼 수 있음Z-차트 그리기 (실습)Sales_Transaction 테이블에서 호주, 이탈리아의 월별 매출,  매출 누계 구하기 ## 1. 호주, 이탈리아의 월별 매출, 매출 누계 구하기 SELECT Country ,DATE_FORMAT(STR_TO_DATE(Date,'%m/%d/%Y'),'%Y-%m') AS dt_month ..

240605 Today I Learn🚩 통계적 실험어떤 목적을 가지고 관찰을 통해 측정값을 얻어내는 것. 제한된 환경에서의 관찰을 통해 확보된 사실을 바탕으로 제한된 결론을 내리고, 확률적 판단으로 제한된 결론을 내려 진실에 가까운 값 도출하는 것이 목적이다. 통계적 실험은 일반적으로 '가설 수립 → 실험 설계 → 데이터 수집 → 추론 및 결론의 도출'의 단계로 진행한다.A/B TEST 💡 A/B TEST(버킷 테스트/ 분할 테스트)두 가지 처리 방법 중 어떠한 쪽이 더 좋다라는 것을 입증하기 위해 실험군을 두 그룹으로 나누어 진행하는 실험A/B Test의 목적 및 지표목적UI/UX 개선전환율 증가매출 증가주요 지표서비스의 가입율재방문율CTR(노출 대비 클릭율)CVR(클릭 대비 전환율, 구매전환율)R..

240604 Today I LearnPivot Table💡 피벗 테이블(pivot table)표의 행과 열을 전환하는 등의 과정을 통하여 통계를 재정렬하고, 그 결과로 표 데이터를 요약하는 방법. 이에는 집계함수(합계, 평균 등)가 사용될 수 있다.SQL로 Unpivot 하기1. 일련 변호를 가진 테이블 만들기SELECT 1 AS idx UNION ALL SELECT 2 AS idxUNION ALL SELECT 3 AS idx UNION ALL SELECT 4 AS idx2. 피벗 테이블을 만들고 이를 CROSS JOIN 하기SELECT *FROM quarterly_sales CROSS JOIN (SELECT 1 AS idx UNION ALL SELECT 2 AS idx UNION..