통계야 놀자 (4) 지도학습과 비지도학습

240611 Today I Learn

지도학습 vs. 비지도학습

	지도 학습	비지도 학습
목표	새로운 데이터의 결과를 예측	많은 양의 새로운 데이터에 대한 통찰력을 얻는 것
사용 데이터	레이블이 지정된 데이터세트	레이블이 지정되지 않은 데이터세트
정확성	비교적 높음 → 단, 데이터에 적절하게 레이블을 지정하기 위해서는 데이터분석가의 적절한 주관이 필요.	비교적 부정확
복잡성	비교적 낮음	비교적 높음 → 대규모 훈련 세트, 통계 라이브러리가 필요함.
활용 분야	감정 분석, 일기 예보 및 가격 예측	이상 감지, 추천 엔진, 고객 페르소나 및 의료 영상
사용되는 기법	선형 회귀(Linear Regression) 로지스틱 회귀(Logistic Regression) 나이브 베이즈(Naive Bayes) K-최근접 이웃(k-Nearest Neighbors) 서포트 벡터 머신(SVM, Support Vector Machine) 의사결정 트리(Decision Tree) 랜덤 포레스트(Random Forest) 인공신경망(Neural Network)	군집(Clustering) K-means 클러스터링 위계적 군집분석 가우시안 혼합모형(Gaussian Mix Texture Model) 주성분 분석(PCA) LLE(Locally Linear Embedding) Isomap MDS(Multi Dimensional Scaling t-SNE(t-distributed Stochastic Neighbor Embedding)

지도학습

💡 지도 학습
정답이 있는 데이터(labelled data)를 활용해 훈련 데이터로부터 프로그램 등을 학습시켜서 결과에 대한 예측을 만들어내는 기계 학습(Machine Learning)의 한 방법
→ 문제와 정답을 모두 알고있는 상태에서 시행

• 분류 - 예측값으로 이산적인 값을 출력
• 회귀 - 예측값으로 연속적인 값을 출력

RFM 분류분석

💡 RFM 분류분석
고객을 R, F, M 이라는 특성에 따라 분류하고, 특성에 맞춰서 구 매기회 창출 및 서비스를 발전시키는 것을 목표로한다.

• Recency(최근성) - 최근에 구매한 고객일수록 더 가치있는 고객
• Frequency(빈도) - 빈도수가 높을수록 가치있는 고객
• Monetary(구매금액) -  구매금액이 높을수록 가치있는 고객

 

RFM 분류분석 예시

• Recency: 2024-01-01 을 기준으로 한 달 이내에 구매기록이 있으면 ‘recent’ 아니면 ‘past’
• Frequency: 구매횟수가 5회 이상 ‘high’ , 3~5회 ‘mid’, 나머지 ‘low’
• Monetary: 누적 구매금액 500 달러 이상 ‘high’ 아니면 ‘low’

🚨 실전에서 RFM 적용 시 고려할 점

비즈니스의 성격에 따라, 상황에 따라 알맞은 기준을 세우는 과정이 필요하다. → 도메인 지식이 필요

• Recency, Frequency, Monetary를 각각 몇 단계로 나눌 것인가
• Frequency, Monetary를 집계하는 기간을 어떻게 설정할 것인가

비지도학습

💡 비지도 학습

정답이 없는 데이터(Unlabelled data)를 분석함으로써 그 안에 숨어있는 패턴을 찾아내거나 데이터를 그룹화시키는 알고리즘
→ 정답을 알 수 없는 상태에서 시행

군집화

현업에서는 군집화와 차원축소가 연결되어 하나의 프로젝트로 진행된다.

 

군집화 프로세스

1. 기간 선정
   • 언제까지의 데이터를 가져올 것인가?
   • 최소 6개월어치의 데이터
2. K값(군집갯수), 초기 컬럼(피쳐) 선정
   • user 그룹을 몇개의 그룹으로 나눌 것인지 결정
   • 초기 컬럼은 다다익선!  (상관계수를 보면서 컬럼을 추후 조정)
3. 이상치 기준선정 및 제외
   • IQR 등의 기법을 이용
   • 그러나 서비스의 컨디션에 따라 데이터분석가의 주관적 판단이 필요
4. 표준화
   • standard scaling, min_max scaling
5. 차원 축소
   • 각각의 컬럼은 각각의 분포를 가지고 있음. 
   • 차원축소는 이 각각의 분포를 하나로 합치는 것
6. PCA PLOT 으로 군집 밀도 확인
   • 축소한 차원을 plot으로 그려서 확인하기
7. 2~7번 과정을 반복하며 최적의 결과 도출 👈 계속 기록하면서..;; 
8. 모델링(Random Forest)
9. 데이터 적재 및 자동화 설정
   • 테이블을 만들어서 맞춤으로 적재하기