머신러닝 특강 #3 군집화(Clustering)

240614 Today I Learn

클러스터링이란?

💡 클러스터링
데이터분석에서 피쳐(컬럼) 유사성의 개념을 기반으로 전체데이터셋을 그룹으로 나누는 기법.
(이때, 각 그룹을 클러스터라고 한다.)

→ 데이터분석가는 방대하게 구축된 DB에서 의미있는 특징(컬럼)을 찾고,

최적의 그룹 개수를 찾아 그룹별 인사이트를 도출하는 역할을 수행하게 된다.

 

클러스터링 프로세스

전처리 프로세스

1. 기간선정 : 클러스터링을 위한 데이터 기간을 설정

•  최소 3개월 이상의 데이터셋이 권장 → 주별/ 월별 이벤트/서비스 진행. 따라서 이러한 특성을 한달만 보고 판단하기는 어려움. 
• 클러스터링의 목적 :  live 한 데이터의 유입시 해당 유저의 행동을 통해, 이를 알맞게 배치시키는 모델의 생성
  →  서비스 변동사항에 따라서 일정 주기에 따라 재시행

2. 이상치 기준선정 및 제외 :  IQR, Z-SCORE 등 다양한 이상치 기법을 사용해보고, 이상치 비중을 기록

• 통계적 기법 :  Z-Score, IQR(Interquartile Range), Isolation Forest,  DBScan
• 회사의 니즈에 따라 특정 조건에 따라 이상치의 기준을 정립하고 이를 적용하여 데이터 핸들링을 진행하기도 함.

[데이터 전처리] 이상치 및 결측치 처리

 

3. 표준화 : 데이터의 크기가 너무 크거나, 컬럼 간 데이터 range 에 차이가 많을 때 일부 컬럼에 대해 진행
→ Clustering에서 필수는 아님..!

• MinMax Scale : 모든 데이터의 값을 0과 1 사이에 배치
  • 이상치에 약하다 → 전체 데이터 분포가 뭉개질 수 있다.
• Standard Scale : 평균을 0, 표준편차를 1로 변환 👈 군집분석 시 가장 많이 수행
  • minmax scale 이 가지는 한계점을 보완 → 이상치에 강함
  •  각각의 data point 가 ‘평균으로부터 얼마나 떨어져 있는지’ 에 대한 수치로 변환

4. 차원축소(PCA) : 많은 컬럼으로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것

💡 PCA ((Principal Component Analysis, 주성분분석)
분산이 최대가 되는 축을 찾음. (스프레드가 큰 곳에 축을 놓음). 두번째 축은 첫번째 축과 수직이면서 분산이 큰 축.

Experiment 프로세스

5. K값(군집갯수), 초기 컬럼(피쳐) 선정 :  초기 군집의 갯수를 지정

• 초기 컬럼의 설정은 모든 컬럼을 기준으로 진행.  
• Silhouette Coefficient, elbow-point, Distance Map 을 통해 초기 군집의 갯수를 지정

💡 실루엣 분석
각 군집간의 거리가 얼마나 효율적으로 분리되어 있는지를 나타냄. -1에서 1 사이의 값을 가짐.

• -1이나 1에 가까울 수록 군집 간 거리가 유의미하게 구분된다
• 0에 가까울수록 근처 군집과 가깝다

다른 군집과의 거리는 떨어져있고, 동일 군집끼리 데이터가 서로 가깝게 뭉쳐 있는지 판단할 수 있음.

💡 Scree - plot의 elbow-point
알고리즘이 군집이 나뉘는 시간까지 고려한 k값을 도출.

💡 Distance Map
군집 간 거리를 시각화 해주는 기법
→ 군집이 떨어져 있는 거리를 가시적으로 확인하기 위한 참고치일 뿐

• 클러스터링을 반복진행하며, k값과 피쳐의 컨디션을 기록하고, 최적으로 구분된 컨디션 찾기

6. k-means clustering 시행 : 데이터를 거리기반 K개의 군집(Cluster)으로 묶는(Clusting) 알고리즘. 
→ 각 군집의 평균(mean)을 활용하여 K개의 군집으로 묶는다.

💡 K-Means 알고리즘
1. 군집 수 K 설정
2. 초기 중심점 K개 설정
3. 중심점을 기준으로 data point 들의 거리를 비교하고, 더 가까운 중심점에 군집할당
4. 할당된 점들의 의 중심점 위치 조정됨
5. 중심점의 위치가 변하지 않을때까지 반복

7. 군집 분포 확인 : 데이터셋을 기반으로 데이터가 잘(얼마나 밀도있게) 나뉘었는지 확인하는 과정

8. 2~7번 과정을 반복하며 최적의 결과 도출

• 실험을 수행할 때마다, 다양한 기준을 고려
  • 데이터 자체에 결측이 많지는 않은지?
  • 데이터가 결측은 아니나, value가 0인 경우가 많은지?
  • 데이터의 전반적인 분포는 어떠한지?컬럼 간 상관계수는 어떠한지?
  • 데이터가 불규칙한지?
  • 컬럼이 가지는 개념적인 의미는 무엇인지?
  • 컬럼값이 이진형인지?
  • cluster 비중이 지나치게 편향되어 있는지?

9. 모델링 : 클러스터링 결과를 가지고 이를 모델에 학습

10. 데이터 적재 및 자동화 설정

•  cluster 별로 나뉜 고객들을 별도 테이블에 저장
• 스케줄 기능을 통해, 주기별로 라이브한 데이터를 자동 테이블 적재하는 것까지가 클러스터링의 최종 작업

11. 인사이트 도출

클러스터링 실습

기본 라이브러리 & 데이터셋 import

base_df

# 기본 라이브러리 import 
import pandas as pd
import numpy as np
# 시각화 라이브러리 import 
import seaborn as sns
import matplotlib.pyplot as plt

# 데이터셋 로드
base_df = pd.read_csv('merge_df.csv')

base_df.head()

# 클러스터링 할 컬럼 지정
feature_names=['customer_zip_code_prefix','price','shipping_charges','payment_sequential','payment_value']

# 지정된 컬럼으로 새로운 dataframe 생성 
base_df = pd.DataFrame(base_df, columns=feature_names)

표준화

scale_df

# 표준화 라이브러리 import 
from sklearn.preprocessing import StandardScaler

# 표준화 방식: standard scaler (평균0, 분산1)
scale_df = StandardScaler().fit_transform(base_df)

 

PCA

pca_df

# 주성분 개수를 판단하기 위한 pca임의 시행 
pca = PCA(n_components=3)
pca.fit(scale_df)

# 설정한 주성분의 갯수로 전체 데이터 분산을 얼만큼 설명 가능한지 
pca.explained_variance_ratio_.sum()
## 0.8233997183348545

# pca 시행
pca_df = pca.fit_transform(scale_df)
pca_df = pd.DataFrame(data = pca_df, columns = ['PC1','PC2','PC3'])  

# Show the first 5 firms
pca_df.head()

K값, 초기 컬럼(피쳐) 선정 - KElbowVisualizer, Distance map

visualizer

# 초기 k 값 참고를 위한 scree plot 을 그리고, 군집이 나뉘는 시간까지 고려한 k 값 확인 
model = KMeans()

# k 값의 범위를 조정해 줄 수 있습니다. 
visualizer = KElbowVisualizer(model, k=(3,12))

# 데이터 적용 
visualizer.fit(pca_df) 
visualizer.show()

# 초기 k 값 참고를 위한 distance map 시각화
# 그룹의 갯수를 지정해 줄 수 있음.
intercluster_distance(MiniBatchKMeans(5, random_state=42), pca_df)

K-Means

kmeans_df

#  KMEANS
# 군집개수(n_cluster)는 5,초기 중심 설정방식 랜덤,  
kmeans = KMeans(n_clusters=5, random_state=42,init='random')

# pca df 를 이용한 kmeans 알고리즘 적용
kmeans.fit(pca_df)

# 클러스터 번호 가져오기 
labels = kmeans.labels_

# 클러스터 번호가 할당된 데이터셋 생성
kmeans_df = pd.concat([pca_df, pd.DataFrame({'Cluster':labels})],axis = 1)

시각화 

1. 3차원으로 시각화

x =kmeans_df["PC1"]
y =kmeans_df["PC2"]
z =kmeans_df["PC3"]

fig = plt.figure(figsize=(12,10))
ax = plt.subplot(111, projection='3d')
ax.scatter(x, y, z, s=40, c=kmeans_df["Cluster"], marker='o', alpha = 0.5, cmap = 'Spectral')
ax.set_title("The Plot Of The Clusters(3D)")

plt.show()

2. 2차원으로 시각화

plt.figure(figsize=(8,6))

sns.scatterplot(data = kmeans_df, x = 'PC1', y='PC2', hue='Cluster')
plt.title('The Plot Of The Clusters(2D)')
plt.show()