머신러닝의 이해와 라이브러리 활용 (5) 회귀, 분류 모델링 심화

240610 Today I Learn

의사결정나무와 랜덤 포레스트

titanic

더보기

# 라이브러리 및 데이터 불러오기
import pandas as pd
import matplotlib.pyplot as plt
titanic = pd.read_csv('TITANIC/train.csv')

# 전처리
#Pclass: LabelEncoder
from sklearn.preprocessing import LabelEncoder
le1 = LabelEncoder()
titanic['Pclass'] = le1.fit_transform(titanic['Pclass'])

#Sex: LabelEncoder
le2 = LabelEncoder()
titanic['Sex'] = le2.fit_transform(titanic['Sex'])

#Age: 결측치-> 평균으로 대치하고 
titanic['Age'] = titanic['Age'].fillna(titanic['Age'].mean())

의사결정 나무

🌳 의사결정나무
의사결정규칙을 나무 구조로 나타내어 전체 자료를 몇 개의 소집단으로 분류하거나 예측을 수행하는 분석 방법

plot_tree(model = 모델명, 
          feature_names = feature명,
          class_names = 분류할 class명 지정하기,
          filled = 의사결정 나무 안의 사각형 색 채우기(default False)
          )​

• 장점
  • 쉽고 해석하기 용이
  • 다중분류와 회귀에 모두 적용이 가능
  • 이상치에 견고하며 데이터 스케일링이 불필요(데이터의 상대적인 순서를 고려해서)
• 단점
  • 나무가 성장을 너무 많이하면 과대 적합의 오류에 빠질 수 있다.
  • 훈련 데이터에 민감하게 반응하여 작은 변화가 노이즈에도 나무의 구조가 크게 달라짐(불안정성)

from sklearn.tree import DecisionTreeClassifier, plot_tree

model_dt = DecisionTreeClassifier(max_depth=1, random_state= 42)

# fitting
X = titanic[X_features]
y = titanic['Survived']

model_dt.fit(X,y)

# 의사결정나무 그리기
X_features = ['Pclass','Sex','Age']

plot_tree(model_dt, 
          feature_names=X_features,
          class_names=['Not Survived','Survived'], # 
          filled = True # 의사결정 나무 안의 사각형을 채우기
          )

plt.show()

• max_depth의 경우 의사결정나무가 얼마나 자랄 것인지를 지정한다.

랜덤 포레스트

머신러닝에서 가장 중요한 것은 데이터의 양. 다다익선으로 머신러닝 시 우리는 항상 '데이터 부족' 문제에 직면하게 된다. 이러한 문제를 해결하기 위해 우리는 Bagging을 활용할 수 있다.

🎒 Bagging
*

• Bootstrapping: 데이터를 복원 추출해서 유사하지만 다른 데이터 집단을 생성하는 것
• Aggregating: 데이터의 예측,분류 결과를 합치는 것
• Ensemble(앙상블): 여러 개의 모델을 만들어 결과를 합치는 것

🦌 랜덤포레스트
분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로, 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로써 동작한다.

• Random Forest의 key idea
  Optimal Splitting variable 찾을 때 모든 변수를 사용하지 않고, 임의의 n (<p)개 설명변수만 사용하여 개별 예측모형(tree)의 성능은 떨어지나 전체 Agg. model의 성능은 좋아지게 하는 것이다.
• 장점
  • Bagging 과정을 통해 과적합을 피할 수 있다.
  • 이상치에 견고하며 데이터 스케일링이 불필요
  • 변수 중요도를 추출하여 모델 해석에 중요한 특징을 파악 할 수 있다.
• 단점
  • 컴퓨터 리소스 비용이 크다.
  • 앙상블 적용으로 해석이 어렵다.

from sklearn.ensemble import RandomForestClassifier
model_rf = RandomForestClassifier(random_state=42)

# fitting
model_rf.fit(X,y)

# prdict
y_rf_pred = model_rf.predict(X)

• Random Forest를 사용하면, 변수별 중요도를 확인할 수 있다.

ftr_importances = model_rf.feature_importances_
for x, imp in zip(X_features,ftr_importances):
    print(f'{x}의 중요도는 {imp : .3f}입니다.')

로지스틱 회귀 vs. 의사결정나무 vs. 랜덤 포레스트

# 평가하기
from sklearn.metrics import accuracy_score,f1_score

def get_score(model_name, y_true, y_pred):
    acc = accuracy_score(y_true, y_pred)
    f1 = f1_score(y_true,y_pred)
    print(f'{model_name} \n accuracy: {acc : .3f} \n f1_score: {f1 : .3f}')

get_score('Logistic Regression ',y,y_lor_pred)
get_score('Decision Tree ',y,y_dt_pred)
get_score('Random Forest ',y,y_rf_pred)

KNN (K-Nearest Neighbor, 최근접 이웃)

🧭 KNN (K-Nearest Neighbor, 최근접 이웃)
missing이 있는 관측치와 가장 가까운(←거리/distance의 정의 필요) K개의 관측치(보통 k=10)를 찾아서 다음과 같이 imputation(값을 채운다.)

• numeric → mean, median
• categorical → mode

• 장점
  • 이해하기 쉽고 직관적
  • 모집단의 가정이나 형태를 고려하지 않음
  • 회귀, 분류 모두 가능함
• 단점
  • 계산량이 많음. → 특히 data가 크면 시간이 오래 걸릴 수 있음.
  • 거리 기반의 알고리즘이기 때문에 단위의 영향을 크게 받는다. → 표준화 필수

from sklearn.neighbors import KNeighborsClassifier

# fitting
model_knn = KNeighborsClassifier()
model_knn.fit(X,y)

# predict
y_knn_pred = model_knn.predict(X)

[데이터 전처리] 이상치 및 결측치 처리

 

💡 하이퍼 파라미터(Hyper parameter)
데이터 과학자가 기계 학습 모델 훈련을 관리하는데 사용하는 외부 구성변수이며 모델 학습과정이나 구조에 영향을 미친다.
KNN의 경우 인근 k개의 파라미터를 찾아 imputation하게 되는데, 이때 k에 지정하는 값이 바로 하이퍼 파라미터가 된다.

• 모델의 하이퍼 파라미터 변수를 바꾸면서 좋은 평가 지표가 나올 때까지 실험하고 원리를 밝혀내는 것이 바로 데이터 사이언스의 기반

부스팅 알고리즘

🚀 부스팅(Boosting) 알고리즘
여러 개의 약한 학습기(weak learner)를 순차적으로 학습하면서 잘못 예측한 데이터에 가중치를 부여하여 오류를 개선해나가는 학습 방식. 계속 residulal을 fitting → minimum loss 모형으로 가는 것.

종류	GBM	XGBoost	LightGBM
Python 라이브러리	sklearn.ensemble GradientBoostingClassifier, GradientBoostingRegressor	xgboost.XGBRegressor	lightgbm.LGBMClassifier lightgbm.LGBMRegressor
특징	가중치 업데이트를 경사하강법 방법을 통해 진행	트리기반 앙상블 기법으로, 가장 각광받음. Kaggle의 상위 알고리즘 병렬학습이 가능해 속도가 빠름	XGBoost와 함께 가장 각광 XGBoost보다 학습시간 짧고 메모리 사용량이 작음 작은 데이터(10,000건 이하)의 경우 과적합 발생

 

## GBM
from sklearn.ensemble import GradientBoostingClassifier

# fitting
model_gbm = GradientBoostingClassifier(random_state= 42)
model_gbm.fit(X,y)

# predict
y_gbm_pred = model_gbm.predict(X)

## XGboost
from xgboost import XGBClassifier

# fitting
model_xgb = XGBClassifier(random_state= 42)
model_xgb.fit(X,y)

# predict
y_xgb_pred = model_xgb.predict(X)

## lightGBM
from lightgbm import LGBMClassifier

# fitting
model_lgb = LGBMClassifier(random_state= 42)
model_lgb.fit(X,y)

# predict
y_lgb_pred = model_lgb.predict(X)

• 가장 성능이 좋은 것은 Random Forest이지만, 부스팅 알고리즘 중에서는 XGboost와 light GBM의 성능이 좋다.

# accuracy와 f1-score를 계산하는 get_score 함수
def get_score(model_name, y_true, y_pred):
    acc = accuracy_score(y_true, y_pred)
    f1 = f1_score(y_true,y_pred)
    print(f'{model_name} \n accuracy: {acc : .3f} \n f1_score: {f1 : .3f}')

get_score('Logistic Regression ',y,y_lor_pred)
get_score('Decision Tree ',y,y_dt_pred)
get_score('Random Forest ',y,y_rf_pred)
get_score('KNN',y,y_knn_pred)
get_score('GBM ',y,y_gbm_pred)
get_score('XGboost ',y,y_xgb_pred)
get_score('lightGBM ',y,y_lgb_pred)