머신러닝의 이해와 라이브러리 활용 (1) 머신러닝 기초 / 선형회귀

240603 Today I Learn

머신러닝이란?

💡 머신러닝(Machine Learning, ML)
관측된 패턴을 기반으로 의사 결정을 하기 위한 알고리즘. 기술 통계 등을 통하여 집계된 정보로 의사결정을 했던 과거와 달리 데이터 수집과 처리 기술의 발전으로 대용량 데이터의 패턴을 인식하고 이를 바탕으로 예측, 분류하는 방법론.

AI ⊃ 머신러닝 ⊃ 딥러닝

머신러닝의 종류

1. 지도학습 : 문제와 정답을 모두 알려주고 공부시키는 방법
   
   • 예측
   • 분류
2. 비지도학습 : 답을 알려주지 않고 공부시키는 방법
   • 연관규칙
   • 군집
3. 강화학습 : 보상을 통해 상은 최대화, 벌은 최소화 하는 방향으로 행위를 강화

선형회귀분석 이론

💡선형회귀(Linear Regression)
종속 변수 y와 한 개 이상의 독립 변수 (또는 설명 변수) X와의 선형 상관 관계를 모델링하는 회귀분석 기법
→ 회귀 계수 혹은 가중치를 값을 알면 X가 주어졌을 때 Y값을 예측할 수 있다.

평가지표

💡 MSE (Mean Squared Error)
오차 제곱합(SSE)을 데이터의 수로 나눈 것

💡 R-squared
전체 모형에서 회귀선으로 설명할 수 있는 정도 / 전체 y 의 변동량 중에 회귀모형이 설명하는 변동량(SSreg)의 비율

 

선형회귀분석 실습

활용 라이브러리/ 함수

# 활용 라이브러리
import sklearn
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

활용 데이터 body_df

선형회귀식 적합하기

# 선형회귀 모델을 model_lr로 불러오기
from sklearn.linear_model import LinearRegression
model_lr = LinearRegression()

# 데이터 훈련
model_lr.fit(X = body_df[['weight']], # 'X='을 입력하고 싶다면 반드시 대문자로!
             y = body_df[['height']])
             
# 가중치(w1)
w1 = model_lr.coef_[0][0]
w1 = w1.round(2) #반올림

# 편향(bias, w0)
w0 = model_lr.intercept_[0]
w0 = w0.round(2) #반올림

# 회귀식
print(f'y = {w1}x + {w0}')
## y = 0.86x + 109.37

방법 1 | W0, W1 값을 추출해 회귀식으로 predict 계산하기

body_df['y_pred1'] = body_df['weight']*w1 + w0

방법 2| predict 이용하기

y_pred2 = model_lr.predict(body_df[['weight']])

## array([[184.40385835],
##        [179.22878362],
##        [180.09129608],
##        [188.71642061],
##        [186.99139571],
##        [161.97853455],
##        [183.54134589],
##        [166.29109682],
##        [168.87863418],
##        [168.87863418]])

모델 평가하기

• 회귀 : MSE
• R-Squared 값이 1에 가까울 수록 높은것

방법 1 | 직접 MSE 계산하기

# 예측값 컬럼(pred) 만들기
body_df['pred'] = body_df['weight']*w1 + w0

# 실제값(body_df['height'])과 예측값(body_df['pred'])의 차이
body_df['error'] = body_df['height'] - body_df['pred']

# 에러 제곱 계산하기
body_df['squared_error'] = body_df['error']*body_df['error']

# MSE계산 완료 10
body_mse = body_df['squared_error'].sum()/len(body_df)

body_mse
## 10.190499999999975

 

방법 2 | sklearn 패키지 이용하기

# 패키지 불러오기
from sklearn.metrics import mean_squared_error, r2_score

# 평가함수는 공통적으로 정답(실제 true), 예측값(pred)
y_true = body_df['height']
y_pred = body_df['pred']

mean_squared_error(y_true, y_pred) ## 10.152939045376318
r2_score(y_true, y_pred) ## 0.8899887415172141

그래프에 회귀 선 나타내기

# weight와 height간의 산점도(scatter plot) 그리기
sns.scatterplot( data = body_df, x = 'weight', y = 'height')
plt.title('Weight vs Height')
plt.xlabel('weight(kg)')
plt.ylabel('Height (cm)')
plt.show()

# 산점도 위에 lineplot(회귀선 그래프) 추가하기
sns.lineplot(data = body_df, x = 'weight', y = 'pred', color = 'red')

선형회귀분석 실습 - Tips

tips

# 사용 데이터셋
tips = sns.load_dataset('tips')

 

🙋 문제
식당에서 파트타임으로 일하고 있는 머신이는 이번에는 tip 데이터를 가지고 적용해보기로 했습니다. 돈을 많이 벌고 싶었던 머신이는 전체 금액(X)를 알면 받을 수 있는 팁(Y)에 대한 회귀분석을 진행해볼 예정입니다.

# 선형회귀 훈련(적합)
from sklearn.linear_model import LinearRegression
model_lr = LinearRegression()

# 전체 금액(X)를 알면 받을 수 있는 팁(Y)에 대한 회귀분석
model_lr.fit(X = tips[['total_bill']], 
             y = tips[['tip']])
             
# 회귀식 구하기
w1_tips = model_lr.coef_[0][0]
w0_tips = model_lr.intercept_[0]

print(f'y = {w1_tips:.2f}x + {w0_tips:.2f}') ## y = 0.11x + 0.92

# 모델 평가하기
from sklearn.metrics import mean_squared_error, r2_score

y_pred_tip = model_lr.predict(tips[['total_bill']]) # 예측값
mse_tip = mean_squared_error(tips['tip'], y_pred_tip) # mse : 1.036019442011377
r_squared_tip = r2_score(tips['tip'], y_pred_tip) #r-squared : 0.45661658635167657

• mse는 같은 데이터 셋에 대해 다른 모델을 비교하는데 사용 (→ 단위가 다르기 때문에)
• r-squared의 경우 약 0.46으로 좋은 모델은 아님 (1에 가까울 수록 좋은 모델)

# 산점도 그리기
sns.scatterplot(data=tips, x='total_bill', y = 'tip', alpha = 0.7, color = 'pink')
plt.title('Tip Distribution by Total Bill')

# 회귀선 추가하기
tips['pred'] = y_pred_tip
sns.lineplot(data=tips, x = 'total_bill', y = 'pred', color = 'green')