머신러닝의 이해와 라이브러리 활용 (2) 다중선형회귀

240604 Today I Learn

다중선형회귀

💡 다중 선형회귀(Multiple Linear Regression)
설명 변수(독립변수)가 두 개 이상인 회귀 분석

다중선형 회귀 실습

tips

🙋‍♀️ 머신이는 데이터 선형회귀를 훈련 시켰지만 성능이 별로 좋지 않다는 것을 알게 되었습니다. 그래서 성별과 같은 다른 데이터를 사용하고 싶어졌습니다. 

1. 성별데이터는 문자형이여서 숫자로 표현해줘야 합니다.

sex_enc 컬럼이 추가된 tips 데이터프레임

# 1. male(1), female(0)으로 변환하기
def encode_gender(series):
    if series == 'Female':
        return 0
    else:
        return 1
        
# apply를 활용해 sex 컬럼의 모든 행에 encode_gender를 적용합니다.
# 그리고 이를 'sex_enc'라는 새로운 컬럼에 저장합니다.
tips['sex_enc'] = tips['sex'].apply(encode_gender)

2. 적합하기/ 회귀식 구하기

# 모델 뼈대(?) 불러오기
model_lr3 = LinearRegression()

# 회귀식 구하기
# x1 = total_bill, x2 = sex_enc, y = tip

w1 = model_lr3.coef_[0][0]
w2 = model_lr3.coef_[0][1]
w0 = model_lr3.intercept_[0]

print(f'y = {w1:.2f}x1 + {w2:.2f}x2 + {w0:.2f}') ##y = 0.11x1 + -0.03x2 + 0.93

# 모델 피팅
model_lr3.fit(X=tips[['total_bill','sex_enc']], y=tips[['tip']])

3. 단순선형회귀모델(model_lr2) vs. 다중선형회귀모델(model_lr3)

df

• mse와 r-squared 모두 multi-linear regression에서 조금 더 작아졌으나 그 크기가 크지 않다. (둘다 썩 좋은 모델은.. 아니다..)

# 첫번째 모델 (x : total bill, y = tip)
y_pred_tip = model_lr.predict(tips[['total_bill']])
mse_model1 = mean_squared_error(tips['tip'], y_pred_tip) 
r2_model1 = r2_score(tips['tip'], y_pred_tip)

# 두번째 모델 (x1 : total bill, x2 : sex_enc, y = tip)
y_pred_tip2 = model_lr3.predict(tips[['total_bill','sex_enc']])
mse_model2 = mean_squared_error(tips[['tip']], y_pred_tip2)
r2_model2 = r2_score(tips[['tip']], y_pred_tip2)

# 확인하기
df = pd.DataFrame({'model' : ['simple linear','multi linear'],
                   'mse' : [mse_model1, mse_model2],
                   'r_squared': [r2_model1, r2_model2]})
df

• 실제로 그래프를 그려보면, 두 모델은 거의 차익가 없게 보인다. 

sns.scatterplot(data=tips, x='total_bill', y = 'tip', alpha = 0.7, color = 'pink')
plt.title('Tip Distribution by Total Bill')

# 회귀선 추가하기 model_lr2
sns.lineplot(data=tips, x = 'total_bill', y = 'pred2', color = 'green', alpha = 0.8)

# 회귀선 추가하기 model_lr3
sns.lineplot(data=tips, x = 'total_bill', y = 'pred3', color = 'red', alpha = 0.7)

선형회귀 정리

선형회귀의 가정

• 선형성 (Linearity): 종속 변수(Y)와 독립 변수(X) 간에 선형 관계가 존재해야 함 
• 등분산성 (Homoscedasticity): 오차의 분산이 모든 수준의 독립 변수에 대해 일정해야 합니다. 즉, 오차가 특정 패턴을 보여서는 안 되며, 독립 변수의 값에 상관없이 일정해야 합니다.

• 정규성 (Normality): 오차 항은 정규 분포를 따라야 합니다.
• 독립성 (Independence): X변수는 서로 독립적이어야 합니다.

🚨 다중공선성(Multicolinearity)문제
변수가 많아지면 서로 연관이 있는 경우가 많다. 회귀분석에서 독립변수(X)간의 강한 상관관계가 나타나는 것을 다중공선성 문제라고 한다. 예를 들면 Weight, Height를 가지고 다른 Y(이를 테면 발사이즈)를 예측한다면 Weight, Height가 연관있는 변수이기 때문에 다중공선성 문제가 나타난다.

이 문제를 해결하기 위해서는 다음 두가지 방법 중 하나를 선택할 수 있다.
(1) 서로 상관관계가 높은 변수 중 하나만 선택한다.
(2) 두 변수를 동시에 설명하는 차원축소(Principle Component Analysis, PCA) 실행하여 변수 1개로 축소한다.

선형회귀 정리

장점	단점
직관적이며 이해하기 쉽다. X-Y관계를 정량화 할 수 있다. 모델이 빠르게 학습된다(가중치 계산이 빠르다)	X-Y간의 선형성 가정이 필요하다. 평가지표가 평균(mean)포함 하기에 이상치에 민감하다. 범주형 변수를 인코딩시 정보 손실이 일어난다.

•