통계야 놀자 (3) 회귀와 예측

240610 Today I Learn

회귀분석이란?

💡 회귀분석
독립변수(x)로 종속변수(y)를 예측하는 분석기법으로 추세선*을 찾는것이 목적이다. 가지고있지 않은 데이터에 대한 예측을 하고 싶을 때 사용한다. 
*추세선 y = a+bx

회귀분석의 단계

1. 독립변수(x), 종속변수(y) 설정 및 가설(귀무 vs. 대립)설정
   • x(게임시간, 독립변수), y(전기세, 종속변수)
   • 대립가설 : 게임시간은 전기세와 관련이 있을 것이다.
     → 귀무가설 : 게임시간은 전기세와 관련이 없을 것이다.
2. 데이터 경향성 확인 → 산점도를 간단하게 그려보기
   • 데이터가 어떻게 분포해있는지 확인하기.
   • 어디에 데이터들이 많이 분포해 있는지 확인하기.
3. 정합성 검증 & 결과 해석
   • 회귀모델(회귀식)이 얼마나 설명력을 갖는지? - 얼마나 정확한지?
   • 회귀모델이 통계적으로 유의미한지?
   • 독립변수 - 종속변수가 선형 관계인지?

회귀분석의 장단점

장점	단점
- 분석 및 해석 방법이 다수 존재 - 결과에 대한 근거, 이유, 활용방안 등의 정보를 얻는데 유용 - 종속변수를 설명하기 위한 다양한 독립변수를 선택, 실험할 수 있음.	- 기본 가정이 어긋나면 회귀분석을 사용할 수 없음 - 비선형성 확인을 위한 적절한 방식이 존재하지 않음.

정합성 검증 & 결과 해석

회귀모델의 설명력 검증하기 : R-Squared

💡 R-squared
전체 모형에서 회귀선으로 설명할 수 있는 정도 / 전체 y 의 변동량 중에 회귀모형이 설명하는 변동량(SSreg)의 비율

• 설명력은 0과 1 사이의 값을 가지며, 1에 가까울수록 모델의 성능이 좋다는 것을 의미한다.
  → 60%만 되도 보통 성능이 좋다고 한다.

머신러닝의 이해와 라이브러리 활용 (1) 머신러닝 기초 / 선형회귀

회귀모델의 통계적 유의성 검정하기 : F-Test

귀무가설: 회귀모델은 타당하지 않을 것이다.
대립가설: 회귀모델은 타당할 것이다.

• F-검정을 통해 얻은 p-value 값이 0.05보다 작다면 대립가설을 채택한다.

독립변수와 종속변수 간 선형관계 확인하기 : T-Test

귀무가설: 독립변수와 종속변수 간 선형적인 연관이 없을 것이다.
대립가설: 독립변수와 종속변수 간 선형적인 연관이 있을 것이다.

• t-검정을 통해 얻은 p-value 값이 0.05보다 작다면 대립가설을 채택한다.

OLS(Ordinary Least Squares) 해석하기

1. Dep. Variable (종속 변수) : 회귀 모델에서 사용된 종속 변수를 표시
2. Model : 회귀 모델의 종류. 여기서는 OLS (최소제곱법) 회귀 모델 사용
   1. OLS: 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법
3. Method : 회귀 분석에 사용된 메소드. 여기서는 Least Squares (최소제곱법)사용
4. Date : 회귀 분석이 수행된 날짜
5. Time : 회귀 분석이 수행된 시간
6. No. Observations : 사용된 샘플의 수 (관측치의 개수)
7. coef: 회귀 계수
8. std err (표준 오차) : 회귀 계수의 표준 오차
9. t-statistic (t-통계량) : 회귀 계수에 대한 t-통계량.
10. P>|t| (p-value) : 각 계수에 대한 p-value
11. [0.025 0.975] : 95% 신뢰구간 의미
12. R-squared (결정 계수) : 회귀모델의 설명력. 1에 가까울수록 모델이 데이터를 잘 설명하고 있다는 것을 의미
13. F-statistic (F-통계량) : 모델 전체의 통계적 유의성을 나타내는 F-통계량이다. 높을수록 모델이 통계적으로 유의미하다는 것을 의미
14. Prob (F-statistic) : F-통계량에 대한 p-value

python 실습

라이브러리 정보

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

데이터 불러오기

df

#sklearn 에서 제공하는 데이터 셋 중 하나인 diabetes 불러오기 
from sklearn.datasets import load_diabetes

# 데이터를 가져오고, 이름을 df 로 받아주겠습니다.
df = load_diabetes()

# target은 당뇨병의 수치입니다.
# 각각의 데이터를 가져와 dataframe 으로 받아주도록 하겠습니다.
df = pd.DataFrame(df['data'],index=df['target'], columns=df['feature_names'])

독립변수, 종속변수설정 및 가설설정

• 독립변수(x): bmi(체질량지수)
• 종속변수(y): 당뇨병수치

Y = df.index.values
X = df.bmi.values

• 대립가설 : 당뇨병의 수치(target)와 bmi(체질량지수)는 관련이 있다.
  → 귀무가설 : 당뇨병의 수치(target)와 bmi(체질량지수)는 관련이 없다.

분포 확인하기

plt.scatter(X, Y, alpha = 0.6)

 

• 우상향 하는 선형적 관계가 있는듯이 보인다.

회귀분석 진행하기

y= 152.133 + 949.435x

# 회귀분석을 위해 2d array로 변환
X = X.reshape(-1,1)
Y = Y.reshape(-1,1)

# 회귀분석 진행
lr.fit(X, Y)

# intercept(y절편, b0), coef(기울기, b1)로 회귀식 찾기
# y= b0 +b1x
lr.fit(X, Y).intercept_, lr.fit(X, Y).coef_[0]

## 회귀식: y= 152.133 + 949.435x

# 회귀선 추가하기 
# 그래프 그리기 위해 다시 X,Y 선언
Y = df.index.values
X = df.bmi.values

#numpy 에서 제공하는 plotfit 함수를 통해 회귀선 구하기 
b0, b1 = np.polyfit(X, Y, 1)
plt.scatter(X, Y, alpha = 0.6)
plt.plot(X=X,
         Y= b1+b0*X, #회귀선에 x를 대입해 예측값 구하기
         color='red')
plt.show()

회귀분석 정합성 검정 및 결과해석하기(OLS)

import statsmodels.api as sm
results = sm.OLS(Y, sm.add_constant(X)).fit()
results.summary()

 

머신러닝의 이해와 라이브러리 활용 (1) 머신러닝 기초 / 선형회귀

머신러닝의 이해와 라이브러리 활용 (2) 다중선형회귀

머신러닝의 이해와 라이브러리 활용 (3) 로지스틱 회귀