통계학 기초 (3) ANOVA, 선형회귀분석

240529 Today I Learn

자료형과 통계모형

자료형

• 질적Qualitative 자료: 수칙 연산이 불가한 자료입니다. 범주형Categorical이라고도 합니다.
  • 명목형Nominal: 이름, 성별과 같이 위계나 순서가 없는 자료입니다.
  • 순서형Ordinal: 학년 별점과 같이 순서가 있지만 사칙연산이 적용되기 어려운 자료입니다.
• 양적Quantitative 자료: 수칙 연산이 가능한 자료입니다.
  • 연속형Continuous: 길이나 무게처럼, 분절되지 않고 연속적인 수치형 자료입니다.
  • 이산형Discrete: 개수와 같이 연속적이지 않은 수치형 자료입니다.

독립 변수와 종속 변수

• 종속 변수Dependent variable
  • 우리가 예측 혹은 설명하고자 하는 변수입니다.
  • 반응 변수, 표적 변수, 예측 변수 등이라고도 합니다.
• 독립 변수Independent variable
  • 종속 변수를 예측/설명하는 데 활용하는 변수입니다.
  • Predictor, 설명 변수, 요인Factor, 피쳐Feature 등으로도 부릅니다.

자료형과 통계모형

		종속변수
		질적자료(categorical)	양적자료
독립변수	질적자료(categorical)	카이제곱검정, 로지스틱 회귀	T-test, ANOVA, 선형회귀
	양적자료	로지스틱회귀	상관분석, 선형회귀

분산분석, ANOVA

세 집단 이상의 평균 분석시 두 모집단의 평균 차이 검정을 이용할 경우 (1) 번거로울 뿐만 아니라, (2) 1종 오류 값이 커지게 된다. 따라서 이때에는 분산분석(ANOVA)을 활용한다.

💡 ANOVA(ANalysis Of VAriance) 
통계학에서 두 개 이상 다수의 집단을 서로 비교하고자 할 때 집단 내의 분산, 총평균 그리고 각 집단의 평균의 차이에 의해 생긴 집단 간 분산의 비교를 통해 만들어진 F분포를 이용하여 가설검정을 하는 방법

일원배치법의 분산분석표

카이제곱과 F분포

카이제곱분포

💡 카이제곱분포
𝑘개의 서로 독립적인 표준정규 확률변수를 각각 제곱한 다음 합해서 얻어지는 분포
→ 𝑘 : 자유도 라고 하며, 카이제곱 분포의 매개변수가 된다.

 

F분포

💡 F분포
두 카이제곱의 비Ratio를 이용하면 두 분산을 비교하는 분포.
두 확률변수 𝑉1,𝑉2가 각각 자유도가 𝑘1, 𝑘2이고 서로 독립인 카이제곱 분포를 따른다고 할 때, 다음과 같이 정의되는 확률변수 F는 자유도가 (𝑘1,𝑘2)인 F-분포를 따른다

• 집단 간 분산Variance between groups
  • 각 집단 사이의 평균의 분산을 구합니다.
  • 집단 사이의 평균이 멀리 떨어질수록, 이 값이 커집니다
• 집단 내 분산Variance Within groups
  • 각 집단 내의 분산을 구합니다
  • 집단 내의 분산이 크면, 집단 사이의 평균이 더 커야 귀무가설을 기각할 수 있습니다.

ANOVA의 통계적 가정Assumption

💡 정규성, Normality
잔차의 분포가 정규분포를 따름을 가정
QQplot을 통해 시각적으로 확인할 수 있음.

• QQplot을 통해 시각적으로 확인하거나, 통계적 검사를 통해 이를 진단할 수 있음
  • 소표본(n<=50)인 경우 Shapiro, Kolmogorov는 비교적 대표본일 때 유용
• 로그 변환, 이상치 제거로 해결되는 경우가 많음.

💡 등분산성, Homoscadasticity
각 집단의 분산은 동일하다.
바틀렛 검정을 사용해 확인하는 경우가 많음.

• 바틀렛 검정을 활용해 등분산성을 확인함
• 정규성을 교정하면 해결되는 경우가 많음.

💡 독립성, Independency
각 관측치가 독립적으로 분포하는 것.
각 데이터의 순서에 따른 패턴(자기 상관성 / Auto-correlation)이 존재하지 않아야한다.

→ 편향 (bias)

분산분석의 한계

ANOVA 분석 결과 낮은 p-value (보통 0.05~ 0.01보다 작은 경우)가 나왔을 때 귀무가설은 기각된다. 귀무가설이 기각될 때, 우리는 적어도 하나의 집단의 평균이 다르다는 걸 알 수 있다. 그러나 어느 집단의 평균이 다른 지는 알 수 없다는 점에서 한계가 있다. 이를 해결하기 위해서는 사후분석을 진행한다.

사후분석의 종류

다양한 종류의 사후분석 방법이 있지만, 가장 많이 사용되는 Tucky에 대해 알아보겠다.

 

Tucky🦃

• 비교 대상 표본수가 동일한 경우에만 사용 가능
• 모든 집단 조합에 대하여 분석
• 장점 : 표본수가 동일한 경우 가장 많이 사용되는 사후 검정 기법
• 단점
  • 비교 대상 표본수가 동일하여야 함
  • 표본수가 적을수록 정확도가 낮아짐

실질적 vs. 통계적 유의

통계적으로 유의한 결과는 실질적으로 유의하지 않을 수도 있다.

• 통계적 유의 : p-값이 지정된 유의성수준(α)(일반적으로 0.10, 0.05 또는 0.01)보다 아래인 경우 차이가 통계적으로 유의하다고 선언하고 검정의 귀무 가설을 기각할 수 있다.
• 실질적 유의 : 실제 효과의 크기가 유의미한 것

선형 회귀분석, Linear Regression

선형회귀분석

💡 선형회귀
알려진 다른 관련 데이터 값을 사용하여 알 수 없는 데이터의 값을 예측하는 데이터 분석 기법
종속 변수 y와 한 개 이상의 독립 변수 (또는 설명 변수) X와의 선형 상관 관계를 모델링하는 회귀분석 기법

• 데이터를 가장 잘 설명하는 직선을 찾는 것이 목표

선형 상관 관계 (pearson)

•  -1 ~ 1 사이의 수치로 둘 사이의 관계를 파악한다.
  • 상관계수의 절댓값이 1에 가까울 수록 상관관계가 크며
  • 상관계수가 음수이면 음의 상관관계, 양수이면 양의 상관관계라고 한다.

모형 평가Goodness of fit

1. 모형의 성능 평가 : 결정계수

💡 결정계수 R²
전체 y 의 변동량(잔차제곱합) 중에 회귀모형이 설명하는 변동량(SSreg)의 비율

• 0과 1 사이의 값을 가지며, 1에 가까울수록 더 좋다.
• 모델이 얼마나 종속 변수의 변동을 잘 설명하는지로 해석할 수 있다.

2. 통계적 유의성 확인 : F검정

회귀 관련 개념

💡 더미변수
독립변수를 0과 1로 변환한 변수
질적 변수는 회귀 분석에 직접 투입하는 것이 불가능하다.
이러한 질적 변수를 회귀분석에 사용하기 위해 Y/N 여부를 0/1 의 숫자 형태로 대응시킨 변수를 더미변수라고 한다.

출처 : [Must Have] 데싸노트의 실전에서 통하는 머신러닝(~162)

💡 교호작용
한 요인의 효과가 다른 요인의 수준에 의존하는 경우.

• 교호작용도가 평행선으로 나타나면 교호작용이 없다는 것으로 해석할 수 있다.
• 선 사이의 기울기 차이가 클수록 교호작용의 정도가 더 높다.
• 교호작용도로 교호작용이 통계적으로 유의한지 여부는 알 수 없다.

자유도와 유연성

• 자유도 : 모형에서 사용한 모수의 개수
  • 선형 회귀의 경우 모형의 자유도는 1이다.
  • 전체 데이터 수 = 모형의 자유도 + 잔차의 자유도