머신러닝 특강 #2 회귀(Regression)

240613 Today I Learn

어렵다..☆

선형회귀

해석적으로(수학적으로) 구하기

• 정규방정식 (Normal Equation)
• sklearn의 Linear Regeression
  • 정규방정식 보다 더욱 일반화된 방법
  • 통계학에서 배우는 Least Squares와 같음
  • 선형대수에서 배우는 SVD(Singular Value Decomposition) 계산을 수행하는 유사역행렬을 계산하는 것이라고도 볼 수 있음

경사하강법으로 구하기

💡 경사하강법
기울기를 이용해서 파라미터를 학습하는 방법

• Batch : 학습 데이터 전부 다 기울기를 구하는 것
• SGD : 랜덤으로 1개만 골라서 기울기를 구하는 것, 대신 불안정함
• Mini-Batch : 학습 데이터 일부에 대해서 묶어 기울기를 구하는 것

• 특성이 많고 데이터 개수가 많을 때 적합한 방법
• 오차를 최소화 하는 방향으로 학습 
  • Learning rate (step size) : 학습할때 step의 사이즈
    → 적당한 값을 가지는게 중요하다.
    → 이것저것 시도해보면된다.
  • 오차의 종류들  : MAE, MSE(RMSE), R-squared
    → MSE : 이상치에 대해서 민감하게 사용하고 싶을 때 사용
    → R-squared : 오차 말고도 추가적인 지표가 필요할 때 사용

앙상블 학습

💡 배깅(Bagging)

• train 데이터에서 무작위로 뽑아서 여러번 모델 학습
• 기본적으로 중복을 허용하면서 무작위로 뽑음

• 만약 중복을 허용하고 싶어서  페이스팅(pasting)
• 모든 예측을 평균 내서 회귀 수행 (분류는 최빈값)

💡 부스팅(Boosting)
모델을 여러개 연결하여 강한 모델을 만듦

• 에이다 부스트
  • 이전에 잘 맞추지 못한 데이터에 대해 가중치 높임
  • 그러면 다음 모델에선 잘 맞추지 못한 데이터에 집중해서 더욱 학습하게 됨
• 그래디언트 부스트
  • 가중치를 조절하는 것이 아닌 이전 모델의 오차정보를 다음 모델의 input으로 집어넣음

앙상블 기법

1. 의사결정트리가 배깅을 만나면? → 랜덤포레스트

• n_estimators : 결정트리의 개수
  • 기본값 = 100
  • 높을 수록 성능이 좋아질 수 있지만 계산비용도 함께 증가
• max_depth : 각 트리의 최대 깊이를 지정
  • 값이 클수록 트리는 더 깊어지고 복잡해짐

2. 의사결정트리가 그래디언트 부스팅을 만나면? →  GradientBoostingRegressor(GBRT)

3. 의사결정트리가 최적화된 그래디언트 부스팅으로 업그레이드 하면? → XGBoost

• 매우 빠른 속도, 확장성, 규제를 자동으로 사용, 결측값을 자동으로 처리
• 머신러닝 경진대외에서 우승 후보들이 사용하는 중요 모델