심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측 (3)

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측

🎯 모델링 평가 지표 설정

모델링 지표로 사용한 것은 (1) R-squared, (2) RMSE 그리고 마지막으로 (3) WMAE를 설정했다. WMAE는 Kaggle에 나와있는 평가지표인 WMAE를 참고한 지표로, Holiday를 더욱 정확하게 예측하기 위해 해당 지표를 사용했다. Holiday 주간인 경우 가중치(w)를 5로, 아닌 경우 가중치를 1로 하여 계산을 진행했다. 

🤖 머신러닝 

초기 모델링

앞서 선택된 변수들을 바탕으로 선형회귀모형(Linear Regressior)과 세가지 앙상블 기법 (Gradient Boosting Regressor, 랜덤포레스트, Xgboost)을 활용해 피팅 및 평가를 진행했다.

모델링 결과 변수를 위와 같이 선택했을 때, 랜덤포레스트 모델의 성능이 가장 좋았다.

→ 랜덤포레스트와 Gradient boosting 모델의 경우 모델을 학습과 피팅에 시간이 많이 소요되었지만, 선형회귀와 Xgboost의 경우 속도가 굉장히 빨랐다.

변수 선정

이후로 다음과 같은 가설들을 세워 최적의 변수들을 선정해나갔다. 

1 -1. 날짜 변수 선택 : Day vs. Week

💡 Week가 Day보다 데이터의 시간성을 잘 반영할 것이다.
근거 : 용이한 분석을 위해 YYYY-MM-DD 형식으로 되어있던 Date 컬럼을 year, month, day로 쪼개서 모델링을 진행했는데 실제로 YYYY-MM-DD의 Weekly Sales는 말 그대로 해당 일로부터 6일전부터 해당일까지 총 일주일간 집계한 매출액이다. 따라서 시계열적 특성을 잘 반영하는 Week변수(일년 중 몇번 째 주간인지)를 활용해 모델링을 하면 성능이 개선될 것이다.

아래와 같이 모델링을 진행한 결과 랜덤포레스트 모델과 선형회귀 모형을 제외하고 모든 모델에서 성능의 개선이 있었다. 랜덤포레스트에서 성능이 떨어지더라도, 주차를 대표하는 매출액이라는 점에서 Week 변수가 적합하다고 판단, Month와 Day 컬럼 대신 Week를 변수로 사용하였다.

1-2. 경제지표 선택 : CPI vs. Fuel Price vs. Unemployment

💡 경제 지표를 대표하는 CPI만 사용하면 모델의 성능이 개선될 것이다. 

CPI, Fuel_Price, Unemployment 세 변수끼리의 상관관계는 다른 변수들과의 상관관계와 비교했을 때 매우 높은 편이다. 따라서 피처를 최소한으로 만들기 위해 세가지 경제지표 중 하나의 경제지표를 선택하기로 하였다.

ver1에서 성능이 가장 좋았던 랜덤포레스트 모델의 변수 중요도를 확인했을 때, 세 경제지표 중 CPI의 중요도가 가장 높았다. 따라서 CPI만 변수로 놓고 모델링을 진행해보았다.

1-3.  가설 1 + 가설2

1-1과 1-2의 가설이 모두 참이므로 두가지 가설을 결합해 모델링해보았다.

모델링 결과, 선형회귀를 제외한 세 모델의 성능이 모두 개선되었다. 따라서 1,2번 가설을 결합해 채택하기로 결정하였다.

 

2차 변수 선정

💡 두 개의 경제지표 중 CPI만 선택하는 것이 과연 합리적인가?
과연 CPI만 사용하는 것이 모델의 성능에 가장 최적일까. 이를 검증하기 위해 CPI + 유가, CPI + 실업률을 변수로 넣어 모델링해보았다. 

CPI + 유가 / CPI + 실업률

두 경우 모두 성능이 개선되지 않았다. 따라서 가설을 기각하고 CPI만 변수로 선택하는것으로 결정했다.

 

4. Year 라벨인코딩이 필수적인 과정인가?

모델링을 위한 전처리시 계산상 편의 및 오차를 줄이기 위한 목적으로 Year 변수를 라벨인코딩 한 Year_le 변수를 모델링에 사용하였다. 그러나 추후 데이터를 입수해 테스트할 때 범용성을 높이기 위해서 라벨인코딩이 과연 필요한 과정인지 검증해보았다.

Year 변수 제외 모든 동일조건 하에 A/B Test를 진행한 결과 선형회귀 모델을 제외하고는 성능에 변화가 없었다. 따라서 범용성이 좋은 Year 변수를 모델링에 활용하기로 했다.

✅ 최종 변수
선택된 변수 |  CPI_sd, Dept, IsHoliday_le, Size_sd, Store, Temperature_sd, Unemployment_sd, Week, Year
정규화 | 일부 변수(Store, Dept) 제외 Sklearn.preprocessing.Standard Scaler 활용
인코딩 | IsHoliday 라벨 인코딩 
→ 가장 성능이 좋은 모델 Random Forest