심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측(2)

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측

 

✅ Weekly Sales의 음수값, 과연 이상치(오기입)로 봐야하는가?

아니다. Sales 데이터의 경우, 환불이나 파손 등의 사유로 음수값이 나올수 있다. 따라서 음수값을 이상치로 볼 수 없다.

 

✔️ 초기 변수 선택

1. Markdown 1~5 컬럼을 사용해야하는가?

아래의 이유들로 Markdown 1~5 컬럼을 사용하지 않기로 했다.

• 결측치의 비율이 너무 높다. → 전체의 64%가 결측치
• 컬럼에 대한 정보가 부족하다 → 해당 품목에 대한 sales의 합계인지 해당 일자에 대한 weekly sales 합계인지 불명확함.

2. Type, Size 변수를 모두 사용해야하는가?

Type, Size 두 변수간 피어슨 상관계수가 -0.81로 다중공선성 문제가 일어날 수 있다고 판단, 두 변수중 하나의 변수만 선택하기로 결정했다.

• Weekly_Sales 변수에 더 영향을 많이 주는 변수는 Size이다. 

df[['Size', 'Type_le']].corrwith(df['Weekly_Sales'])

• Type별 Size를 나타냈을 때, 동일 Type내에서 과도하게 Size가 작은 Store들이 존재. A와 B의 이상치들은 오히려 C와 가격 평균이 비슷한 양상을 띔.

# Size를 기준으로 store df 정렬
stores.sort_values(by='Size', ascending=False).reset_index()

# 그래프로 분포 확인
sns.histplot(data=stores, x='Size', hue='Type', bins = 10)
plt.axvline(x=75000, linestyle='--', color='r') 
plt.axvline(x=145000, linestyle='--', color='r')

Boxplot으로 확인해본 결과, A, B 각각에 이상치가 존재했다. 이 이상치 그룹을 Type에 따라 (out_a, out_b)로 나누어 평균을 확인한 결과, A와 B의 사이즈 보다는 C의 사이즈와 더 비슷하다는 사실을 확인했다. 결론적으로 Type 변수 대신 Size 변수를 사용하기로 결정했다.

🧨 ML 모델 설계

기본 테이블

df

# Type, MarkDown1-5 제거
df = train.copy()
mask = ['Type','MarkDown1','MarkDown2','MarkDown3','MarkDown4','MarkDown5']

df = train.drop(columns=mask)

# 날짜 데이터 처리
df["Date"] = pd.to_datetime(df["Date"])
df['Year'] = df['Date'].dt.year
df['Month'] = df['Date'].dt.month
df['Day'] = df['Date'].dt.day
df['Week'] = df['Date'].apply(lambda x: x.isocalendar()[1])

 

인코딩

df

모델링을 위해 불리언 인덱싱 되어있던 IsHoliday 변수와, 모델링 시 오차 계산을 줄이기 위해 Year 변수를 라벨 인코딩하였다. 추후 분석시 원본 컬럼을 활용할 수 있어 Year_le, IsHoliday_le와 같이 라벨링된 데이터 컬럼을 추가하는 방식으로 인코딩을 진행했다.

# isHoliday, Year 인코딩
from sklearn.preprocessing import LabelEncoder

le1 = LabelEncoder()
le2 = LabelEncoder()

df['IsHoliday_le'] = le1.fit_transform(df['IsHoliday'])
df['Year_le'] = le2.fit_transform(df['Year'])

스케일링

스케일링을 하기에 앞서, 데이터의 형태에 적합한 스케일러를 사용하기 위해 Store 테이블에 있던 피처 Size와, Features 테이블에 있던 feature들에 대해 추가적으로 이상치 및 분포 탐색을 진행했다.

	Lower Bound	Upper Bound
Temperature	5.28	115.68
Fuel Price	1.73	4.95
CPI	11.43	333.01
Unemployment	4.37	11.09

보다시피 Temperature와 Unemployment의 경우 이상치가 존재함을 확인할 수 있었다.  모델을 설계하기 위해 최대한 많은 데이터를 확보하기 위해 이상치를 제거하기 보다는, 이상치에 강건한 Standard Scaler를 사용하기로 했다.

또한, 테이블 조인시 Dept등의 영향으로 분포에 영향이 있는지 확인하기 위해, 조인된 테이블에서의 변수의 분포와 조인되기 전 원본(Original) 테이블에서 변수의 분포를 비교해보았다. 

sns.kdeplot(data=df, x='Fuel_Price_sd', color = '#57AEFF', fill = True)
sns.kdeplot(data=features, x='Fuel_Price_sd', color = '#FFC220', fill = True)
plt.axvline(x=-2, linestyle = '--', color = '#EB5757')
plt.axvline(x=-0.5, linestyle = '--', color = '#EB5757')
plt.title('Distribution of Fuel_Price(Joined vs. Original)')
plt.legend(['Joined','Original'])

확인 결과 원래의 테이블과 조인된 테이블의 분포가 다르게 나타났다. 따라서 원래의 분포를 살리기 위해서 Fit은 원래 테이블(각각 Stores, Features)에서 진행하고 Transform은 조인된 데이터프레임에서 적용하였다. 

df

따라서 모델링을 위해 Size, Temperature, Fuel_Price, CPI, Unemployment 피처들이 위와 같이 스케일링되었다.

# 스케일링
# 나영
# Store-Size Scaling
from sklearn.preprocessing import StandardScaler
store_sd = StandardScaler()
store_sd.fit(store[['Size']])

# Store-Size Scaler df에 적용
df['Size_sd'] = store_sd.transform(df[['Size']])

# 안해
# 스케일링할 열 목록
columns_to_scale = ['Temperature', 'Fuel_Price', 'CPI', 'Unemployment']
# 스케일링 진행
scaler = StandardScaler()
scaler.fit(features[columns_to_scale])
#데이터프레임열에 붙이기(컬럼명 만들기)
col_names = ['Temperature_sd', 'Fuel_Price_sd', 'CPI_sd', 'Unemployment_sd']
#4개 컬럼 생성 트랜스폼.
df[col_names] = scaler.transform(df[columns_to_scale])