심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측(1)

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측

주제선정

주제를 고르는데 시간이 꽤나 오래 걸렸지만, 결론적으로는 꽤나 만족했던 선택. 처음에는 너무 간단하지 않을까 싶었는데 데이터를 막상 뜯어보니 생각했던 것보다 어려웠다.

프로젝트 개요

1. 분석 목적 : Walmart 매장의 판매 데이터를 포함하며, 주간 판매량 예측하기
2. 데이터 수집 : Kaggle

데이터 소개

Walmart Recruiting - Store Sales Forecasting | Kaggle

💡 어려웠던 점 

- Markdwon 컬럼이 이해가 잘 가지 않았음. (컬럼 정보가 부족)

- Dept, Store 이 두 개의 범주형 변수를 어떻게 처리해야할지 고민이 많이 되었다.

- 데이터의 수가 너무 많은데 이를 어떻게 줄여나가야 할지 고민

EDA

그룹을 나눠서 EDA를 진행했다. 내가 맡은 파트는 Holiday 변수 중심의 EDA였다.

df = train.copy()

# 마크다운 결측치 채워봄
markdowns = ['MarkDown1','MarkDown2','MarkDown3','MarkDown4','MarkDown5']
df[markdowns] = train[markdowns].fillna(0)

 

🍀 Store 별 holiday의 비중은 비슷하다.

df1 = df.groupby(['Store', 'IsHoliday']).size().unstack(1)


## 그래프 그리기
#stacked=True 로 설정하면 누적그래프를 그릴 수 있습니다. 
plt.figure(figsize= (16,9))

stacked_plot= df1.plot(kind='bar', stacked=True, color = ['#0071ce','#ffc220'])
plt.title("Holiday Ratio by Stores")
plt.xlabel("Store Num")
plt.xticks(rotation = 45)
plt.ylabel("Number of Dates")

## describe
df2 = df.groupby('Store')['IsHoliday'].agg({'count','sum'}).reset_index()
df2['Holiday_Ratio'] = df2['sum']/df2['count']

 

Store별 date의 수가 다르다. 이는 즉, 모든 store들의 날짜 데이터가 동일기간 수집되지 않았음을 의미(나의 예상으로는 매장별 오픈 시기가 상이하기 때문에 그렇지 않을까 생각한다.) 하기에, 중요한 변수로 둔 Holiday의 비중이 일정한지 확인해보았다. Holiday ratio의 비율이 min 0.069, max 0.071 그리고 std가 0.00004 정도로 비교적 비슷한 비율을 가지고 있음을 확인했다.

 

🍀 어떤 Holiday 주간이 Weekly Sales가 높을까?

본 데이터에는 아래 4개의 holiday 기간에 대해서 IsHoliday = True 라고 표기되어있었다.

• Super Bowl(2월): 12-Feb-10, 11-Feb-11, 10-Feb-12, 8-Feb-13
• Labor Day(9월): 10-Sep-10, 9-Sep-11, 7-Sep-12, 6-Sep-13
• Thanksgiving(11월): 26-Nov-10, 25-Nov-11, 23-Nov-12, 29-Nov-13
• Christmas(12월): 31-Dec-10, 30-Dec-11, 28-Dec-12, 27-Dec-13

IsHoliday가 True인 것중, Holiday월(2,9,11,12월)에 해당한다면 holiday별 수익을 알 수 있을 것이라고 생각해서 다음과 같이 분석을 진행해보았다. 

df_holiday_mean_sales

df_holiday['holiday_type'] = df_holiday['Month'].apply(lambda x: 
    'SuperBowl' if x == 2 else
    'LaborDay' if x == 9 else
    'ThanksGiving' if x == 11 else
    'Christmas' if x == 12 else
    'anomalies'
)

df_holiday_mean_sales = df_holiday.groupby(['holiday_type','Store'])['Weekly_Sales'].mean().reset_index()

데이터의 수집기간이 2010.2월~ 2012.10월이므로, 추수감사절과 크리스마스의 경우 데이터 수가 상대적으로 적었다. 따라서 holiday의 종류 별로 store의 weekly sales 평균을 위와 같이 구해보았다. 

분석 결과  Thanksgiving의 주간 판매량이 나머지 holiday에 비해 상대적으로 높은 것을 확인할 수 있었다. 차이가 크지 않지만, christmas의 weekly sales가 가장 낮았다. 

* 초기 진행했던 분석은 sum 을 구하는 방식이었는데 내가 왜 그랬을까..하하

 

🍀 Holiday Type 별로 popular department가 있는지?

df_holiday_dept_avg

df_holiday_dept_avg = df_holiday.groupby(['holiday_type','Dept'])['Weekly_Sales'].mean().reset_index()

holiday type별로 weekly sales의 평균이 가장 높은 dept를 알아보기 위해 위와 같은 데이터 프레임을 만들었다.

plt.figure(figsize=(16,9))
sns.barplot(data=df_holiday_dept_avg,x='Dept',y='Weekly_Sales', hue = 'holiday_type')
plt.xticks(rotation = 45)
plt.title('Popular Department by Holiday Types')
plt.show()

인기있는 품목들은 대체로 비슷하나, Thanksgiving의 경우 5,7,그리고 72번 Dept의 값이 눈에 띄게 높은 값을 기록했다. 해당 품목의 경우 Thanksgiving holiday와 연관이 높은 항목일 것이라고 예상해볼 수 있다.