📊 Data Analysis

실전 프로젝트 : What's Next? 주제선정 배경주제 선정 과정에서, 태블로에 조금 더 집중하고자 '과거 마블 영화 흥행 분석을 통한 신규 마블 컨텐츠 기획'을 주제로 프로젝트를 진행하려고 했다. 그러나, 기술적 한계로 웹크롤링을 활용해 데이터를 수집할 수 없었기에 kaggle에 공유된 'TMDB' 데이터를 선정해 프로젝트를 진행하게 되었다. 프로젝트 기획개요🌈 ‘쿠팡플레이’의 데이터 분석가인 저희는 8월에 새롭게 런칭할 영화를 알고 싶다는 사업팀의 요청을 받았습니다.TMDB 데이터 시각화를 통해 Tableau 대시보드 제작 능력을 기르는 것을 목표로 합니다.TMDB 데이터 셋을 사용하여 흥행 작품, 국가별 선호도, ROI 등을 분석하고 다음 신규 컨텐츠 제작 시 참고할 수 있는 대시보드를 제공하..

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측💖 발표 후 받은 피드백좋았던 부분팀원별로 역할이 명확해 좋았다.테이블별로 데이터 타입을 명시해 준 점과, 비고 부분에서 마크다운 컬럼에 결측치가 있다는 점을 명시한 점이 좋았다.라벨인코딩에 대한 명확한기준이 있어 좋았다.시각화시 연도별로 나눌 수 있는 구분선을 표기해줘서 좋았다.선형회귀 모델을 선택하지 않은 이유를 숫자로 증명해서 좋았음.추가로 변수를 넣을 생각을 잘 하지 않게 되는데, 가설1에서 추가컬럼 week 선정한 것 좋았음.또한 가설을 조합해서 성능 개선을 할 생각을 한것이 좋았다. 모델 안정성에 대해 고려한 것도 좋았다. -> 성능에 너무 초점에 맞춰지는 경우가 있는데 모델 안정성 ~전체적으로  연결성이 있어서 좋았다.아쉬운 부분마크..

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측🤖 머신러닝 : 하이퍼파라미터 조정이 부분은 직접 진행하지 않았지만, 약간 요약해서 적어두겠음..!앞의 변수 선택 단계에서 성능이 가장 좋았던 model_rf7과 model_xgb7 두가지를 선택해 하이퍼파라미터를 조정해보았다. 랜덤포레스트 뿐 아니라 Xgboost도 함께 진행한 이유는 더 다양한 경우의 수를 살펴보기 위해서였다.rf8단계에서 랜덤서치 결과인 최적화한 파라미터 사용시 전반적으로 성능이 크게 저하되었다. → 따라서 파라미터를 조정하지 않은 rf7을 xgboost의 best model과 비교하기로 했다.Xgb 8에서 그리드 서치 결과를 반영해 max_depth & n_estimators를 조정했다. 그 영향으로 비약적인 성능 상승이 ..

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측🎯 모델링 평가 지표 설정모델링 지표로 사용한 것은 (1) R-squared, (2) RMSE 그리고 마지막으로 (3) WMAE를 설정했다. WMAE는 Kaggle에 나와있는 평가지표인 WMAE를 참고한 지표로, Holiday를 더욱 정확하게 예측하기 위해 해당 지표를 사용했다. Holiday 주간인 경우 가중치(w)를 5로, 아닌 경우 가중치를 1로 하여 계산을 진행했다. 🤖 머신러닝 초기 모델링앞서 선택된 변수들을 바탕으로 선형회귀모형(Linear Regressior)과 세가지 앙상블 기법 (Gradient Boosting Regressor, 랜덤포레스트, Xgboost)을 활용해 피팅 및 평가를 진행했다.모델링 결과 변수를 위와 같이 선택..

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측 ✅ Weekly Sales의 음수값, 과연 이상치(오기입)로 봐야하는가?아니다. Sales 데이터의 경우, 환불이나 파손 등의 사유로 음수값이 나올수 있다. 따라서 음수값을 이상치로 볼 수 없다. ✔️ 초기 변수 선택1. Markdown 1~5 컬럼을 사용해야하는가?아래의 이유들로 Markdown 1~5 컬럼을 사용하지 않기로 했다.결측치의 비율이 너무 높다. → 전체의 64%가 결측치컬럼에 대한 정보가 부족하다 → 해당 품목에 대한 sales의 합계인지 해당 일자에 대한 weekly sales 합계인지 불명확함.2. Type, Size 변수를 모두 사용해야하는가?Type, Size 두 변수간 피어슨 상관계수가 -0.81로 다중공선성 문제가 일어..

심화프로젝트 : 회귀분석을 활용한 월마트 주간 판매량 예측주제선정 주제를 고르는데 시간이 꽤나 오래 걸렸지만, 결론적으로는 꽤나 만족했던 선택. 처음에는 너무 간단하지 않을까 싶었는데 데이터를 막상 뜯어보니 생각했던 것보다 어려웠다.프로젝트 개요분석 목적 : Walmart 매장의 판매 데이터를 포함하며, 주간 판매량 예측하기데이터 수집 : Kaggle데이터 소개 Walmart Recruiting - Store Sales Forecasting | Kaggle www.kaggle.com💡 어려웠던 점 - Markdwon 컬럼이 이해가 잘 가지 않았음. (컬럼 정보가 부족)- Dept, Store 이 두 개의 범주형 변수를 어떻게 처리해야할지 고민이 많이 되었다.- 데이터의 수가 너무 많은데 이를 어떻게 ..