📊 Data Analysis

240717 Today I Learn크롤링과 스크래핑크롤링 vs. 스크래핑웹 크롤링: 웹상에 존재하는 모든 웹 페이지를 방문하여 데이터를 수집하는 방법. 크롤러는 인터넷 상의 모든 페이지를 방문하며, 각 페이지의 링크를 따라가면서 자동으로 데이터를 수집함.웹 스크래핑: 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것 웹 크롤링스크래핑공통점원하는 데이터를 수집할 수 있다.기술적으로 파이썬으로 함께 사용되는 경우가 많음. (웹 크롤링을 통한 웹접근 → 스크래핑을 통한 특정 데이터 추출)중복제거중복제거 필수→ 동일한 콘텐츠가 여러 페이지에 업로드 된 것을 인식하지 못함.반드시 필요한 것은 아님→ 특정 데이터를 추출하는 것차이점웹사이트에 대한 정보를 색인화하고 저장하는 데 사용검색 엔진 및..

240716 Today I Learn API 통신의 개념개념API(Application Programming Interface)소프트웨어 구성 요소가 서로 통신할수 있게 하는 방식(메커니즘).→ 프로그램과 프로그램을 연결시켜주는 통신의 방법 간단한 호출구문을 통해 데이터를 송신받을 수 있음.오픈 API 란, 기업 내 데이터를 일반 사용자에게 공개하는 것역할 및 특징권한관리많은 데이터가 적재(저장)되는 DB 에는 모든 사람들이 이 DB에 접근하면 보안상의 이슈가 발생할 수 있음.API 는 이를 방지하기 위해 접근이 허용된 로컬에게만 권한을 부여하는 ‘중간관리자’ 역할을 수행프로그램 간 (원활한) 통신 지원API 는 자칫 어려운 방식으로 데이터를 수집할 수 있는 부분을 키값을 통해 간편한 통신을 지원해당 키..

실전 프로젝트 : What's Next?💖 발표 후 받은 피드백대시보드 활용 방안에 대한 데모가 잘 만들어 진 것 같다.배경의 가운데 그라데이션 때문에 회색 점이 잘 보이지 않아서 아쉬웠다.데이터 분석에 있어 굉장히 디테일했다. 특히 결측치 제거 부분에서 단순하게 처리하지 않고 하나씩 따져가면서 어떤 것들을 제거해야 할지, 어떻게 제거할지 고민한 것이 잘 보였다. 물론 너무 빨리 지나가서 자세히 살펴보지 못했음. (어쩔수 없는건 인정)그 밖에도 다양한 상관관계 분석과 제작사, 언어 등 구분을 나눠서 EDA 진행한 것이 좋았다. 다만, 그래프를 보여줄 때 글자가 작아서 잘 보이지 않는 그래프들이 있어서 아쉬웠다.전반적인 분석의 로직과 분석에 있어서 디테일하게 신경쓴 것들은 잘 했다고 봤다.큰 변수인 코로..

실전 프로젝트 : What's Next?Figma 이용 배경 만들기메인 대시보드Scatter Plot 그리기1. 투표 수(x축) 대비 수익(y축) 블록버스터 영화(글로벌 매출 4억 달러 이상)매출이 4억달러 이상인 블록버스터 영화만 필터링y축 profit 은 Revenue(매출) - Budget(예산)평점대에 따라 색상 지정`FLOOR([Vote Average])`를 이용 '평점'이라는 계산된 필드를 새롭게 생성이를 색상에 넣어 평점대에 따라 색상이 지정되도록 함.2. 투표수(x축) 대비 수익(y축) 매출과 예산이 모두 0보다 큰 상업영화만 필터링Blockbuster(핑크) vs. General(회색) : 집합기능을 활용 색 구분. 블록버스터 영화들의 특징이 무엇인지 파악할 수 있도록 함.고평점(★, 7..

실전 프로젝트 : What's Next?EDA상관관계 히트맵 그리기더보기# 상관관계 분석을 위한 라벨 인코딩from sklearn.preprocessing import LabelEncoderle1 = LabelEncoder()le2 = LabelEncoder()le3= LabelEncoder()le4= LabelEncoder()df5['adult_le'] = le1.fit_transform(df5['adult']) #adultdf5['original_language_le'] = le2.fit_transform(df5['original_language']) #original_languagedf5['main_genre_le'] = le3.fit_transform(df5['main_genre']) #main ..

실전 프로젝트 : What's Next?컬럼 정보분석에 사용될 컬럼vote_average, vote_count, release_date, revenue, runtime, adult, budget, original_language, poster_path, genres, production_companies, production_countries, spoken_languages, keywordsid(기본키) - 영화 제목이 같지만, 고유한 id가 부여되어 영화를 구분할 수 있게 해줌.status - 데이터 전처리 과정에서 '개봉(released)' 상태의 영화를 골라내기 위해 사용 후 삭제데이터를 어떻게 가공해 활용할지?✅ 코로나 전후 비교 → 시간선 설정2023 9월 이후 데이터가 이전과 비교해 많이 적음..