📊 Data Analysis/🗂️ Note

240717 Today I Learn크롤링과 스크래핑크롤링 vs. 스크래핑웹 크롤링: 웹상에 존재하는 모든 웹 페이지를 방문하여 데이터를 수집하는 방법. 크롤러는 인터넷 상의 모든 페이지를 방문하며, 각 페이지의 링크를 따라가면서 자동으로 데이터를 수집함.웹 스크래핑: 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것 웹 크롤링스크래핑공통점원하는 데이터를 수집할 수 있다.기술적으로 파이썬으로 함께 사용되는 경우가 많음. (웹 크롤링을 통한 웹접근 → 스크래핑을 통한 특정 데이터 추출)중복제거중복제거 필수→ 동일한 콘텐츠가 여러 페이지에 업로드 된 것을 인식하지 못함.반드시 필요한 것은 아님→ 특정 데이터를 추출하는 것차이점웹사이트에 대한 정보를 색인화하고 저장하는 데 사용검색 엔진 및..

240716 Today I Learn API 통신의 개념개념API(Application Programming Interface)소프트웨어 구성 요소가 서로 통신할수 있게 하는 방식(메커니즘).→ 프로그램과 프로그램을 연결시켜주는 통신의 방법 간단한 호출구문을 통해 데이터를 송신받을 수 있음.오픈 API 란, 기업 내 데이터를 일반 사용자에게 공개하는 것역할 및 특징권한관리많은 데이터가 적재(저장)되는 DB 에는 모든 사람들이 이 DB에 접근하면 보안상의 이슈가 발생할 수 있음.API 는 이를 방지하기 위해 접근이 허용된 로컬에게만 권한을 부여하는 ‘중간관리자’ 역할을 수행프로그램 간 (원활한) 통신 지원API 는 자칫 어려운 방식으로 데이터를 수집할 수 있는 부분을 키값을 통해 간편한 통신을 지원해당 키..

240529 Today I Learn자료형과 통계모형자료형질적Qualitative 자료: 수칙 연산이 불가한 자료입니다. 범주형Categorical이라고도 합니다.명목형Nominal: 이름, 성별과 같이 위계나 순서가 없는 자료입니다.순서형Ordinal: 학년 별점과 같이 순서가 있지만 사칙연산이 적용되기 어려운 자료입니다.양적Quantitative 자료: 수칙 연산이 가능한 자료입니다.연속형Continuous: 길이나 무게처럼, 분절되지 않고 연속적인 수치형 자료입니다.이산형Discrete: 개수와 같이 연속적이지 않은 수치형 자료입니다.독립 변수와 종속 변수종속 변수Dependent variable우리가 예측 혹은 설명하고자 하는 변수입니다.반응 변수, 표적 변수, 예측 변수 등이라고도 합니다.독립 ..

240528 Today I Learn통계적 가설검정이란?💡 통계적 가설검정이란?주어진 자료가 특정 가설을 충분히 뒷받침하는지 여부를 결정하는 통계적 추론 방법모수에 대한 예상, 주장 등의 옳고 그름을 표본으로부터 주어지는 정보를 이용해 판단하는 사후적 분석과정으로, 상반된 두가지 가설 중 한가지를 수집된 자료에 근거해 선택하는 분석과정 (2020 확통 강의)통계적 가설검정의 4단계귀무가설과 대립 가설 설정하기가설검정을 위한 표본통계량 선택하기기각역 설정하기통계적 결론 내리기 → 귀무가설의 기각 여부, 결론은 말로 기술한다.가설 검정 하기귀무가설과 대립가설귀무가설, Null Hypothesis (H0)지금까지 옳다고 믿어온 주장주로 현재까지 인정되고 있는 사실 또는 간단하고 구체적인 사실을 지정예시 - ..

240527 Today I Learn평균이란?평균이란?a single number or value that best represents a set of data데이터 집합을 가장 잘 나타내는 단일 숫자 또는 값을 이야기한다.왜도와 이상치💡 왜도, Skewness왜도는 특정한 방향으로 데이터가 쏠려있는 것으로, 왜도가 있으면 평균이 전체 데이터를 대표하지 못한다.보통 그래프로 확인하며 꼬리(tail, 길게 늘어진 부분)의 방향에 따라 left skewed/ right skewed로 구분한다. 왼꼬리 분포, Left Skewed평균 분포가 왼쪽으로 몰려있고 오른쪽으로 긴 꼬리가 늘어진 형태오른 분포, Right Skewed평균 > 중앙값분포가 오른쪽으로 몰려있고 왼쪽으로 긴 꼬리가 늘어진 형태💡 이상치,..

데이터 리터러시란?💡 데이터 리터러시는 데이터를 올바르게 활용하고 해석할 수 있는 역량 ▶︎ 구성데이터를 읽는 능력데이터를 이해하는 능력데이터를 비판적으로 분석하는 능력결과를 의사소통에 활용할 수 있는 능력▶︎ 데이터 리터러시가 필요한 이유데이터 분석이 목적이 되지 않도록 ‘왜?’를 항상 생각해야 함문제 정의문제 정의는 풀고자 하는 것을 명확하게 정의하고이것을 해결하기 위한 데이터 분석의 방향성을 정하고결과를 정리하고 해석하여더 나아지기 위한 새로운 액션 플랜을 수립하기 위함문제 정의 방법론💡 MECE (Mutually Exclusive, Collectively Exhaustive)문제를 상호 배타적(mutually exclusive)이면서, 전체적으로 포괄적(collectively exhaustiv..