240717 Today I Learn크롤링과 스크래핑크롤링 vs. 스크래핑웹 크롤링: 웹상에 존재하는 모든 웹 페이지를 방문하여 데이터를 수집하는 방법. 크롤러는 인터넷 상의 모든 페이지를 방문하며, 각 페이지의 링크를 따라가면서 자동으로 데이터를 수집함.웹 스크래핑: 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것 웹 크롤링스크래핑공통점원하는 데이터를 수집할 수 있다.기술적으로 파이썬으로 함께 사용되는 경우가 많음. (웹 크롤링을 통한 웹접근 → 스크래핑을 통한 특정 데이터 추출)중복제거중복제거 필수→ 동일한 콘텐츠가 여러 페이지에 업로드 된 것을 인식하지 못함.반드시 필요한 것은 아님→ 특정 데이터를 추출하는 것차이점웹사이트에 대한 정보를 색인화하고 저장하는 데 사용검색 엔진 및..
