데이터 수집 방법 특강 #2 크롤링

240717 Today I Learn

크롤링과 스크래핑

크롤링 vs. 스크래핑

• 웹 크롤링: 웹상에 존재하는 모든 웹 페이지를 방문하여 데이터를 수집하는 방법. 크롤러는 인터넷 상의 모든 페이지를 방문하며, 각 페이지의 링크를 따라가면서 자동으로 데이터를 수집함.
• 웹 스크래핑: 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것

	웹 크롤링	스크래핑
공통점	원하는 데이터를 수집할 수 있다. 기술적으로 파이썬으로 함께 사용되는 경우가 많음.  (웹 크롤링을 통한 웹접근 → 스크래핑을 통한 특정 데이터 추출)
중복제거	중복제거 필수 → 동일한 콘텐츠가 여러 페이지에 업로드 된 것을 인식하지 못함.	반드시 필요한 것은 아님 → 특정 데이터를 추출하는 것
차이점	웹사이트에 대한 정보를 색인화하고 저장하는 데 사용 검색 엔진 및 기타 자동화 도구에 의해 수행	분석 및 기타 목적을 위해 웹사이트에서 데이터를 추출 사람/이 목적을 위해 특별히 설계된 자동화 도구에 의해 수행

⚠️ 주의사항 : 합법인지 확인 해보기

• '로봇 배제 표준(Robots Exclusion Standard)을 준수했는가'에 대한 확인이 필요하다.
  → 웹페이지 주소 맨 뒤에 '/robots.txt'를 붙여서 확인하기
• 스크래핑/크롤링을 수행하기 전에 해당 웹 사이트의 robots.txt 파일을 반드시 확인하고, 로봇 배제 표준을 준수하는지 확인하는 과정이 필요함.

웹사이트 구성요소 3가지

• HTML (Hyper Text Markup Language) : 웹 사이트의 뼈대
• CSS (Cascading Style Sheets) : 예쁘게 꾸며서 표현
• javascript : 동작하게 만들어 줌

HTML

🍎 MacOS 크롬 개발자도구 단축키(f12)
command(⌘) + option (⌥) +i

💡 HTML (HyperText Mark-up Language)
문서를 설명해주는 정보를 현하는 마크업 언어(=태그로 둘러쌓인 언어=<>)
문서의 내용 이외의 문서의 구조나 서식 같은 것을 포함

• 문서 형식 선언(Doctype): HTML 문서가 어떤 버전의 HTML이나 XHTML로 작성되었는지 웹 브라우저에게 알려줌.
• 루트 요소(html): 루트 요소는 HTML 문서의 최상위 요소로 모든 다른 HTML 요소들을 포함하는 부모 요소
• 헤드(Head):  HTML 문서의 메타데이터와 외부 리소스에 대한 정보를 포함하는 부분.
  → 화면에 직접적으로 보이지 않지만, 웹 브라우저가 문서를 처리하고 표시하는 데 중요한 역할을 함.
• 본문(Body): HTML 문서의 실제 내용을 담고 있는 부분
  → 웹 페이지를 구성하는 모든 텍스트, 이미지, 링크, 테이블, 폼 등의 콘텐츠가 포함
  • <div> : HTML문서 내에서 한 개의 가로 공간(Block)을 만드는 태그
    → <div class >: 하나의 공간(클래스)를 만들겠다
  • <p> : 주로 문장에 대해서 사용하는 태그이며 역시 한 개의 가로 공간(Block)을 만드는 태그

 

Beautiful Soup

• HTML 태그를 기반으로 크롤링을 진행
• request 라이브러리를 통해 웹페이지를 호출하고, BeautifulSoup 라이브러리를 통해 웹에 접근된 상태에서 데이터를 추출
• 스크롤 및 화면이동, 버튼클릭 등의 바뀌는 부분은 크롤링이 불가능 →  Selenium 라이브러리가 대체

💡 파싱
웹 상의 자연어, 컴퓨터 언어 등의 일 련의 문자열들을 분석하는 프로세스

실습

# 처음 1회 설치
# pip install beautifulsoup4

# 라이브러리 불러오기
import requests
from bs4 import BeautifulSoup as bs

# request 라이브러리를 통한 http 통신호출
page = requests.get("https://library.gabia.com/")

# beautifulsoup 라이브러리를 이용한 page의 text 데이터 파싱(문자열분석)
soup = bs(page.text, "html.parser")

# select 문법을 이용하여 html 내 필요한 부분을 모두 선택합니다. 
# div.esg-entry-content 에서 a 를 타고 그 아래로 span 을 타고 내려가서 text 를 불러옵니다.
elements = soup.select('div.esg-entry-content a > span')

# for 구문을 통해 반복적으로 수행해줍니다. 
for index, element in enumerate(elements, 1):
    print("{} 번째 게시글의 제목: {}".format(index, element.text))

Selenium

• 완전히 크롤링을 위한 라이브러리가 아닌, 웹개발자들이 동적 웹이 제대로 작동하는지를 테스트하기 위해서 만들어진 모듈
  → 동적 크롤링이 가능
• 크롬 등의 브라우저를 자동으로 열어서 컨트롤하는 프레임워크

실습

CGV 에 올라온 '범죄도시2' 관련 평점을 셀레니움을 이용해 크롤링 & 스크래핑 해보자.

 

라이브러리 불러오기

from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
import time
import pandas as pd

import warnings
warnings.filterwarnings('ignore')

 

함수

def get_movie_reviews(url, page_num=12):
    # WebDriver 서비스 객체 사용

    #service = ChromeService(executable_path=ChromeDriverManager().install())
    #wd = webdriver.Chrome(service=service)
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--no-sandbox')
    chrome_options.add_argument('--disable-dev-shm-usage')
    wd = webdriver.Chrome(options=chrome_options)

    wd.get(url)
    writer_list = []
    review_list = []
    date_list = []
    like_list = []

    for page_no in range(1, page_num+1):
        try:
            page_ul = wd.find_element(By.ID, 'paging_point')
            page_a = page_ul.find_element(By.LINK_TEXT, str(page_no))
            page_a.click()
            time.sleep(2)

            writers = wd.find_elements(By.CLASS_NAME, 'writer-name')
            writer_list += [writer.text for writer in writers]

            reviews = wd.find_elements(By.CLASS_NAME, 'box-comment')
            review_list += [review.text for review in reviews]

            dates = wd.find_elements(By.CLASS_NAME, 'day')
            date_list += [date.text for date in dates]

            likes = wd.find_elements(By.ID, 'idLikeValue')
            like_list += [like.text for like in likes]

            if page_no % 10 == 0:
                next_button = page_ul.find_element(By.CLASS_NAME, "paging-side")
                next_button.click()
                time.sleep(2)

        except NoSuchElementException:
            break

    movie_review_df = pd.DataFrame({
        "Writer": writer_list,
        "Review": review_list,
        "Date": date_list,
        "Like": like_list
    })
    wd.close()
    return movie_review_df

movie_review_df

# 사용 예시
movie_review_df = get_movie_reviews("http://www.cgv.co.kr/movies/detail-view/?midx=85813", page_num=12)
movie_review_df.to_csv('범죄도시2크롤링.csv', index=False, encoding="utf-8-sig")