데이터 수집 방법 특강 #1 API

240716 Today I Learn 

API 통신의 개념

개념

API(Application Programming Interface)

소프트웨어 구성 요소가 서로 통신할수 있게 하는 방식(메커니즘).
→ 프로그램과 프로그램을 연결시켜주는 통신의 방법

•  간단한 호출구문을 통해 데이터를 송신받을 수 있음.
• 오픈 API 란, 기업 내 데이터를 일반 사용자에게 공개하는 것

역할 및 특징

• 권한관리
  • 많은 데이터가 적재(저장)되는 DB 에는 모든 사람들이 이 DB에 접근하면 보안상의 이슈가 발생할 수 있음.
  • API 는 이를 방지하기 위해 접근이 허용된 로컬에게만 권한을 부여하는 ‘중간관리자’ 역할을 수행
• 프로그램 간 (원활한) 통신 지원
  • API 는 자칫 어려운 방식으로 데이터를 수집할 수 있는 부분을 키값을 통해 간편한 통신을 지원
  • 해당 키값에는 할당량(호출량)이 부여되고, 경우에 따라서는 할당량을 초과하는 경우 과금되는 경우도 있음.
• 접속 표준화 → 이 데이터에 접근하려면 규칙을 지켜서 접근해라
  • DB에 접근하는 요청을 표준화
  • 데이터 API 접근시 규칙을 두어주는 것이 되고, 이것이 곧 API 표준화

종류 👈허용 범위와 관련

• Public API : 누구나 사용가능한 공개 API
• Private API : 사내에서 사용하는 API
• Partner API : 미리 정해놓은 사용자들만 쓰는 API
• Window API : 운영체제 대상 API

데이터 포맷

• JSON : JavaScript에서 객체를 만들 때 사용하는 표현식
  • 웹브라우저상에서 작동하면서 데이터를 저장하거나 전송할 목적으로 디자인된 경량의 DATA 교환형식
  • 작성구조가 매우 간단하고 타 프로그래밍언어에서도 용이하게 작성할 수 있다는 범용성 측면에서 강점이 있음.
  • 단순히 중괄호({})에 데이터값을 일렬로 나열 후 각 데이터값마다 comma(,)로 구분
• XML : 데이터베이스상에서 데이터필드값을 어떤 구조로 배치해 저장할 것인가를 정의
  • <>안에 특정 요소를 넣으면 해당 태그 안의 내용은 데이터베이스의 구조상 해당 요소의 데이터필드값으로 정의가 가능하다는 의미를 가지고 있음.
  • 태그를 기반으로 데이터값의 구조적 위치를 정의

API 통신의 원리

HTTP API 통신

💡 프로토콜(Protocal)
메시지를 주고 받는 양식과 규칙의 체계로, 통신 규약

응용(Application)	HTTP, SMTP, FTP, Telnet
표현(Presentation)	ASCII, MPEG, JPEG, MIDI
전송(Transport)	TCP, UDP, SPX
네트워크(Network)	IP, IPX
데이터 링크(Data Link)	Ethernet, Token Ring, FDDI, Apple Talk

→ 인터넷에서는 TCP와 IP라는 프로토콜이 표준으로 사용됨.

• HTTP 프로토콜: 웹 브라우저로 웹 사이트에 접속할 경우 따르는 규약에 대한 프로토콜
  • IP 프로토콜: 한 컴퓨터에 다른 컴퓨터까지 데이터를 전송하기 위한 절차와 방법을 정한 프로토콜
  • TCP 프로토콜: 네트워크의 혼잡도 등을 고려해 데이터의 흐름을 제어하고 데이터가 정확히 도착할 수 있게 하는 절차와 방법을 정한 프로토콜
• 프로토콜 주요 기능
  • 단편화 : 송신 측에서 긴 데이터 블록을 손쉽게 전송할 수 있도록 크기가 똑같은 작은 블록으로 나누어 전송
  • 재합성 : 수신 측에서 쪼개진 작은 데이터 블록을 재합성하여 원래의 메시지로 복원하는 기능
  • 캡슐화: 각 프로토콜에 적합한 데이터 블록을 만들려고 데이터에 정보를 추가하는 기능

💡 HTTP API

HTTP를 이용해 프로그램끼리 소통하는 API로, 우리가 흔히 보는 OPEN API, facebook API, kakao API 등의 대부분 API는 HTTP라는 통신 규칙으로 소통하는 API
→ HTTP를 사용해서 서로 정해둔 스펙으로 데이터를 주고 받으며 통신하는 것

REST API 통신

💡 REST API
REST는 HTTP를 잘 활용하기 위한 원칙으로 REST API는 바로 이 원칙을 준수해 만든 API

•  HTTP 통신 프로토콜을 따르면서, 아래 4가지 추가 규약을 따른다.
  • 자원의 식별
  • 메세지를 통한 리소스 조작
  • 자기서술적 메세지
  • 애플리케이션의 상태에 대한 엔진으로서 하이퍼미디어(HATEOAS)

API 통신 제반사항

1. API 데이터를 제공하는 사이트에서  OPEN API 를 클릭한 뒤 인증키 신청을 진행
2. 서비스 사용환경 및 사용 URL을 설정
3. 사용 URL은 localhost* 로 기입
4. 발급받은 인증키를 샘플 URL의 빈 자리에 넣어주기

맥북에서 localhost 찾기

 

설정 - 일반 - 시스템 리포트

네트워크 - IPv4 주소 확인

Python 실습

라이브러리 설치

# requests 라이브러리 설치
pip install requests

# 기본 라이브러리 임포트
import requests
import pprint
import json
import pandas as pd

• requests는 python 으로 HTTP 호출시 가장 많이 사용되는 라이브러리로 주요 함수는 아래 4가지가 존재
  • GET : 요청, 값 가져오기
  • POST : 생성, 액션
  • PUT : 수정, 덮어씌우기
  • DELETE : 삭제

실습

raw1.T

# 서울시 열린광장에서 복사해온 KEY 값과 URL 을 기입
# url 중 xml 부분을 json 으로 변경 
url = 'http://openapi.seoul.go.kr:8088/key값/json/ServiceInternetShopInfo/1/5/'

# request library 를 이용한 json file 로드하기 
response = requests.get(url).json()

# json 파일의 row 데이터 로드 
# response['ServiceInternetShopInfo']['row']

# json file 형식을 dataframe 으로 받아주기
raw1 = pd.DataFrame(response['ServiceInternetShopInfo']['row'])
raw1.head()

 

# json file 의 key 값 확인하기 (각 딕셔너리 값으로 이뤄져있음)
response['ServiceInternetShopInfo'].keys()

# json 데이터 확인 
response

## {'ServiceInternetShopInfo': {'list_total_count': 129917,
##   'RESULT': {'CODE': 'INFO-000', 'MESSAGE': '정상 처리되었습니다'},
##   'row': [{'COMPANY': '앙크 / ANGCH',
##     'SHOP_NAME': '앙크 / ANGCH',
##     'DOMAIN_NAME': 'www.angch.co.kr',
##     'TEL': '확인안됨',
##     'EMAIL': 'halo_an@naver.com',
##     'UPJONG_NBR': '',
##     'YPFORM': ' 일반쇼핑몰',
##     'FIRST_HEO_DATE': '2021-05-24',
##     'COM_ADDR': '확인안됨',
##     'STAT_NM': '휴업중',
##     'TOT_RATINGPOINT': '1',
##     'CHOGI_RATINGPOINT': '0',
##     'CHUNG_RATINGPOINT': '3',
##     'DEAL_RATINGPOINT': '0',
##     'PYOJUN_RATINGPOINT': '3',
##     'SECURITY_RATINGPOINT': '3',
##     'SERVICE': '',
##     'CHUNG': '가능',
##     'CHOGI': '',
##     'GYULJE': '',
##     'PYOJUN': '표준약관 사용',
##     'P_INFO_CARE': '초기화면표시',
##     'PER_INFO': '',