판다스(Pandas) 세션 #2 데이터 추출하기, 결측치 처리하기

240514 Today I Learn

Data Selection

Getitem [ ]

💡 dataframe['컬럼명']
DataFrame에서는 column을 지정하여 데이터를 선택할 수 있다. 선택된 데이터는 series 형태로 반환된다.

 

• 예시

• 슬라이싱을 이용해 추출 가능

# 같은 결과값을 출력하는 두 코드
df[0:3]
df["20240513":"20240515"]

• • 숫자로 슬라이싱 하는 경우 [시작할 숫자 : 끝날 숫자 +1]
  • 문자로 슬라이싱 하는 경우 [시작할 문자 : 끝날 문자]

Selection by label

💡 loc : 라벨명으로 위치를 지정하여 데이터 추출

• 특정 row를 매칭해 추출하는 경우

# dates[0] = '2024-05-13'
# row 값이 2024-05-13인 행 추출
df.loc[dates[0]]

## A    0.491729
## B   -0.344907
## C   -0.360853
## D    1.094950
## Name: 2024-05-13 00:00:00, dtype: float64

• 선택한 칼럼에서 모든 row를 추출하는 경우

# 모든 행의 'A', 'B' 칼럼을 추출
df.loc[:, ["A", "B"]]

• 슬라이싱

df.loc["20240513":"20240515", ["A", "B"]]

→ 20240513, 20240515 자리에 dates[0], dates[2]가 들어갈 수 있음. 단 (0, 2) 와 같은 정수형 인덱스는 X

• 한개의 값만 추출하는 경우 → 웬만하면 at 사용하기

df.loc['2024-05-13', 'A']

## df.loc['2024-05-13', 'A']

💡 at: 라벨명으로 위치를 지정하여 한개의 데이터를 추출할 때 용이

df.at['2024-05-13', 'A']

## df.at['2024-05-13', 'A']

Selection by position

💡 iloc : 정수로 위치를 지정하여 데이터 추출

• 정수로 위치를 지정하여 데이터 추출

df.iloc[3]

## A   -0.173435
## B   -0.813897
## C    0.248284
## D   -1.714577
## Name: 2024-05-16 00:00:00, dtype: float64

• 슬라이싱

df.iloc[3:5, 0:2]

→ 3-4번째 행, 0-1번째 컬럼 슬라이싱 해 추출하기

df.iloc[3:5]

→ 3-4번째행 추출하기(이와 같이 모든 컬럼을 불러오고 싶을 때에는 별도로 지정해두지 않아도 됨)

df.iloc[:,0:2]

→ 반면 모든 행의 첫번째 두번째 컬럼만 슬라이싱 하고 싶다면 위와 같이 할 수 있음.
→ 값을 입력하지 않은 콜론(:)과 콤마(,)를 넣어주어야 '컬럼'을 슬라이싱 할 수 있음.

• 리스트로 위치를 지정해 데이터 추출

df.iloc[[1, 2, 4], [0, 2]]

 

• 한개의 값만 추출하는 경우→ 웬만하면 iat 사용하기

df.iloc[1,1]

## 0.39981191278183553

💡 iat: 정수로 위치를 지정하여 한개의 데이터를 추출할 때 용이

df.iat[1, 1]

## 0.39981191278183553

Boolean Indexing

• 불리언 인덱싱 : 조건에 맞는 값을 슬라이싱 하는 것

 

알면 유용한 파이썬 문법 (4) 불리언 인덱싱, 데코레이션

• 예시 1) 데이터 슬라이싱하기 (원하는 값만 추출)

# A 값들이 0보다 큰 데이터들을 선택
df[df["A"] > 0.1]

 

• 예시 2) 조건을 충족하는지 표시

# 조건 : df에서 데이터가 0보다 큰 경우
df[df>0]

💡 유용한 필터링 함수 isin()
데이터 프레임/ 시리즈에서 특정 값이 있는지 없는지 불리언 형태로 판별하는 함수

# df2의 컬럼 'E'에 'two', 'four'를 값으로 가지는 행을 추출하라
df2[df2['E'].isin(['two','four'])]

 

Missing value Handling

💡 결측값을 처리하는 두가지 방법
1. 결측치를 제거하는 것
- 장점 : 간단하고, 데이터 왜곡이 없음
- 단점 : 데이터 수가 줄어듬 (머신러닝, 딥러닝시 성능에 영향을 줄 수 있음)
2. 대체값을 채워 넣는 것(보간법)
- 장점 : 데이터 수를 유지할 수 있음
- 단점 : 데이터가 왜곡될 수 있음 → 올바른 대체값(평균, 중앙값, 0)을 넣어줘야함

0. 결측 값 계산하기

• df.isna()를 이용하면 불리언 형태로 nan인지 아닌지 판정 가능

집계함수 sum을 이용하면 총 결측값을 계산할 수 있음

• 컬럼별 결측값의 수 계산하기 

df1.isna().sum()

## A    0
## B    0
## C    0
## D    4
## E    1
## dtype: int64

• 행별 결측값의 수 계산하기

df1.isna().sum(axis = 1)

## 2024-05-13    1
## 2024-05-14    1
## 2024-05-15    1
## 2024-05-16    2
## Freq: D, dtype: int64

1. 누락된 행을 삭제하기 

💡 df.dropna(how = 'any'/ 'all', axis = 0)

• how 
  • all : 모든 컬럼과 row가 nan이어야 삭제
  • any : 컬럼 또는 row가 nan인 경우 삭제
• axis
  • 0 : 행
  • 1 : 열

 

df1

• df.dropna(how='all')

df1.dropna(how="all")

→ 칼럼과 행 모두 nan 값인 마지막 행(2024-05-16)을 삭제

• df.dropna(how='any')

df1.dropna(how="any", axis = 1)

→ 칼럼 또는 행이 결측값인 컬럼 D, E를 삭제함

2. 결측값을 새로운 값으로 채우기

💡 df.fillna(value = '채울 값')
결측값을 새로운 값으로 채우기

df1.fillna(value=0)

→ D와 E에 있던 NaN값을 모두 1로 대체