[Pandas] 데이터 전처리 (3) 데이터 병합, 데이터 집계, 데이터 정렬

240509 Today I Learn

데이터 병합하기

데이터 프레임 붙이기 Concat

💡 Concat([붙일 데이터 프레임], axis = 상하(0)/좌우(1))

pd.concat([df1, df2], axis = 0, ignore_index = False)

• axis의 기본값은 0(위아래로 붙이기)
• ignore_index의 기본값은 False(원래 데이터 프레임에서의 인덱스 유지)
  → `ignore_index = True`나 `.reset_index(drop=True)`를 활용해 새로운 인덱스를 부여할 수 있음

• axis = 0 / axis = 1

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2'], 'B': ['B0', 'B1', 'B2']})
df2 = pd.DataFrame({'A': ['A3', 'A4', 'A5'], 'B': ['B3', 'B4', 'B5']})

vconcat = pd.concat([df1,df2], axis = 0)
hconcat = pd.concat([df1,df2], axis = 1)

• ignore_index = True/ False

idx = pd.concat([df1,df2], ignore_index = False)
newidx = pd.concat([df1,df2], ignore_index = True)
newidx2 = pd.concat([df1,df2]).reset_index(drop=True)

데이터 프레임 병합하기 Merge

💡Merge(왼쪽 데이터 프레임, 오른쪽 데이터 프레임, on ='공통된 컬럼', how=조인 방식) 

pd.merge(left_df, right_df, on='key', how='inner)

• 공통된 컬럼값(SQL에서 join과 on을 사용하듯이 사용하면 됨)
• how의 기본 값은 inner로 merge를 통한 결합은 inner join이 기본값이다.
  → SQL과 마찬가지로 'left', 'outer' 옵션을 입력해 left join , outer join이 가능하다.

left_df = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3, 4]})
right_df = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': [5, 6, 7, 8]})

inner_join = pd.merge(left_df, right_df, on='key', how='inner')
outer_join = pd.merge(left_df, right_df, on='key', how='outer')
left_join = pd.merge(left_df, right_df, on='key', how='left')

데이터 집계하기

Group by 와 집계함수

[Pandas] 유용한 판다스 함수 (.loc / .groupby/ .idxmax)

• 예시 1) 복수의 열을 기준으로 Group by 함수 사용하기
  →  성별과 생존여부별 나이의 평균을 구하라.

df.groupby(['Sex','Survived'])['Age'].max()

## Sex     Survived
## female  0           57.0
##         1           63.0
## male    0           74.0
##         1           80.0
## Name: Age, dtype: float64

• 예시 2) 복수의 열에 각각 다른 집계 함수 적용하기
  → 성별과 생존여부 별 나이의 평균(mean)과 최댓값(max), 운임의 최댓값을 구하라.

df.groupby(['Sex','Survived']).agg({'Age':['mean','max'],'Fare': 'max'})

피벗테이블 만들기

💡 df.pivot_table(index = 'row_column', columns = 'col_columns', values = '값')

• index : 행에 들어갈 컬럼
• columns : 열에 들어갈 컬럼
• values : 값을 계산할 컬럼
• margins : 총계
  → 기본값 `margins = False`
• 기타 옵션
  • fill_value : 결측치가 나오는 경우 대체할 값을 입력
  • margins_name : 총계값이 출력될 컬럼명

 

shop = pd.DataFrame({
    'Date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02', '2023-01-01'],
    'cat': ['shoes', 'acc', 'clothes', 'acc', 'shoes'],
    'price': [100,20,300,50,80]
})

shop1 = shop.pivot_table(index = 'Date', columns = 'cat', values = 'price', aggfunc = 'sum')
shop2 = shop.pivot_table(index = 'Date', columns = 'cat', values = 'price',\
                 aggfunc = 'sum', fill_value= 0)
shop3 = shop.pivot_table(index = 'Date', columns = 'cat', values = 'price',\
                 aggfunc = 'sum', fill_value= 0,\
                 margins = True, margins_name= 'tot')

데이터 정렬하기

newjeans = pd.DataFrame({
    'name' : ['Minji','Hanni','Danielle','Haerin', 'Hyein'],
    'age' : [20, 19, 19, 17, 16],
    'nationality' : ['Korea', 'Australia', 'Australia','Korea','Korea'],
    'height': [169,161.7, 165, 165, 170]
})

컬럼 기준으로 정렬하기 : sort_values() 

💡 sort_values(기준컬럼, ascending = True)

• 예시 1) 키(Height)를 기준으로 오름차순, 내림차순 정렬
•  

asc_newjeans = newjeans.sort_values('height')
desc_newjeans = newjeans.sort_values('height',ascending = False)

• 예시 2) 키(Height)와 나이(age)를 기준으로 내림차순 정렬

newjeans.sort_values(['height','age'], ascending = False)

• 예시 3) 키(Height)를 기준으로 내림차순 정렬, 같은 값은 나이(age)를 기준으로 오름차순 정렬

newjeans.sort_values(['height','age'], ascending = [False, True])

인덱스 기준으로 정렬하기 : sort_index()

💡 sort_index(기준컬럼, ascending = True)

newjeans.sort_index(ascending=False)

→ 인덱스를 기준으로 내림차순 정렬