[데이터 전처리] 이상치 및 결측치 처리

240531 Today I Learn

이상치, 결측치란?

EDA 프로세스

💡 결측치
데이터 수집 과정에서 측정되지 않거나 누락된 데이터

💡 이상치
전체 데이터 범위에서 벗어난 아주 작은 값이나 큰 값

 

활용 라이브러리

import pandas as pd 
import numpy as np
import time
from PIL import Image
import warnings

# 오류 경고 무시하기
warnings.filterwarnings(action='ignore')

결측치 처리하기

1. 결측치 제거하기

• 결측치가 있는 열 제거하기

df3 → dropna를 한 뒤의 df3

# 컬럼명이 'Unnamed:4'인 열 제거하기
df3 = df3.drop('Unnamed: 4', axis=1)

# 컬럼이 제거되었는지 확인하기
df3.isnull().sum()

## user id             295
## product id          295
## Interaction type    423
## Time stamp          295

• 결측치가 있는 행 제거하기

# 결측치가 있는 행들은 모두 제거하기
df3.dropna(inplace=True)

# 결측치가 제거되었는지 확인하기
df3.isnull().sum()

## user id             0
## product id          0
## Interaction type    0
## Time stamp          0

2. 결측치 채우기

• 범주형 변수 : 최빈값으로 채우기

df3.info() / df3 / df3.isnull.count()

• df3에 있는 'Interaction Type' 컬럼은 총 423개의 결측치를 가지고 있다. 
• 해당 컬럼은 'purchase', 'view', 'like' 총 세개의 범주로 구분된 범주형 데이터가 있는 컬럼이므로 최빈값으로 결측치를 채울 수 있다.

 

# 결측치가 있는 Interaction type 컬럼을 최빈값으로 대체하기 위해, 해당 컬럼의 최빈값을 구함
df3['Interaction type'].mode()

# 최빈값 검증 : 결측치는 카운트되지 않았음 
df3.groupby('Interaction type').count()

→ df3의 'Interaction type' 컬럼의 최빈값은 like이다.

# fillna()를 이용해 최빈값으로 결측치 채우기
df3 = df3['Interaction type'].fillna(df3['Interaction type'].mode().iloc[0])

# 연산 후 인덱스 재설정
df3= df3.reset_index()

# 최빈값으로 대체된 데이터프레임 확인 
df3.groupby('Interaction type').count()

→ df3의 'Interaction type' 컬럼에 있었던 423개의 결측치가 최빈값인 'like'로 모두 채워졌다.

• 수치형 변수: 평균/ 중앙값으로 채우기

# Shipping Weight 의 경우, 1138 개의 결측치가 있습니다. 
df['Shipping Weight'].isnull().sum()

평균/ 중앙값 계산을 위해 데이터 정제

# split 이용해 단위 부분을 제외한 무게 정보 추출
df['Shipping Weight'].str.split().str[1]

# string to float, 에러무시  
df['sw'] = pd.to_numeric(df['sw'] , errors='coerce')

df.loc[df['Shipping Weight'].isna(), ['Shipping Weight', 'sw']]

# 평균값 대체
# inplace=True 로 하면 원본 데이터가 바뀌게 됩니다.
df['sw'] = df['sw'].fillna(df['sw'].mean())

# 중간값 대체
# inplace=True 로 하면 원본 데이터가 바뀌게 됩니다.
df['sw'] = df['sw'].fillna(df['sw'].median())

# group by 를 활용한 대체 
# Is Amazon Seller 를 기준으로 중앙값 계산하여 대체 
df['sw'] = df['sw'].fillna(df.groupby('Is Amazon Seller')['sw'].transform('median'))

• 수치형 변수: KNN Imputation 

💡 KNN Imputation
모든 변수를 고려하여 k개의 가까운 데이터를 찾아 그 데이터와의 거리에 따라 가중 평균을 취해줌
어떻게 채워야할 지 아이디어가 없을 때 주로 사용

• KnnImputer를 사용하기 위해선 데이터에 문자열이 존재해선 안됨

# 아래 코드는 Shipping Weight 를 int 형식으로 변경
df['sw'] = df['Shipping Weight'].str.split().str[0]
df['sw'] = pd.to_numeric(df['sw'] , errors='coerce').fillna(0.0).astype(int)

# KNN -> 반드시 인코딩 작업을 통해 데이터프레임을 숫자형태로 변환해주어야함.
knn_df = df[['sw']]

• 거리 기반으로 데이터 표준화가 선행되어야함. → 모든 변수들의 거리계산에 대한 기여도를 비슷하게 하기 위해서

scale_df

# 표준화를 진행하기 위한 라이브러리 선언
from sklearn.preprocessing import StandardScaler

# 표준화 진행
scale_df = StandardScaler().fit_transform(knn_df)

filled_df.isnull().sum() / filled_df

# KNN Imputation 진행하기
import pandas as pd
from sklearn.impute import KNNImputer

# KNNImputer 객체 생성
imputer = KNNImputer(n_neighbors=3)  # K(이웃의 수) 지정

# KNN을 사용하여 결측치 대체
filled_df = pd.DataFrame(imputer.fit_transform(scale_df), columns=knn_df.columns)

이상치 처리하기

1. 이상치 식별 기법

💡 Z-Score
데이터의 분포가 정규 분포를 이룰 때, 데이터의 표준 편차를 이용해 이상치를 탐지하는 방법.
각 데이터(행) 마다 Z-score 를 구합니다. Z 값은 X에서 평균을 뺀 데이터를 표준편차로 나눈 값이며, 표준 점수라고 부른다.
표준점수(Z값)은  평균으로부터 얼마나 멀리 떨어져 있는지를 보여주며, ±3 이상이면 이상치로 간주

• Z-Score : 0 해당 데이터는 평균과 같음 (=평균에서 떨어진 거리가 0)
• Z-Score > 0 : 해당 데이터 평균보다 큼.
• Z-Score = 1 : 해당 데이터 포인트는 평균보다 1 표준편차만큼 더 큰 값이다.
• Z-Score > 0 : 해당 데이터는 평균보다 작다.
• Z-Score = -1 : 해당 데이터 포인트는 평균보다 1 표준편차만큼 더 작음 

# 1. string -> float -> int 로 타입 변환
df['sw'] = df['Shipping Weight'].str.split().str[0]
df['sw'] = pd.to_numeric(df['sw'] , errors='coerce').fillna(0.0).astype(int)

# 2. z-score 를 적용할 컬럼 선정 및 표준화 진행
# 컬럼선정
df1 = df[['sw']]

# 표준화 진행
scale_df = StandardScaler().fit_transform(df1)

# 표준화된 scale_df를 df1에 연결하고 컬럼명 변경
merge_df = pd.concat([df1, pd.DataFrame(scale_df)],axis=1)
merge_df.columns = ['Shipping Weight', 'zscore']

strange_df / strange_df.count()

# 3. 이상치 감지 
# Z-SCORE 기반, -3 보다 작거나 3보다 큰 경우를 이상치로 판별 
mask = ((merge_df['zscore']<-3) | (merge_df['zscore']>3))

# mask 메소드 사용해 이상치 값 뽑기
strange_df = merge_df[mask]
strange_df

# 총 55 건 탐지 
strange_df.count()

## Shipping Weight    55
## zscore             55

 

💡 IQR
IQR : (제 3사분위 값) - (제 1사분위 값)
데이터의 25% 지점()과 75% 지점() 사이의 범위를 벗어나는 값들은 모두 이상치로 간주
🚨 이상치는 Q3 + 1.5 * IQR보다 높거나 Q1 - 1.5 * IQR보다 낮은 값을 의미

• 이를 그림으로 그린 것을 Box Plot 이며, IQR 밖의 데이터 포인트는 이상치로 표시됩니다.
• 데이터의 분포가 정규 분포를 이루지 않을 때 사용
  
  

# 1. string -> float -> int 로 타입 변환
df['sw'] = df['Shipping Weight'].str.split().str[0]
df['sw'] = pd.to_numeric(df['sw'] , errors='coerce').fillna(0.0).astype(int)

 

# 2. z-score 를 적용할 컬럼 선정 및 표준화 진행
# 컬럼선정
df1 = df[['sw']]

# Q3, Q1, IQR 값 구하기
q3 = df1['sw'].quantile(0.75) 
q1 = df1['sw'].quantile(0.25)
iqr = q3 - q1

q3, q1, iqr
## (7.0, 1.0, 6.0)

→ 백분위수를 구해주는 quantile 함수를 적용하여 쉽게 구할 수 있음
→ 데이터프레임 전체 혹은 특정 열에 대하여 모두 적용이 가능

# 3. IQR 기준 이상치 필터링
# 이상치 : Q3 + 1.5 * IQR보다 높거나 Q1 - 1.5 * IQR보다 낮은 값을 의미
def is_outlier(df1):
    score = df1['sw']
    if score > q3 + (1.5 * iqr) or score < q1 - (1.5 * iqr):
        return '이상치'
    else:
        return '이상치아님'

# apply 함수를 통하여 각 값의 이상치 여부를 찾고 새로운 열에 결과 저장
df1['이상치여부'] = df1.apply(is_outlier, axis = 1) # axis = 1 지정 필수

# IQR 방식으로 구한 이상치 개수는 349 개 
df1.groupby('이상치여부').count()

 

💡 Isolation Forest
머신러닝 기법 중 하나로, 컬럼 갯수가 많을 때 이상치를 판별하기 용이함.
한 번 분리될 때 마다 경로 길이가 부여되고, 트리에서 몇 번을 분리해야 하는지를 기준으로 데이터가 이상치인지 아닌지를 판단.
→ 이상치는 다른 관측치에 비해 짧은 경로 길이를 가진 데이터이다.

• 데이터셋을 결정트리 형태로 표현함.
  → 질문들이 꼬리를 물고 이어져, 이에 각 값은 매, 펭귄, 돌고래, 곰 중 하나에 배치되게 됨.
• 경로 길이로 점수는 0 에서 1 사이로 산출되며, 결과가 1 에 가까울수록 이상치로 간주하게 .

💡 DBScan
밀도 기반의 클러스터링 알고리즘으로 어떠한 클러스터에도 포함되지 않는 데이터를 이상치로 탐지하는 방법
핵심 포인트들이 서로 연결되어 군집을 형성하며, 이와 연결되지 않은 포인트는 이상치로 분류함.

• 복잡한 구조의 데이터에서 이상치를 판별하는 데 유용
• 주로 지리 데이터 분석, 이미지 데이터 분석의 이상치 기법으로 사용됨.
• 각 데이터의 밀도를 기반으로 군집을 형성시키고, 설정된 거리 내에 설정된 최소 개수의 다른 포인트가 있을 경우, 해당 포인트는 핵심 포인트로 간주합니다.

2. 이상치 처리

📌 이상치 제거

• 이상치가 데이터 오류나 적절하지 않은 값일 경우 제거
• 그러나 데이터의 표본 크기를 줄일 수 있기 때문에 신중하게 하는 것이 좋음

 

📌 이상치 대체

• 로그 변환: 데이터에 로그 변환을 적용하여 극단적인 값을 완화할 수 있습니다.
• 상한값과 하한값: 하한값과 상한값을 결정한 후 하한값보다 적으면 하한값으로 대체, 상한값보다 크면 상한값으로 대체
• 평균 절대 편차: 중위수로부터 n편차 큰 값을 대체한다.

📌 이상치 분리

• 이상치를 별도의 그룹으로 분리하여 분석할 수 있으며, 이상치가 데이터에 중요한 정보를 포함하고 있을 때 유용
  → 새로운 데이터프레임을 생성하여 이상치를 저장해둔다