기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석 (3)

기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석

 

기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석 (2)

 

자꾸 데이터 전처리 단계로 돌아가는 중....ㅠ이지만 중꺾마 마인드로 일단 해보는 중이다.!

 

🧹 결측치 처리하기

결측값 찾기

bank.isna().sum()을 활용해 전체 컬럼 중 결측치가 있는 컬럼을 찾았다. 결측값이 발견된 컬럼은 Type of Loan, Num_of_Delayed_Payment, Credit_History_Age, Amount_invested_monthly, Monthly_Balance 이렇게 5개의 컬럼이었다. 각각의 컬럼에 대해 알맞는 결측값을 계산해 채워보도록 하겠다.

bank.isna().sum()

## ID                             0
...
## Type_of_Loan                5704
## Delay_from_due_date            0
## Num_of_Delayed_Payment      3498
## Credit_Mix                     0
## Outstanding_Debt               0
## Credit_Utilization_Ratio       0
## Credit_History_Age          4470
## Payment_of_Min_Amount          0
## Total_EMI_per_month            0
## Amount_invested_monthly     2271
## Payment_Behaviour              0
## Monthly_Balance              562
## dtype: int64

Type of Loan : 'none'

대출을 받은 고객의 경우 Type of Loan 컬럼에 '어떤 대출을 받았는지' 대출의 종류가 명기되어있다. 확인 결과, 결측값이 존재하는 행들은 대출의 개수를 세는 'num_of_loan'컬럼에 값이 없는것을 확인했고, 따라서 대출을 받지 않은고객으로 간주, 'none'으로 null값을 채웠다.

 

bank['Type_of_Loan'] = bank['Type_of_Loan'].fillna('none')

Num_of_Delayed_Payment : 평균

delayed payment가 발생했는지, 발생하지 않았는지 확인할 수 없기 때문에  이상치를 제외(0~30범위 외 값)해 계산한 평균(mean_delayed_payment)로 결측치를 채워넣었다.

# Num_of_Delayed_Payment
cond = (bank['Num_of_Delayed_Payment']>=0) & (bank['Num_of_Delayed_Payment']<=30)
mean_delayed_payment = bank.loc[cond,'Num_of_Delayed_Payment'].mean()
mean_delayed_payment #13.417525098210389

# 결측치 채우기
bank['Num_of_Delayed_Payment'] = bank['Num_of_Delayed_Payment'].fillna(mean_delayed_payment)

Credit_History_Age : 0

Credit History Age에 대한 정보가 없는 경우, 은행에 대한 신용 기록이 없다고 간주 0으로 값을 채워넣었다. (전처리 단계에서 year단위만 추출하기 위해 extract_years를 사용했는데, 이 과정에서 pd.isnull을 활용해 결측치를 채웠다.)

def extract_years(data):
  if pd.isnull(data):
    return 0
  result = data.split()[0]
  return result

bank['Credit_History_Age'] = bank['Credit_History_Age'].apply(extract_years)

 

Amount_invested_monthly : customer_id별 평균

Amount_invested_monthly의 경우 반복적으로 __10000__값이 등장해 언더바 제거에 포함하지 않았다. (1. __10000__이라는 같은 값들이 10회 이상 발견 2. customer_id별로 샘플을 뽑아 확인해보았을 떄 네달간의 데이터 중 언더바를 제거한 상태인 10000이 지나치게 큰 값이라는 사실을 확인함)

따라서 __10000__과 공백값을 모두 error, 결측치로 판단하고 customer_id별 평균값을 계산해 이를 채워넣었다. 1차적으로 값을 채워넣은 결과 4개의 공백값이 발생했고, 이는 앞서 이상치를 삭제하였기 때문이었다. (이러한 사유때문에 결측치 처리를 먼저 해야한다는 사실을 깨닫게 되었다..!) 4개의 공백값의 경우 채워넣을 값에 대한 정보를 알 수 없었기 때문에 0으로 값을 채워넣었다.

# 데이터 타입을 numeric으로 변환하기 : __10000__값 또는 공백값은 모두 error로 반환
bank['Amount_invested_monthly'] = pd.to_numeric(bank['Amount_invested_monthly'], errors='coerce')

# customer_id별 평균값으로 error난 곳 채워넣기
bank['Amount_invested_monthly'] = bank.groupby('Customer_ID')['Amount_invested_monthly'].transform(lambda x: x.fillna(x.mean()))

# null값 세기
bank['Amount_invested_monthly'].isna().sum()  ## 결과 4

# customer_id가 'CUS_0x311a'인 고객의 경우 amount_invested_monthly 값이 모두 없음 -> 0으로 채우기
bank['Amount_invested_monthly'] = bank['Amount_invested_monthly'].fillna(0)

Monthly_Balance : 평균(mean)

Monthly_balance의 경우 역시 562개의 결측치가 발생하였는데, 이상치인 0을 제외한 나머지 값들의 평균으로 결측값을 채워넣었다.

# monthly balance 결측치 (평균으로 채우기)
mean_balance = bank[bank['Monthly_Balance']>0]['Monthly_Balance'].mean()
bank['Monthly_Balance'] = bank['Monthly_Balance'].fillna(mean_balance)

🗑️ 이상치 처리하기

컬럼 정보가 불명확했음에도, 상식이나 관련 조사 결과 말이 되지 않는 이상치들이 발견되었고, 다음과 같이 처리하였다.

Age : 0 ~ 109

bank = bank[((bank['Age']>0) & (bank['Age']<=109))]
bank['Customer_ID'].count() ##48599

Interest_Rate : 30이하

bank = bank[bank['Interest_Rate']<30]
bank['Interest_Rate'].count()  #43846

Num_of_Delayed_Payment 0이상 30 

cond = (bank['Num_of_Delayed_Payment'] >= 0) & (bank['Num_of_Delayed_Payment'] <= 30)
bank = bank[cond]
bank['Num_of_Delayed_Payment'].count() ##43,226

 

Monthly Balance, Delay_from_due_date 음수삭제

bank = bank[bank['Monthly_Balance']>0]
bank['Monthly_Balance'].count() ##43220

cond = (bank['Delay_from_due_date']) >= 0 & (bank['Delay_from_due_date'] <= 54)
bank = bank[cond]
bank['Delay_from_due_date'].count()##42942