기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석 (2)

기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석

 

기초 프로젝트 : 은행 고객데이터를 이용한 서비스 분석 (1)

다시 시작한 전처리..! 그래도 목표가 구체화 된 덕에 오히려 갖고 가야 할 부분과 버리고 가야 할 부분이 명확해져서 좋았다. 몸이 안따라줘서 시간을 많이 쏟지는 못했지만, 그래도 밀도 있게 보낸것 같아 뿌듯했던 하루!

🎯 목표 설정

나이, 직업, 연간 소득 등의 특성에 따라 고객을 어떻게 세분화할 수 있을까요?

→ 고객 ID(Customer_ID)를 기본값으로 한 테이블 생성하기

• 숫자 데이터타입 : mean을 이용해 고객별 해당 컬럼값의 평균 구하기
• 문자 데이터타입 : 활용하기 좋게 전처리하기

 

💾  데이터 전처리

1. 숫자 데이터타입

# 언더바 제거 후 타입 변경 함수
def del_underbar_int(data, col):
    for i, x in enumerate(data[col]):
        if pd.notnull(x) and '_' in x:
            data.at[i, col] = x.strip('_')
    
    data[col] = data[col].fillna(0).astype('int64')

def del_underbar_float(data, col):
    for i, x in enumerate(data[col]):
        if pd.notnull(x) and '_' in x:
            data.at[i, col] = x.strip('_')
    
    data[col] = data[col].fillna(0).astype('float')
    
# object -> int/ float로 컬럼 타입 변경
del_underbar_int(bank,'Age')
del_underbar_int(bank,'Num_of_Delayed_Payment')

del_underbar_float(bank,'Annual_Income')
del_underbar_float(bank,'Outstanding_Debt')
del_underbar_float(bank,'Monthly_Balance')
del_underbar_float(bank,'Amount_invested_monthly')

# 데이터 필터링 (mask 이용, 0세 이상 109세 미만) 새로운 데이터 프레임 만들기
mask = ((bank['Age']>0) & (bank['Age']<109)) # bank['Age'].describe() 결과 mean 109.7144, 상식적으로 연령대가 그 이상인 것은 이상치라고 판단. 제외
df1 = bank[mask] 
sns.boxplot(data=df1, x='Age') #boxplot으로 분포 확인

# 숫자형 컬럼만 추출
df1 = df1[['Customer_ID', 'Age', 'Annual_Income',
     'Delay_from_due_date', 'Num_of_Delayed_Payment', 'Outstanding_Debt', 
     'Credit_Utilization_Ratio', 'Total_EMI_per_month', 
     'Monthly_Balance','Amount_invested_monthly']]

# age, 그 외 컬럼들을 따로 만들어 결합하기
df11 = df1[df1['Age']<=100].groupby('Customer_ID').mean().iloc[:,0]
df12 = df1.groupby('Customer_ID').mean().iloc[:,1:9]

bank_float= pd.merge(df11,df12, on = 'Customer_ID', how = 'inner')

# 확인하기
bank_float

2. 문자 데이터타입

# 🌈Type_of_Loan 갯수 제대로 세기

bank['Type_of_Loan'] = bank['Type_of_Loan'].str.replace(', and ', ', ')

def get_length(data):
    if pd.isnull(data):
        return 0  # 결측치인 경우 0을 반환
    lst = data.split(',')
    return len(lst)
    
bank['Num_of_Loan'] = bank['Type_of_Loan'].apply(get_length)
 

 # 🌈< Credit_History_Age 컬럼에서 앞 2자리 가져오기 >

def extract_years(data):
  if pd.isnull(data):
    return 0
  result = data.split()[0]
  return result

bank['Credit_History_Age'] = bank['Credit_History_Age'].apply(extract_years)
bank['Credit_History_Age']


# 🌈문자열행 < 고객 테이블 (문자열) - Customer_ID, Occupation, Type of loan, Credit Mix >

# 1. 해당 컬럼만 bank 데이터프레임에서 새로 bank_str로 만들기
bank_str = bank.loc[:, ['Customer_ID', 'Occupation', 'Type_of_Loan', 'Credit_Mix']]

# 2. '_'가 포함된 이상값 4개씩 반복되는 문자열로 채우기 - 데이터 4개 동일하게 만들기
# 3. 동일한 4개의 데이터 1개로 줄이기

import pandas as pd
import numpy as np

def fill_missing_values(df):
    # 4개씩 반복되는 그룹으로 나누어 처리
    for i in range(0, len(df), 4):
        group = df.iloc[i:i+4]
        # Occupation 컬럼 처리
        occupation_mode = group.loc[~group['Occupation'].str.contains('_'), 'Occupation'].mode()
        if not occupation_mode.empty:
            df.loc[i:i+3, 'Occupation'] = occupation_mode[0]
        # Credit_Mix 컬럼 처리
        credit_mix_mode = group.loc[~group['Credit_Mix'].str.contains('_'), 'Credit_Mix'].mode()
        if not credit_mix_mode.empty:
            df.loc[i:i+3, 'Credit_Mix'] = credit_mix_mode[0]
    return df

# 결측값 채우기
bank_str_filled = fill_missing_values(bank_str)

# 중복된 행 제거 (첫 번째 행만 남김)
bank_str_unique = bank_str_filled.drop_duplicates('Customer_ID')

# 변환된 데이터 프레임 확인
bank_str_unique


# 🌈 bank_str_unique 에서 Type_of_Loan 갯수 제대로 세고 Num_of_Loan 컬럼 추가하기
def get_length(data):
  if pd.isnull(data):
    return 0  # 결측치인 경우 0을 반환
  lst = data.split(',')
  return len(lst)
    
bank_str_unique['Num_of_Loan'] = bank_str_unique['Type_of_Loan'].apply(get_length)

# 🌈 Type_of_Loan 문자열 형식 결측값 NaN -> 빈 문자열로 채우기
bank_str_unique['Type_of_Loan'] = bank_str_unique['Type_of_Loan'].fillna('')

3.  데이터 결합하기 및 데이터 가공

# bank_float와 bank_str_unique 결합하기
df = pd.merge(bank_float, bank_str_unique, on = 'Customer_ID', how = 'inner')

# Age에 따른 나이대 분류
df['age_group']= [int(i//10)*10 for i in df['Age']]