머신러닝의 이해와 라이브러리 활용 (4) 데이터 분석 프로세스

240607 Today I Learn

데이터 수집

데이터 수집 프로세스

1. Data Source
   • OLTP Database: OnLine Transaction Processing 은 온라인 뱅킹,쇼핑, 주문 입력 등 동시에 발생하는 다수의 트랜잭션(데이터베이스 작업의 단위) 처리 유형
   • Enterprise Applications: 회사 내 데이터 (ex 고객 관계 데이터, 제품 마케팅 세일즈)
   • Third - Party: Google Analytics와 같은 외부소스에서 수집되는 데이터
   • Web/Log: 사용자의 로그데이터
2. ETL(Extract, Transform, and Load) : 다양한 소스의 데이터를 데이터 웨어하우스에 결합하는 과정
   • Data Lake: 원시 형태의 다양한 유형의 데이터를 저장
   • Data Warehouse: 보다 구조화된 형태로 정제된 데이터를 저장
3. Data Marts: 회사의 금융, 마케팅, 영업 부서와 같이 특정 조직의 목적을 위해 가공된 데이터
4. BI/Analytics: business Intelligence(BI): 의사결정에 사용될 데이터를 수집하고 분석하는 프로세스

데이터 수집 방법

1. 회사 내 데이터가 존재하는 경우 → SQL, Python을 사용해 데이터마트 생성
2. 회사 내 데이터가 존재하지 않는 경우
   • CSV, EXCEL 파일 다운로드
   • API를 이용한 데이터 수집
   • Data Crawling

💡 API(Application Programming Interface)란?
응용프로그램에서 사용할 수 있도록, 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스.
가장 많이 쓰이는 것은 웹 API로, HTTP 프로토콜을 사용하여 인터넷을 통해 데이터 및 기능을 전송할 수 있도록 하는 데 사용된다.

API의 예시 : 소셜 미디어

• 소셜 미디어 회사는 API를 사용하여 다른 주체가 소셜 미디어 앱에서 제공하는 콘텐츠를 공유하고 자신의 사이트에 임베드할 수 있도록 합니다. 예를 들어, 인스타그램 API를 사용하면 기업이 웹사이트에 인스타그램 그리드를 삽입하고 사용자가 새 게시물을 추가하면 그리드가 자동으로 업데이트되도록 할 수 있습니다.

탐색적 데이터 분석(EDA)

• 기술통계를 이용한 EDA
  • info : 컬럼별 데이터 개수 및 데이터 타입 확인
  • describe : 컬럼별 기술통계량
    → include = 'all' 옵션을 사용하면 범주형 데이터의 기술통계량(최빈값) 확인 가능
• 시각화를 이용한 EDA
  • countplot: 범주형 자료의 빈도 수 시각화
    → 데이터의 각 카테고리별 빈도수
  • barplot: 범주형 자료의 시각화
    → 각 카테고리에 따른 수치 데이터의 평균을 비교
  • boxplot: 수치형 & 범주형 자료의 시각화
    → 데이터의 분포, 중앙값, 사분위 수, 이상치 등을 한눈에 표현
  • histogram: 수치형 자료 빈도 시각화
    → 연속형 분포를 나타내고 싶을 때, 데이터가 몰려있는 구간을 파악
  • scatterplot: 수치형끼리 자료의 시각화
    → 두 연속형 변수간의 관계를 시각적으로 파악
  • pairplot: 전체 변수에 대한 시각화
    → 한 번에 여러 개의 변수를 동시에 시각화

데이터 전처리

이상치와 결측치 처리

[데이터 전처리] 이상치 및 결측치 처리

• 이상치 처리
  1. Extreme Studentized Deviation(ESD) 이용 : 데이터가 정규분포를 따른다고 가정할 때, 평균에서 표준편차의 3배 이상 떨어진 값이다.
  2. IQR(Inter Quantile Range)를 이용한 이상치 발견
• 결측치 처리

인코딩

• 레이블 인코딩 : 문자열 범주형 값을 고유한 숫자로 할당
  → sklearn.preprocessing.LabelEncoder
  • 장점: 모델이 처리하기 쉬운 수치형으로 데이터 변환
  • 단점: 실제로는 그렇지 않은데, 순서 간 크기에 의미가 부여되어 모델이 잘못 해석 할 수 있음

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()

# 라벨인코더는 fitting 시 1차원 array만을 넣어야 함.
le.fit(titanic['Sex'])
titaninc_df['Sex_le'] = le.transform(titaninc['Sex'])

# transform과 fitting을 한번에 하고 싶다면
# fit_transform 사용하기
# titanic['Sex_le'] =le.fit_transform(titanic['Sex'])

• 원 핫 인코딩 : 각 범주를 이진 형식(0,1)으로 변환하는 기법
  → pd.get_dummies, sklearn.preprocessing.OneHotEncoder
  • 장점: 각 범주가 독립적으로 표현되어, 순서가 중요도를 잘못 학습하는 것을 방지, 명목형 데이터에 권장
  • 단점: 범주 개수가 많을 경우 차원이 크게 증가(차원의 저주) , 모델의 복잡도를 증가, 과적합 유발

titanic[['Embarked']] , embarked_csr_df

from sklearn.preprocessing import OneHotEncoder
oe = OneHotEncoder()

# fitting
oe.fit(titanic[['Embarked']])

# transform
embarked_csr = oe.transform(titanic[['Embarked']])

# columns = oe.get_feature_names_out()이용해 각각의 컬럼으로 인코딩하기
# 원래 데이터 프레임과 merge해서 사용할 수 있음
embarked_csr_df = pd.DataFrame(embarked_csr.toarray(), columns = oe.get_feature_names_out())

스케일링

• 표준화 : 각 데이터에 평균을 빼고 표준편차를 나누어 평균을 0 표준편차를 1로 조정
  → sklearn.preprocessing.StandardScaler
  • 장점 : 이상치가 있거나 분포가 치우쳐져 있을 때 유용. 대체로 많은 알고리즘에서 좋은 성능
  • 단점 : 데이터의 최소-최대 값이 정해지지 않음.

# 'Fare'의 경우 std가 약 49.7 가량으로 높은편
# 따라서 이상치에 민감하지 않은 standard scaler 사용
from sklearn.preprocessing import StandardScaler
sd_sc = StandardScaler()

# fitting & transformation
titanic['Fare_sd_sc'] = sd_sc.fit_transform(titanic[['Fare']])

• 정규화 : 데이터를 0과 1사이 값으로 조정(최소값 0, 최대값 1)
  → sklearn.preprocessing.MinMaxScaler
  • 장점 : 최대-최소 범위가 명확
  • 단점: 이상치에 영향을 많이 받을 수 있음(반대로 말하면 이상치가 없을 때 유용)

# 'Age'의 경우 최대, 최소 범위가 명확해 MinMaxScaler 사용
from sklearn.preprocessing import MinMaxScaler
mm_sc = MinMaxScaler() 

# fitting & transformation
titanic['Age_mean_mm_sc'] = mm_sc.fit_transform(titanic[['Age_mean']])

• 로버스트 스케일링 : 중앙값과 IQR을 사용하여 스케일링
  → sklearn.preprocessing.RobustScaler
  • 장점: 이상치의 영향에 덜 민감
  • 단점: 표준화와 정규화에 비해 덜 사용됨

데이터 분리

💡 과대적합(Overfitting)
데이터를 너무 과도하게 학습한 나머지 해당 문제만 잘 맞추고 새로운 데이터를 제대로 예측 혹은 분류하지 못하는 현상. 모형이 지나치게 복잡하거나 단순할 때 과대적합이 발생할 수 있음.

• 모델의 복잡도
• 데이터 양이 충분하지 않음
• 학습 반복이 많음(딥러닝의 경우)
• 데이터 불균형(정상환자 - 암환자의 비율이 95: 5)

▷ 분석 단계에서 과대적합을 방지하기 위해 모델을 학습하기 위한 Train 데이터와 모델을 평가하기 위한 Test 데이터로 데이터를 분리함.
→ sklearn.model_selection.train_test_split

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(titanic[['Fare','Sex']],
                                                    titanic[['Survived']],
                                                    test_size= 0.3, # test 데이터의 크기 비율로 지정 (test data가 0.3으로 입력되면 train data는 자동으로 0.7)
                                                    shuffle = True, # 데이터 셔플
                                                    random_state= 42, # seed
                                                    stratify = titanic[['Survived']]) # stratify (층화추출) 데이터의 비율을 맞춰서 추출해준다.

모델링 평가

교차 검증과 GridSearch

💡교차검증(Cross Validation)
데이터 셋을 여러 개의 하위 집합으로 나누어 돌아가면서 검증 데이터로 사용하는 방법. 고정된 테스트 데이터에서 발생할 수 있는 과적합 문제를 방지하기위해 사용

• K-Fold Validation : Train Data를 K개의 하위 집합으로 나누어 모델을 학습시키고 모델을 최적화 하는 방법
  → skelarn.model_selection.KFold, sklearn.model_selection.StrifiedKFold
  • 데이터가 부족할 경우 유용
  • K개로 나눠진 데이터중 1개씩 테스트 데이터로 뽑아서 사용(5개라면 1개는 테스트, 4개는 Train 데이터로 활용하고 이 작업을 총 5회 반복하게 된다.)

from sklearn.model_selection import KFold
import numpy as np

# kfold 설정 - 몇 개로 데이터를 나눌지
kfold = KFold(n_splits = 5)

# split마다 score를 저장할 빈 리스트 만들기  
scores = [] 
X = train_2[['Age_mm_sc','Fare_sd_sc','Family_mm_sc','Pclass_le','Sex_le','Embarked_C','Embarked_C','Embarked_C']]
y = train_2['Survived']

# kfold 번 모델의 교차검증 정확도 확인
for i, (train_index, test_index) in enumerate(kfold.split(X)):
    X_train, X_test = X.values[train_index], X.values[test_index]
    y_train, y_test = y.values[train_index], y.values[test_index]
    
    # accuracy 계산하기
    from sklearn.linear_model import LogisticRegression
    from sklearn.metrics import accuracy_score
    model_lor2 = LogisticRegression()
    model_lor2.fit(X_train,y_train)
    y_pred2 = model_lor2.predict(X_test)
    accuracy = accuracy_score(y_test, y_pred2)

    # 교차검증 정확도 print 후 평균 정확도 계산 위해 이를 score에 저장
    print(i,'번째 교차검증 정확도는', accuracy)
    scores.append(accuracy)

print('평균 정확도', np.mean(scores))

💡Grid Search
하이퍼파라미터 튜닝에 사용되는 기술으로, 모델을 학습할 때, 다양한 하이퍼파라미터 값들을 시도해보고 최적의 조합을 찾는 과정에서 활용된다.가능한 모든 하이퍼파라미터 값들의 조합을 시도해보고, 이를 통해 최적의 모델 성능을 찾는 것을 목표로 하는 함수이다. 하이퍼파라미터 공간이 커질수록 계산 비용이 기하급수적으로 증가한다는 단점이 있다.

# gridsearch 라이브러리 import
from sklearn.model_selection import GridSearchCV

# solver(5) x max_iter(2) 개의 모델을 만들어서 경우의 수 검색
params = {'solver' : ['newton-cg','lbfgs','liblinear','sag','saga'],
          'max_iter' : [100,200]}

# solver의 default = lbfgs
grid_lor = GridSearchCV(model_lor2, param_grid = params, scoring='accuracy', cv = 5)
grid_lor.fit(X_train, y_train)

print('최고의 하이퍼 파라미터',grid_lor.best_params_)
print('최고의 정확도', grid_lor.best_score_.round(3))