머신러닝 특강 #1 분류(Clasification)

240612 Today I Learn

머신러닝

머신러닝 알고리즘의 종류

1. 지도 학습 (Supervised Learning)
2. 비지도 학습 (Unservised Learning)
3. 강화 학습 (Reinforcement Learning)

머신러닝 모델  성능 평가 지표

• 정확도 Accuracy = (True Positive +True Negative)/Total

Accuracy 가 만능일 수 없는 이유
어떤 회사에서 100명중 2명을 암환자로 예측하는 모델을 만들고 싶을 때, accuracy를 가장 높게 할 수 있는 방법은 무엇일까?
바로 100명의 환자를 모두 암환자라고 분류하는 모델을 만드는 것이다. 100명의 환자를 모두 암환자로 분류하는 모델의 정확도는 무려 98%가 된다. 그렇다면 이 회사는 '저희 모델은 98%의 정확도로 암환자를 예측합니다.'라고 이야기 할 수 있을까?
98%라는 수치만 보면 이 회사가 엄청난 모델을 개발한 것 같지만, 모든 환자를 암환자라고 판정하는 모델이 과연 암환자인지 아닌지 구분할 수 있는 모델인가? 그렇지 않다. 

• 민감도 Precision
  • (positive) = (True Positive) / (Predicted Positive) = TP/(TP+FP)
  • (negative) = (True Negative) / (Predicted Negative) = TN/(TN+FN)
• 재현율 Positive Recall (Sensitivity) = True Positive Rate = Sensitivity = TP/(TP+FN)
• 특이도 Negative Recall (Specificity) = True Negative Rate = Specificity = TN/(TN+FP)
• F 스코어 F-measure (positive) = 2 x Precision x Recall = 2 x TP Precision + Recall 2 x TP + FP + FN

💡 교차 검증(Cross Validation)
데이터를 학습 세트와 테스트 세트로 나누고, 학습 세트에서 모델을 학습시킨 다음, 테스트 세트에서 모델을 평가하는 과정

• 머신러닝 모델 선택하기
  • 성능이 좋은 모델이면서
  • 모델의 해석 가능성, 복잡성 및 계산 비용과 같은 다른 요소도 고려해야 한다.

머신러닝 알고리즘

White box vs. Gray box vs. Black box 모델

• White box   : 해석 가능한 피쳐들을 이용해 더 많은 인사이트를 얻어 모델에서 어떤 일들이 벌어지고 있는지 쉽게 이해할 수 있음.
• Gray box (white + black) :  머신러닝 알고리즘의 내부 작동을 부분적으로 관찰가능
• Black box: 모델이 내부적으로 어떻게 작동하는지 관찰하거나 이해하기 어려운 문제

 

KNN(K-Nearest Neighbors)

💡 KNN
데이터를 주변의 K개의 가장 가까운 데이터들의 범주를 기반으로 예측하는 기법. 새로운 데이터와 가장 유사한 K개의 데이터를 찾아가는 머신러닝 기법으로, 유클리드 거리나 맨하탄 거리 등의 거리 측정 방법을 사용한다.

• 작동 단계
  1. 데이터 준비
  2. 거리 계산
     • 유클리드 거리 - 두 점 사이의 직선 거리를 측정하는 방법으로, 평면이나 공간에서 두 점 사이의 가장 짧은 경로를 나타낸다.
     • 맨하탄 거리 - 좌표에 표시된 두 점 사이의 거리(절댓값)의 차이에 따른 새로운 거리
  3. 계산된 거리 중 가장 가까운 K개의 이웃을 선택
  4. 선택된 K개의 이웃 중 가장 많은 범주를 새로운 데이터의 범주로 할당
• 사용 라이브러리 - sklearn.neighbors.KNeighborsClassifier

나이브 베이즈 (Naive Bayes)

💡 나이브 베이즈 (Naive Bayes)
확률 기반 분류 기법으로, 독립 변수 간의 독립성을 가정하여 확률을 계산하는 분류 기법. 베이즈 정리(Bayes' Theorem)*를 기반으로 한다.

• 베이즈 정리 (Bayes' Theorem): 조건부 확률을 계산하는 정리.
• 사전 확률 (Prior Probability): 특정 클래스가 나타날 사전 확률.

• 나이브 베이즈의 기본 가정 - 특징들이 서로 독립이다.
  • 실제로는 대부분의 경우에서 완전히 독립적인 특징을 가지는 데이터는 거의 없다.
  • 그럼에도 불구하고 나이브 베이즈는 꽤 좋은 성능을 보인다.
• 사용 라이브러리 - sklearn.naive_bayes.MultinomialNB

로지스틱 회귀 (Logistic Regression)

💡 로지스틱 회귀 (Logistic Regression)
이진 분류 문제(Binary Classfication)를 해결하는 데 주로 사용되는 분석 기법. 데이터가 어떤 범주에 속할 확률을 0에서 1 사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류한다.즉 주어진 데이터가 특정 범주에 속할 확률을 예측하여 0과 1로 나눌수 있다.

• 로짓 함수 (Logit Function): 로그 확률을 계산하는 함수.
• 오즈 (Odds): 특정 사건이 발생할 확률과 발생하지 않을 확률의 비율.
• 시그모이드 함수 (Sigmoid Function): 확률을 0과 1 사이로 변환하는 함수.

• 학습 알고리즘 - 경사 하강법(Gradient Descent)
• 적용 사례: 스팸 메일 필터링, 질병 여부 진단, 고객 이탈 여부

머신러닝의 이해와 라이브러리 활용 (3) 로지스틱 회귀

 

서포트 벡터 머신 (Support Vector Machine)

💡 서포트 벡터 머신(SVM)
다차원 공간에서 데이터를 분리하기 위한 초평면(Hyperplane)을 찾는 기법. 비선형 문제도 해결할 수 있음.
데이터를 고차원 공간으로 매핑하여 최적의 결정 경계를 찾는 알고리즘으로, 커널 트릭을 사용하여 비선형 분류 문제를 해결한다.

• 초평면 (Hyperplane): 데이터를 두 개의 클래스로 나누는 경계.  (2차원일 때 선, 3차원일 때 평면, n차원일 때는 초평면)
• 서포트 벡터 (Support Vectors): 초평면에 가장 가까이 위치한 데이터 포인트.
• 마진 (Margin): 서포트 벡터와 초평면 사이의 거리.

• SVM의 원리 - SVM은 최대 마진을 찾기 위해 최적화 문제를 해결
  • 하드 마진 SVM: 모든 데이터 포인트가 마진 외부에 위치하도록 결정 초평면을 설정합니다. (잡음이 없는 데이터에 적합)
  • 소프트 마진 SVM: 일부 데이터 포인트가 마진 내부에 위치할 수 있도록 허용하며, 이를 위해 벌점 변수를 도입합니다. (잡음이 있는 데이터에 적합)
• 장단점

장점	단점
고차원 공간에서도 효과적으로 작동합니다. 다양한 커널을 통해 비선형 분류도 가능합니다.	대규모 데이터셋에서는 계산 속도가 느려진다. 모델 튜닝 방법이 다양한 만큼 최적화된 하이퍼 파라미터를 잘 선택해야 함.

•