통계학 기초 (1) 평균이란 무엇인가?

240527 Today I Learn

평균이란?

평균이란?
a single number or value that best represents a set of data
데이터 집합을 가장 잘 나타내는 단일 숫자 또는 값을 이야기한다.

왜도와 이상치

💡 왜도, Skewness
왜도는 특정한 방향으로 데이터가 쏠려있는 것으로, 왜도가 있으면 평균이 전체 데이터를 대표하지 못한다.
보통 그래프로 확인하며 꼬리(tail, 길게 늘어진 부분)의 방향에 따라 left skewed/ right skewed로 구분한다.

 

• 왼꼬리 분포, Left Skewed
  • 평균 < 중앙값
  • 분포가 왼쪽으로 몰려있고 오른쪽으로 긴 꼬리가 늘어진 형태
• 오른 분포, Right Skewed
  • 평균 > 중앙값
  • 분포가 오른쪽으로 몰려있고 왼쪽으로 긴 꼬리가 늘어진 형태

💡 이상치,Outlier
다른 관측치와 유의하게 다른 데이터
* 유의하다는 것의 의미는 데이터에 따라 다를 수 있기 때문에 이상치의 분류는 데이터에 따라 크게 달라진다.

• IQR 기준 이상치

boxplot에서 IQR 기준 이상치 판별

• IQR = Q3(0.75 quantile) - Q1(0.5 quantile)
• IQR 기준 이상치는 Q3+1.5*IQR 보다 크거나, Q1-1.5*IQR보다 작은 경우를 이야기한다.

• 이상치의 정의와 판별은 어려운 문제이기 때문에 단순하게 접근하면 문제가 생기기 쉬움
• 소수의 이상치는 평균에 큰 영향을 주기 때문에 평균을 구할 때 제거 또는 변환 하는 것이 일반적

다양한 평균

대푯값 3M

1. 산술평균

💡 산술평균
모든 데이터를 더한 뒤 전체 데이터의 수로 나눠준 것

• 왜도와 이상치에 취약함

2. 중앙값

💡 중앙값
데이터를 줄세웠을 때 가운데에 있는 관측치
→ n이 홀수일 때 중앙값은 (n+1)/2번째에 있는 값이고, 짝수일 때에는 ((n/2번째 값)+(n/2+1번째 값))/2 를 중앙값으로 한다.

• 왜도와 이상치에 강인robust하여 평균의 대안으로 많이 활용한다.

3. 최빈값

💡 최빈값
가장 빈번하게 등장하는 관측치로, 등장하는 관측치의 값이 다양하지 않은 경우 효과적으로 쓰임

• 수리적 평균의 의미로는 바람직 하지 않다.
• 그러나 범주형 데이터에서는 유용하게 사용될 수 있음.

기타 평균

1. 기하평균

💡기하평균
모든 데이터를 곱한 뒤 전체 데이터의 수로 제곱근을 취해준 것

• MLE에 사용됨

2. 조화평균

💡 조화평균
역수의 산술평균의 역수로 평균적 변화율을 구할 때 주로 사용된다.

• F1-Score, 시계열 데이터의 이동평균을 구할 때 사용

3. 로그평균

💡 로그평균
각 관측치를 로그 변환한 뒤 산술 평균을 집계
* 로그의 밑으로는 오일러 상수 e=2.781828...을 일반적으로 사용한다.

• 중앙값과 유사하게 이상치와 왜도에 강건
• 로그 변환으로 인해 결과값에 대한 직접적인 해석이 어려워, 상대적인 비교에 유용

4. 절삭평균

💡 절삭평균
편차가 큰 자료의 경우, 자료의 총 개수에서 일정비율만큼 가장 큰 부분과 작은 부분을 제거 후 평균을 산출하는 방법
상/하위 데이터를 일부(k%) 제거한 뒤 산술평균을 구한다.

• 극단적인 값들을 제거해 이상치에 강건, 그러나 왜도에는 취약할 수 있음
• 변환이 없기 때문에 결과값에 대한 직접적 해석이 가능