통계야 놀자 (1) 표본분포, 신뢰구간, 정규분포

240603 Today I Learn

데이터의 종류

데이터 종류 분류

수치형 자료 - 숫자를 이용해 표현할 수 있는 데이터

• 연속형 : 일정 범위 안에서 어떤 값이든 취할 수 있는 데이터
  → 체중, 신장
• 이산형 : 횟수와 값은 정수형 값만 취할 수 있는 데이터(소수점이 의미가 없음)
  → 사고건수, 일 방문자수

범주형 자료 - 가능한 범주 안의 값만을 취하는 데이터

• 순위형(순서형) : 값들 사이에 분명한 순위가 있는 데이터 
  → 등수
  
• 명목형 : 값들 사이에 순위가 없는 데이터
  → 나라, 도시, 혈액형, 성별, 성공여부, MBTI
  • 이진형 : 두개의 값만을 가지는 범주형 데이터 
    → Y/N, T/F, M/F

편차, 분산, 표준편차, 표본분포

편차

💡 편차
각가의 값에서 평균을 뺀 값으로, 해당 값이 평균으로부터 얼마나 떨어져 있는지를 의미한다.

• 세 학생의 영어점수 평균은 60점이고 A,B,C 학생은 각각 30,-10,-20이라는 편차를 가지고 있다.
• 편차의 합은 0 (30-10-20 = 0)이다.
  → 이렇게 편차는 서로 상쇄 되므로 분포를 정확히 파악할 수 없다. 따라서 우리는 분산을 사용한다.

분산, 표준편차

💡 분산
편차 제곱합의 평균으로, 편차의 합이 0으로 나오는 것을 방지하기 위해 생성된 개념이다.

• A, B, C 세 학생의 편차를 제곱하면 각각 900, 100, 400이 된다. 
• 이 경우 편차의 합을 학생수로 나눠준 것이 분산이 되고, 분산은 1400/3 = 466 이 된다.
  → 편차를 제곱하면 편차의 합이 상쇄되는 문제를 해결할 수 있지만, 편차를 제곱했기 때문에 그 단위가 달라지게 되었다. 따라서 이를 보정하기 위해 분산에 제곱근을 씌운 표준편차를 활용한다.

💡 표준편차
분산에 제곱근을 씌워준 값. 원래 값으로 되돌리기

• 분산(466)에 제곱근을 씌우면 약 21.6이 되고, 이것을 표준편차라고 한다.

표본분포

💡 표본분포
표본의 분포. 모집단에서 여러 표본을 추출하고 각 표본의 평균을 계산한다면, 이는 중심극한정리*에 따라 정규분포에 가까워진다.
* 중심극한정리 : 표본 크기가 충분히 크다면 어떤 분포에서도 표본 평균이 정규분포를 따른다는 것을 의미

정규분포, 신뢰구간

정규분포

• 정규 분포는 좌우 대칭의 형태이며 평균치에서 가장 그 확률이 높다.
• 곡선은 각 확률값을 나타내며, 모두 더하면 1이 된다
• 정규분포는 평균과 분산(퍼진정도)에 따라 다른 형태를 가진다
• 평균 0, 분산 1을 가지는 경우, 이를 표준정규분포라고 한다. (그림의 붉은색 그래프)

❓ 표준 정규 분포가 중요한 이유
각각의 그래프는 평균과 분산값에 따라 다르게 그려질 수 있다. 하지만 이러한 경우, 확률을 계산할 때 어려움을 겪을 수 있다. 이를 통일하기 위해 분포의 평균과 분산 값을 통일하는 표준화 작업이 필요하다.
- 머신러닝 모델을 만들 때, 데이터의 범위가 많이 차이나는 경우 표준화가 필요하다.

신뢰구간

💡신뢰구간
특정 범위 내에 값이 존재할것으로 예측되는 영역
→ 예시 - 영어점수가 10점에서 90점 사이일 것 같아요

 

💡 신뢰수준
실제 모수를 추정하는데 몇 퍼센트의 확률로 신뢰구간이 실제 모수를 포함하게 되는 확률. 주로 95%와 99% 를 이용한다.
→ 예시 - 영어점수가 10점에서 90점 사이일에 분포할 확률이 95% 같아요

scipy 라이브러리 이용해서 신뢰구간 구하기

import scipy.stats as st
import numpy as np

#샘플 데이터 선언 
sample1 = [5, 10, 17, 29, 14, 25, 16, 13, 9, 17]
sample2 = [21, 22, 27, 19, 23, 24, 20, 26, 25, 23]

df = len(sample1) - 1 # 자유도 : 샘플 개수 - 1
mu = np.mean(sample1) # 표본 평균
se = st.sem(sample1) # 표준 오차

# 95% 신뢰구간 ( = 95% 신뢰하려면 데이터의 범위가 어떻게 되는지?)
st.t.interval(0.95, df, mu, se) # (10.338733110887336, 20.661266889112664)

# 99% 신뢰구간( = 99% 신뢰하려면 데이터의 범위가 어떻게 되는지?)
# 99% 로 신뢰할 수 있어야 하므로, 앞선 95% 보다 데이터 범위가 넓은 점 이해되셨나요? :) 
st.t.interval(0.99, df, mu, se) # (8.085277068873378, 22.914722931126622)