[개인 과제] 아이리스 문제풀이 (1)

라이브러리 불러오기

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

베이직 문항

1. 데이터 불러오기
pandas를 import한 다음 데이터를 불러와서 데이터를 확인하세요.

# 데이터 불러오기
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data'
columns = ['Sepal Length', 'Sepal Width', 'Petal Length', 'Petal Width', 'Species']
iris = pd.read_csv(url, header=None, names=columns)

 

2. 데이터 구조 파악하기
데이터셋의 첫 5행을 출력하고, 데이터의 구조를 파악하세요.

iris.head()

• 데이터프레임에서 처음 5개의 행을 출력하는 함수 → head()

3. 데이터 요약정보 확인하기
데이터셋의 요약 정보를 확인하세요.

iris.info()

## <class 'pandas.core.frame.DataFrame'>
## RangeIndex: 150 entries, 0 to 149
## Data columns (total 5 columns):
##  #   Column        Non-Null Count  Dtype  
## ---  ------        --------------  -----  
##  0   Sepal Length  150 non-null    float64
##  1   Sepal Width   150 non-null    float64
##  2   Petal Length  150 non-null    float64
##  3   Petal Width   150 non-null    float64
##  4   Species       150 non-null    object 
##  dtypes: float64(4), object(1)
##  memory usage: 6.0+ KB

• 데이터셋의 요약 정보를 확인하는 함수 → info()

4. 기초 통계량 확인하기
각 열의 기초 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 출력하세요.

iris.describe()

• 기초통계량을 출력하는 함수 → describe()

5. 특정 열 선택하기
'Sepal Length' 열만 선택하여 출력하세요. 

# 판다스 함수 사용
iris.loc[:,'Sepal Length']

# 파이썬 내장 함수 사용
iris['Sepal Length']

## 0      5.1
## 1      4.9
## 2      4.7
## 3      4.6
## 4      5.0
##       ... 
## 145    6.7
## 146    6.3
## 147    6.5
## 148    6.2
## 149    5.9
## Name: Sepal Length, Length: 150, dtype: float64

6. 조건에 맞는 데이터 필터링하기
'Species'가 'Iris-setosa'인 행들만 선택하여 새로운 데이터프레임을 만드세요.

df 일부

df = iris[iris['Species']=='Iris-setosa']
df

• 불리언 인덱싱을 활용하기
  • 조건(iris의 species 칼럼에서 'iris-setosa'값을 가지는 행들만 선택해라)
    →`iris['Species']=='Iris-setosa'`
  • iris[조건] : 조건에 맞는 행을 iris 데이터에서 선택

7. 그룹별 통계량 계산하기
각 품종('Species')별로 'Sepal Length'의 평균을 계산하세요.

iris.groupby('Species')['Sepal Length'].mean()

## Species
## Iris-setosa        5.006
## Iris-versicolor    5.936
## Iris-virginica     6.588
## Name: Sepal Length, dtype: float64

• groupby & 집계함수 사용해 그룹별 통계량 계산

8. 새로운 열 추가하기
각 행의 'Sepal Length'와 'Sepal Width'의 합을 계산하여 새로운 열 'Sepal Sum'을 추가하세요.

'Sepal Sum' 컬럼 추가

iris['Sepal Sum'] = iris['Sepal Length']+iris['Sepal Width']

• 새로운 칼럼을 추가하는 방법
  • dataframe['새로운 칼럼 명'] = 칼럼 안에 들어갈 값

9. 데이터 정렬하기
'Petal Length' 기준으로 데이터프레임을 내림차순으로 정렬하세요.

'Petal Length' 기준 데이터를 내림차순으로 정렬

iris.sort_values('Petal Length', ascending = False)

• 데이터 프레임에서 특정 칼럼의 값을 기준으로 sorting 하는 함수 → sort_values('정렬 기준 컬럼')

10. 특정 값 세기
각 품종('Species')별로 몇 개의 샘플이 있는지 세어보세요.

iris.value_counts('Species')

## Species
## Iris-setosa        50
## Iris-versicolor    50
## Iris-virginica     50
## Name: count, dtype: int64

• 특정 컬럼의 개수를 세어주는 함수 → value_counts('컬럼명')

챌린지 문항

11. 데이터 결합하기
'Sepal Length'와 'Petal Length'의 평균을 계산한 후, 이를 새로운 데이터프레임으로 결합하세요.

# 1 Concat 사용
df1 = pd.DataFrame({'avg_sepal_length' : [iris['Sepal Length'].mean()]})
df2 = pd.DataFrame({'avg_petal_length' : [iris['Petal Length'].mean()]})

pd.concat([df1,df2],axis=1)

# 2 딕셔너리 이용해 데이터 프레임 만들기
df1 = pd.DataFrame({'avg_sepal_length' : [iris['Sepal Length'].mean()],
                    'avg_petal_length' : [iris['Petal Length'].mean()]})


# 3 한번에 데이터 프레임으로 묶기
df_avg = pd.DataFrame(iris[['Sepal Length','Petal Length']].mean())
df_avg.columns = ['average']

 

12. 피벗테이블 만들기
각 품종별 'Sepal Length'와 'Petal Length'의 평균을 피벗 테이블로 만들어 보세요.

iris.pivot_table(index = 'Species', values = ['Sepal Length', 'Petal Length'], aggfunc = 'mean')

13. 결측값 처리
'Sepal Width' 열에 임의로 결측값을 10개 추가하고, 결측값을 처리하는 방법을 두 가지 이상 적용해 보세요.

iris.head()

# 임의로 결측값 추가하기
import numpy as np

# 임의로 결측값 10개 추가
iris_with_nan = iris.copy()
iris_with_nan.loc[np.random.choice(iris_with_nan.index, 10), 'Sepal Width'] = np.nan

iris_with_nan.head()

print(f'결측치를 처리하기 전 결측값의 개수는 {iris_with_nan.isna().sum().sum()}개입니다.')

# (1) 결측값 날리기
dropall = iris_with_nan.dropna(how='any')
print(f'결측값의 개수는 {dropall.isna().sum().sum()}개입니다.')

# (2) 대체값을 채워넣기 : Species 컬럼의 평균 값으로 결측치를 채우기
fill_data = iris_with_nan['Sepal Length'].mean()
print(f"Species 컬럼의 평균값은 {fill_data}입니다.")

fill_avg = iris_with_nan.fillna(fill_data)
print(f'결측값의 개수는 {fill_avg.isna().sum().sum()}개입니다.')

## 결측치를 처리하기 전 결측값의 개수는 10개입니다.
## 결측값의 개수는 0개입니다.
## Species 컬럼의 평균값은 5.843333333333334입니다.
## 결측값의 개수는 0개입니다.

14. 데이터 변형
'Sepal Length'와 'Sepal Width'의 비율을 계산하여 새로운 열 'Sepal Ratio'를 추가하세요.

iris.head()

iris['Sepal Ratio'] = iris['Sepal Length']/iris['Sepal Width']

 

15. 특정 조건에 따른 새로운 열 생성
'Sepal Length'가 5.0 이상인 경우 'Large', 미만인 경우 'Small'을 값으로 가지는 새로운 열 'Sepal Size'를 생성하세요.

iris.sort_values('Sepal Length')

# 1. 반복문 이용하기(리스트 컴프리헨션)
iris['Sepal Size'] = ['Large' if i>=5 else 'Small' for i in iris['Sepal Length']]

# 3. loc 이용하기
iris.loc[(iris['Sepal Length']>=5),'Sepal Size'] ='Large'
iris.loc[(iris['Sepal Length']<5),'Sepal Size'] ='Small'

💡 리스트 컴프리핸션이 아닌 반복문은 이용하는 것이 불가능하다!

iris.sort_values('Sepal Length')

for i in iris['Sepal Length']:
    if  i>= 5:
        iris['Sepal Size'] = 'Large'
    else:
        iris['Sepal Size'] = 'Small'​

 

위와 같이 반복문을 작성 하면 될 것 같지만, sort values를 해보면 위의 이미지와 같이 sepal size가 적절하지 않게 들어간 것을 확인할 수 있다. 튜터님 말씀으로는 판다스의 로직은 이러한 것을 포함하지 않는 것 같다고..!!! 되도록이면 loc나 리스트 컴프리헨션을 사용하는 것이 좋겠다.

16. 다양한 통계량 계산
각 품종(Species)별로 'Sepal Length'와 'Sepal Width'의 합계, 평균, 표준편차를 계산하세요.

iris.groupby('Species')[['Sepal Length', 'Sepal Width']].agg(['sum', 'mean', 'std'])

17.  복잡한 조건 필터링
'Sepal Length'가 5.0 이상이고 'Sepal Width'가 3.5 이하인 데이터만 선택하고, 이 데이터의 'Petal Length'와 'Petal Width'의 합을 새로운 열 'Petal Sum'으로 추가하세요.

new_iris = iris.loc[(iris['Sepal Length']>= 5)&(iris['Sepal Width']<=3.5)]
new_iris['Petal Sum'] = new_iris['Petal Length']+ new_iris['Petal Width']

 

18. 산점도 그리기
'Sepal Length'와 'Sepal Width'의 관계를 나타내는 산점도를 그리세요. 각 품종별로 다른 색상을 사용하세요.

• Matplotlib ver.

for s in iris['Species'].unique():
    plt.scatter(iris[iris['Species']==s]['Sepal Length'], 
                iris[iris['Species']==s]['Sepal Width'], 
                label = s, alpha = 0.5)
plt.legend(iris['Species'].unique())
plt.title('Sepal Length Distribution(matplotlib)')

• Seaborn ver.

sns.scatterplot(data=iris, x='Sepal Length', y = 'Sepal Width', hue='Species', alpha = 0.5)

19. 히스토그램 그리기
'Sepal Length'의 분포를 나타내는 히스토그램을 그리세요. 각 품종별로 다른 색상을 사용하세요.

• Matplotlib ver.

for s in iris['Species'].unique():
    plt.hist(iris[iris['Species']==s]['Sepal Length'], label= iris['Species'].unique(), alpha = 0.5)

plt.legend(iris['Species'].unique())
plt.title('Speal Length Distribution by Species(matplotlib)')

• Seaborn ver.

sns.histplot(data=iris, x='Sepal Length', hue='Species', alpha=0.5)
plt.title('Speal Length Distribution by Species(seaborn)')

20. 박스플롯 그리기
각 품종별로 'Petal Length'의 분포를 나타내는 박스플롯을 그리세요.

• Matplotlib ver.

plt.boxplot([iris[iris['Species']==s]['Petal Length'] for s in iris['Species'].unique()], 
            labels = iris['Species'].unique())
plt.title('Petal Length Distribution by Species(matplotlib)')

• Seaborn ver.

sns.boxplot(data=iris, x='Species', y='Petal Length', palette='pastel', width=0.5)
plt.title('Petal Length Distribution by Species(seaborn)')