[Pandas] 데이터 전처리 (2) 결측치 확인하기, 데이터 프레임 슬라이싱

240509 Today I Learn

💽 활용 데이터셋

Titanic - Machine Learning from Disaster | Kaggle

# data 불러오기
df = pd.read_csv("train.csv")

 

 

데이터 확인하기

1. 데이터의 정보 확인 : info()

💡 dataframe.info()

df.info()

• 인덱스, 컬럼명, 컬럼의 데이터 개수, 데이터 타입등 데이터의 정보를 확인
• null값 확인할 때도 사용한다.

상위 5개 값만 추출하기 : head()

💡 dataframe.head(n)

df.head()​

• dataframe에서 상위 n개의 값을 출력한다.
• 공백일 경우 상위 5개의 값을 출력한다.

데이터의 기초통계량 확인하기 : describe()

💡 dataframe.describe()

df.describe()

• 총 11개의 컬럼 중 7개의 컬럼만을 반환
  → Dtype이 int64인 [PassengerId, Survived, Pclass, SibSp, Parch], float64인 [Age, Fare] 

• 개수, 평균, 표준편차, 사분위, 중앙값등 데이터프레임의 기초통계량을 구한다.
• 단, 숫자타입(float, int)의 값이 입력된 컬럼의 기초통계량만을 반환한다.

결측치 확인

1. 컬럼별 결측값의 수 확인하기 : info()

→ 위 예시에서 'Age', 'Cabin', 'Embarked' 세 컬럼의 경우 891 non-null이라고 표현된 다른 컬럼들과 달리 각각 714 non-null, 204 non-null, 889 non-null으로 표현되는 것을 확인할 수 있다.

• 이 경우 dataframe의 인덱스의 총 길이는 891로 볼 수 있고 Age, Cabin, Embarked 칼럼의 결측치는 다음과 같이 계산할 수 있다.
  • Age : 177개(891-714 = 177)
  • Cabin : 687개(891-204 = 687)
  • Embarked : 2개(891-889 = 2)

2. 결측값 판정하기 : isna(), isnull()

💡 결측값 판정하기 
데이터프레임 내에 결측 값을 확인하여, 그 결과를 True 또는 False로 반환
NA, None, numpy.nan → `True` 반환 

• 예시 1) 결측값 판정하기

newjeans = pd.DataFrame({
    'name' : ['Minji','Danielle','Hanni','Haerin', None],
    'age' : [20, 19, 19, 17, 16],
    'nationality' : ['Korea', 'Australia', 'Australia','Korea','Korea']
})

newjeans.isna()

 

• 예시 2) 결측값이 있는 특정 행을 추출하기
  Embarked 컬럼의 경우 2개의 결측값이 존재한다. 이때, 이 결측값이 존재하는 행을 출력하고 싶은 경우 다음과 같이 코드를 작성할 수 있다.
  

 

df[df['Embarked'].isna()]

→ df[조건], 이때 조건은 'Embarked' 컬럼에서 (df['Embarked']) 결측값이 존재하는 경우(.isna())이다. 
`df[df['Embarked'].isna()== True]`와 같은 의미로 사용된다.

 

3. 결측값이 '아닌' 값 판정하기 : notna(), notnull()

💡 결측값이 '아닌' 값 판정하기

데이터프레임 내에서 결측값이 아닌 값을 확인하는 기능으로, isna(), isnull()과 반대의 결과를 출력한다.
NA, None, numpy.nan → `False` 반환 

데이터 타입 변경하기

• 데이터 타입

데이터 타입(Data Type)	설명(Description)	예시(Example)
int64, int32	정수형 데이터 (64비트 또는 32비트)	1, 42, -10, 1000
float64, float32	부동 소수점 수 (64비트 또는 32비트)	3.14, -0.001, 2.718
object	문자열 데이터 (일반적으로 문자열)	'Hello', 'Data Science'
bool	불리언(참/거짓) 데이터	True, False
datetime64	날짜와 시간 데이터	'2023-12-31 08:00:00'
timedelta64	시간 간격(두 날짜 또는 시간 사이의 차이) 데이터	'3 days', '2 hours'
category	카테고리형 데이터 (제한된 고유 값으로 구성)	'Red', 'Blue', 'Green'

• 데이터 타입 확인하기 : dtype()

newjeans['age'].dtype

## dtype('int64')

• 데이터 타입 변경하기 : astype()

newjeans['age'].astype(float)

## 0    20.0
## 1    19.0
## 2    19.0
## 3    17.0
## 4    16.0
## Name: age, dtype: float64

 

📌 astype 사용시 주의할 점

🌟  astype으로 타입을 바꾼 뒤 할당을 해줘야 저장됨

astype을 이용해 데이터의 타입을 바꾸어줬어도 변수에 넣어주지 않으면 저장이 되지 않는다.

다음과 같이 새로운 변수에 넣어줘야 데이터 타입이 바뀐 채로 저장됨!

 

🌟 소수점이 있는 str의 경우 str → float → int로 변경해줘야함. (str → int로 바로 변경 불가)

newjeans['Height']=newjeans['Height'].astype(str)
newjeans['Height'].dtype

## dtype('O')

 

newjeans['Height'].astype(int)

astype(int)로 바꿔준 경우 ValueError가 난다. (소수점을 어떻게 처리해야할지 읽어들일수가 없음.)

newjeans['Height'] = newjeans['Height'].astype(float).astype(int)
newjeans['Height'].dtype

## dtype('int64')

astype(float)와 astype(int)를 연달아 사용(float → int 순으로 사용)하게 되면 위와 같이 정상적으로 데이터 타입이 변경된다.

데이터 선택

불리언 인덱싱

💡 불리언 인덱싱
주어진 조건에서 'True'를 반환할 때에 해당하는 값을 반환하도록 하는 인덱싱
→ 조건을 이용해 인덱싱 하는 방법

• 예시 1) 남성 승객

df[df['Sex']=='male']

• 예시 2) 남성이면서 나이가 70세 초과인 승객의 이름(name), 나이(age), 그리고 객실 등급(Pclass)

df.loc[(df['Sex']=='male') & (df['Age']>70), ['Name','Age','Pclass']]

• 예시 3) 여성이면서 나이가 60세를 초과하거나(조건1), 1살 미만이면서 생존한(조건2) 승객의 이름과 성별, 나이 그리고 생존 여부를 출력하세요.

# 방법 1 조건 변수를 따로 만들어 활용
cond1 = (df['Sex']=='female') & (df['Age']>60)
cond2 = (df['Age']<1) & (df['Survived']==1)
df.loc[(cond1 | cond2),['Name','Sex','Age','Survived']]

# 방법 2 역슬래시를 이용해서 줄바꿈하기
df.loc[((df['Sex']=='female') & (df['Age']>60)) \
       | ((df['Age']<1) & (df['Survived']==1)),\
       ['Name','Sex','Age','Survived']]

• and 연산자는 '&', or 연산자로는 '|'을 활용하면 된다.
  → and나 or로 조건을 연결하는 경우 반드시 (괄호)를 사용해주자!
• 역슬래시(\)를 사용하면 줄바꿈을 할 수 있다.

💡 .isin()
Series(시리즈)나 DataFrame(데이터프레임)의 값들 중에서 특정 값이나 리스트 안에 포함된 값들을 찾아내는 메소드. 원하는 조건에 해당하는 데이터를 빠르게 필터링하거나 선택할 수 있음

• 예시 1) 국적(nationality)가 한국(Korea)인 멤버들을 추려라

newjeans[newjeans['nationality'].isin(['Korea'])]

• 예시 2) 나이(age)가 19세거나 16세인 멤버들을 추려라

newjeans[newjeans['age'].isin([19, 16])]

• 예시 3) 데이터 프레임 전체에서 포지션이 리더, 보컬 그리고 국적이 한국인 경우

tf = newjeans.isin({'position':['Leader','Vocal'], 'nationality':['Korea']})
print(tf)

##     name    age  nationality  position
## 0  False  False         True      True
## 1  False  False        False      True
## 2  False  False        False      True
## 3  False  False         True     False
## 4  False  False         True     False

인덱스 기준 슬라이싱 : .iloc

💡 .iloc[행,컬럼번호] 

• df에서 좌측 상단의 값(1행, 1열의 값)출력하기 `df.iloc[0, 0]`
• df의 2번째 행의 1-2번째 컬럼만 추출하기 `df.iloc[1:3, 0:3]`

• 예시1) 인덱스 번호가 0인 행부터 3인 행까지 슬라이싱하기

newjeans.iloc[0:3]

• 예시 2) 행 번호가 짝수인 컬럼 뽑기 (단, 0은 짝수이다.)

newjeans.iloc[0::2]

컬럼명 기준 슬라이싱

💡 .loc[행,컬럼명] 

• df에서 'name' 칼럼의 첫번째 행 값 `df.loc[0,'name']`
• df에서 'name'부터 'position'까지 칼럼의 첫번째부터 3번째 행 값 `df.loc[0:4, 'name':'position]`

 

newjeans = pd.DataFrame({
    'name' : ['Minji','Hanni','Danielle','Haerin', 'Hyein'],
    'age' : [20, 19, 19, 17, 16],
    'nationality' : ['Korea', 'Australia', 'Australia','Korea','Korea']}, 
    index = ['Leader','Main Vocal','Lead Vocal','Main Dancer', 'Lead Dancer'])
newjeans

• 예시 1) 메인 보컬의 나이는?

newjeans.loc['Main Vocal','age']

## 19

• 예시 2) 메인 보컬과 리드 보컬의 국적은?

newjeans.loc['Main Vocal':'Lead Vocal', 'nationality']
newjeans.loc[['Main Vocal','Lead Vocal'], 'nationality']

## Main Vocal    Australia
## Lead Vocal    Australia
## Name: nationality, dtype: object

• 예시 3) 리더의 이름과 국적은?

newjeans.loc['Leader',['name','nationality']]

## name           Minji
## nationality    Korea
## Name: Leader, dtype: object

→ 이렇게 두개 이상의 컬럼을 선택하고 싶은 경우 리스트를 사용해줄 수 있다.

💡 .iloc vs. .loc
iloc은 정수 기반의 인덱스를 사용하고, loc은 레이블 기반의 인덱스를 사용

 

#iloc
newjeans.iloc[1,1]

## 19

#loc
newjeans.loc[1,'age']

## 19​