[ML] 피처 엔지니어링(Feature Engineering)

📢 피처 엔지니어링이란?

피처 엔지니어링은 데이터에 대한 지식을 바탕으로 특성(feature)을 생성, 변경, 삭제 등 조작하여 사용하기에 더욱 유용한 형태로 만드는 과정이다. 피처 엔지니어링은 탐색적 데이터 분석(EDA)를 한 후에 모델의 성능을 올리기 위해 작업을 하는 경우가 많지만 피처 엔지니어링을 거쳐야 EDA를 할 수 있는 상황이나 EDA를 하는 도중 새로운 값을 알기 위해 피처엔지니어링을 하는 상황등이 발생하기도 한다. 그래서 딱 정해진 순서가 있는 것은 아니다.

 

피처 엔지니어링의 분류

특성 선택(Feature Selection)	- 해당 분야의 전문가의 지식이나, 특성의 중요도에 따라 일부 특성을 버리거나 선택하는 것
특성 추출(Feature Extraction)	- 특성들의 조합으로 아예 새로운 특성을 생성
범위 변환(Scaling)	- 변수의 분포가 편향되어 있거나, 이상치가 많이 존재하여 그 특성을 활용하기가 어려울 경우 변수의 범위를 조정하는 작업
변형(Transform)	- 기존에 존재하는 변수의 성질을 이용하여 새로운 변수를 생성
범주화(Binning)	- 연속형 변수를 범주형 변수로 변환
숫자화(Dummy)	- 범주형 변수를 연속형 변수로 변환

 

📖 변수 스케일링

• 피처의 범위를 조정하여 정규화하는 것이다.
• 피처의 분산과 표준편차를 조정하여 정규분포를 띄게 한다.

🤔왜 중요할까?

• 피처의 범위가 다르면 피처끼리 비교하기가 어렵고, 일부 머신러닝 모델에서는 동작하지 않는다.
• 잘 되어있으면 서로 다른 변수끼리 비교하는 것이 편리하다.

※주의!

트리기반 알고리즘은 스케일링에 크게 영향을 받지 않는다. 절대적인 크기보다 상대적인 크기에 영향을 받기 때문에 스케일링을 해도 상대적 크기 관계는 같게 된다.

스케일링 기법 3가지

1. Normalization - Standardization(Z-score scaling)

• 평균을 빼주고 표준편차를 나눠준다.
• 단점: 이상치가 있으면 예측력을 손상시킨다.

2. Min-Max scaling

• 0-1 사이의 값으로 만든다.
• 단점: 이상치가 있으면 예측력을 손상시킨다.

3. Robust scaling

• 중앙값(Q2)을 빼주고 IQR값으로 나눠준다.
• 위의 단점들을 보완한 스케일링 기법으로 이상치에 덜 민감하다.

 

📖 트랜스포메이션

피처 스케일링을 통해 범위를 조절하여 정규분포의 형태를 만들지만 분포 자체는 유지되기 때문에 정규분포가 아닌 형태에서 그냥 피처 스케일링만 한다면 별로 좋지 않은 선택이다. 결국 표준정규분포를 만들어줘야하는데 먼저 정규분포의 형태를 만들어주고 피처 스케일링을 해줘야한다. 이때 정규분포를 만드는 과정에 로그 트랜스포메이션이 필요하다.

🤔 왜 로그가 필요한가?

로그 그래프

다음의 그래프를 보면 x값이 커질수록 기울기가 완만해진다. 이는 x의 값이 작을수록 y의 변화량이 크고 x의 값이 클수록 y의 변화량이 작다는 것을 의미하는데 작은 숫자들 사이의 차이는 벌어지고 큰 숫자들 사이의 차이는 줄어든다는 것이다. 즉 편향되어 있는 피처들을 더 고르게 분포하도록 만들어 준다는 것이다.

 

 

🤔 왜 고르게 분포된 값이 예측에 유리할까?

 이 사진은 표준정규분포이다. 많은 값들이 대칭으로 가운데에 몰려있는 것을 볼 수 있다. 한 쪽으로 편향된 값은 편향된 곳만 예측하지 않는 이상은 일반적으로 예측을 했을 떄 높게 나올 수가 없다. 일반적으로 예측을 했을 경우 가운데에 값이 몰려있고 고르게 분포된 표준정규분포의 예측성능이 좋을 수밖에 없다.

 

 

 

 

※주의!

• 트리 모델을 사용한다면 일반정규분포를 사용해도 무관하다. 하지만 스케일값이 영향을 미치는 모델을 사용시 성능이 올라갈 수도 있다. 보장은 못한다.
• 표준정규분포로 만들 때 값이 왜곡될 수도 있기 때문에 주의가 필요하다. 
• 만약 label(예측하려는 피처)이 편향되어 있다면 트랜스포메이션을 한 후에 반대로 다시 계산하여 복구시킨 후  출력해야 한다. ex) np.log를 사용하였으면 np.exp를 사용하여 되돌린다.
• numpy에서 음수가 주어지면 nan을 반환하기 때문에 np.log1p를 사용하여 1을 더한 후에 사용하는 것이 좋다.

 

📖이산화

numerical feature를 일정 기준으로 그룹화하는 것

🤔 왜 필요한가?

• 이산화와 같은 과정이 우리의 사고방식과 부합하는 측면이 있어 직관적이다.
  ex) 개인별 나이를 기준으로 분석하기보다는 20대 30대 40대 식으로 10살 단위로 나누어 분석하면 경향이
  뚜렷해지고 이해하기가 쉬워진다
• 데이터 분석과 머신러닝 모델에 유리하기 때문이다.
• Numerical Feature로 인한 과대적합을 방지할 수 있다.

이산화의 종류

Equal width binning	범위를 기준으로 나눔	ex) 절대평가, 히스토그램, pd.cut(), 고객을 구매 금액 구간에 따라 나눌 때
Equal frequency binning	빈도를 기준으로 나눔	ex) 상대평가, pd.qcut(), 고객을 나눌 때 고객의 수를 기준으로 등급을 나눌 때

왼쪽은 Equal width binning / 오른쪽은 Equal frequency binning

 

📖인코딩

인코딩은 categorical feature를 numerical feature로 바꾸는 것

🤔 왜 필요할까?

• 데이터 시각화에 유리하다.
  - 변화의 추이를 관찰(lineplot)하거나, 산점도(scatterplot)를 그려 관찰하고 싶을 경우에 인코딩을 통해서 Numerical Feature로 변환한 다음 그래프를 그리면 된다.
• 머신러닝 모델에 유리하다.
  - 머신러닝 모델은 범주형이 있으면 학습을 할 수가 없다. 모델이 학습할 수 있게 수치형으로 바꿔주는 과정이다.

자주 사용하는 인코딩 방법들

Ordinal-Encoding

• Categorical Feature의 고유값들을 임의의 숫자로 바꾼다.
• 숫자를 따로 지정해주지 않으면 0부터 1씩 증가하는 정수로 지정된다.
• 순서가 있는 명목형 데이터에 사용한다. ex) 1분기 = 0, 2분기 = 1, 3분기 = 2, 4분기 = 3
• 결과가 벡터 1차원 형태로 나온다.

# pandas를 이용한 인코딩
train['object'].astype('category').cat.codes

# sklearn을 이용한 인코딩
oe = OrdinalEncoder()
oe.fit_transform(train[['object']])

 

One-Hot-Encoding

• Categorical Feature를 0또는 1로 만든다.
• 순서가 없는 명목형 데이터에 사용한다. ex) 음료수,주택의 종류, 수업의 종류
• 결과가 메트릭스 2차원 형태로 나온다.

# python을 이용한 원핫인코딩
pd.get_dummies(train['object'])

# sklearn을 이용한 원핫인코딩
ohe = OneHotEncoder()
ohe.fit_transform(train[['object']]).toarray()

판다스 인코딩의 단점

판다스로 인코딩했을 때 문제점은 테스트 데이터에 대한 인코딩에서 발생한다. 사이킷런의 원핫인코딩은 train 데이터로만 학습해서 진행하기에 test에만 존재하는 데이터를 인코딩하지 않는다. 그러나 판다스는 이 기능이 없어서 test셋과 train셋의 고유값을 비교해줘야 하는데, 현실에서 test 데이터는 존재하지 않기 때문에 권장하지 않는다.

 

📖파생변수

파생변수는 이미 존재하는 변수로부터 여러가지 방법을 이용해 새로운 변수를 만들어낸다.

사칙연산, 최대값, 최소값, 산술평균 등 산술적인 방법으로 변수를 만들어낼 수 있다. 또는 시간, 지역별 구분, 비율 등을 통해서도 변수를 만들어낼 수 있다.

※주의!

• 파생변수 생성으로 인해 데이터 해석이 더 편리해지고 머신러닝 성능이 올라갈 수도 있으나 역효과가 생길 수도 있다.
• 파생변수를 마구잡이로 생성할 경우 머신러닝 모델의 학습 속도도 느릴 뿐만 아니라 성능도 낮아진다.

다항식 전개(Polynomial Expansion)에 기반한 파생변수 생성 방법

[a, b]를 가진 피처가 다항식의 최대 차수를 2로 지정하면 생성되는 polynomial feature는 [a, b, a^2, ab, b^2] 이다.왜 유용할까?직관적으로는 이해하기 어렵지만 머신러닝 모델을 이용했을 때 유용하다.

• 머신러닝 모델은 label에 대해서 설명력이 높은 한 두가지 Feature에 의지할 때보다 여러가지 Feature에 기반할 때 성능이 더 뛰어나기 때문이다.
• 소수의 Feature에 기반하게 되면 과대적합이 일어날 확률이 높아진다.
• 다항식 전개에 기반해서 파생변수를 만들게 되면 머신러닝 모델이 여러 Feature에 기반하게 되어 안정성이 높아진다.