[ML] 머신러닝 - TIL(11월 22일 오후)

목차

1. Support Vector Machine

2. Nonlinear SVM

3. SVM Regression

 

1. Support Vector Machine

1-1. Support Vector Machine

- 선형이나 비선형 분류, 회귀, 이상치 탐색에도 사용할 수 있는 머신러닝 방법론

- 딥러닝 이전 시대까지 널리 사용된 방법론

- 복잡한 분류 문제를 잘 해결, 상대적으로 작거나 중간크기를 가진 데이터에 적합

- 최적화 모형으로 모델링 후 최적의 분류 경계 탐색

특징

- 두 클래스 사이에 가장 넓이가 큰 분류 경계선을 찾음

- Support Vector 라고 하는 것은 각각의 클래스에서 분류 경계선을 지지하는 관측치들

- 스케일에 민감하기 때문에 변수들 간의 스케일을 잘 맞춰주는 것이 중요

1-2. Hard Margin vs Soft Margin

Hard Margin: 두 클래스가 하나의 선으로 완벽하게 나눠지는 경우에만 적용

Soft Margin: 일부 샘플들이 분류 경계선의 분류 결과에 반하는 경우를 일정 수준 허용하는 방법(C 패널티로 파리미터 조정) / 주로 사용하는 마진 적용 방법

 

2. Nonlinear SVM

2-1. Classification

- 다항식 변수들을 추가함으로써 직선으로 분류할 수 있는 형태로 데이터 만들기

- polynomial kernel: 다항식의 차수를 조절할 수 있는 효율적인 계산 방법

- Gaussian RBF Kernel: 무한대 차수를 갖는 다항식으로 차원을 확장시키는 효과(gamma- 고차항 차수에 대한 가중정도) / 많이 사용

 

3. SVM Regression

3-1. Regression

-선형 회귀식의 중심으로 이와 평행한 오차 한계선을 가정하고 오차한계선 너비가 최대가 되면서 오차 한계선을 넘어가는 관측치들에 패널티를 부여한 방식으로 선정회귀식 추정

- SVM Classification 모델과 같이 다항식 변수항을 추가하는 개념을 도입함으로써 비선형적인 회귀 모형을 적합할 수 있음