SVM 모델 (Support Vector Machines)

• 신경망에 비해 간결함
• 분류나 회귀 분석에 사용가능하지만 주로 분류에 사용
• 기본적으로 Hyperplane을 이용해서 분류

Separating Hyperplane

• Margin 을 최대화하는 Hyperplane 을 찾는게 목적
• w, b 를 찾자

Geometric Margin

• 식으로 표현

• 최적화 (Convex Optimization Problem)

• Lagrangian Formulation (제약된 문제를 제약없이 풀기)

• Lagrangian Dual (목적식과 제약식을 하나로 만들기)

• 최종 : w, b(베타)를 찾았으면 새로운 데이터를 분류하기 (Classifying New Data Points)

Linearly Nonesparable Case

• Soft Margin SVM <-> Hard Margin SVM, 선형으로 분리

• 오른쪽이 선형으로 분리할 수 없는 경우

• Margin 최대화

• Lagrangian Formulation

• Lagrangian Dual

(차이점은 알파가 0과 C사이에 있는것)

Kernel Methods for Nonlinear Classification

• 비선형 SVM

• 변환

• Kernel Functions

• 비선형 모델을 사용할때는 Kernel 설정이 필요함

• example, 커널 종류에 따라 달라짐

(test error가 더 적은 모델이 좋은거)