[머신러닝]비선형분류모형(하)

초평면(hyperplane)은 임의의 공간을 양분하는 평면이다. 특정 차원에 국한되지 않고 모든 차원에 대해 1만큼 적은 차원을 가지며 공간을 양분한다.

---

데이터들이 좌표 공간에 놓여있을 때 클래스에 따라 데이터를 구분하는 초평면을 어떻게 그리는 것이 가장 좋을까?

초평면과 가장 가까운 데이터를 Support vector라고 하고 둘 사이의 거리를 Margin이라고 할 때, Margin을 최대화하는 초평면이 가장 좋다고 판단한다. Margin이 클수록 일반화 오차가 감소하며 작을수록 작은 섭동에 의해 클래스 분류가 바뀔 수 있어 과적합 문제를 발생시킨다. 초평면은 오로지 Support vectors에 의해 결정되며 다른 어떠한 학습 데이터들은 영향을 주지 못한다.

---

데이터가 섞여 있어 데이터의 클래스를 하나의 직선으로 정확하게 분류할 수 없는 경우라면 Soft margin 방법을 사용하기도 한다. Soft margin 방법은 초평면을 구할 때 Slack variable을 도입하여 어느 정도 오차를 허용하는 방법이며 오차와 margin(soft)의 효율에 대해 적절히 고려하여 사용하여야 한다.

---

데이터의 클래스트가 비선형의 형태로 분포하고 있는 경우라면 데이터(Input space)를 선형 분리가 가능할 만큼의 고차원 공간(Feature space)에 사상시켜 선형 분리를 수행한 후 다시 저차원으로 사상을 시키면 비선형 형태의 초평면을 얻을 수 있다. 고차원으로 매핑을 할수록 더욱 정교하게 초평면으로 공간을 분리할 수 있지만 연산에 오랜 시간이 걸리게 된다. 이러한 문제를 해결하기 위해 Kernel function을 도입하여 반복적인 많은 연산 없이 빠르게 초평면을 찾을 수 있다.