支持向量机

之前上了斯坦福大学Andrew Ng的机器学习课程后，以为自己的支持向量机SVM有了一番了解，只是在logistic regression上做一点改进，另外还有核函数加入拓展数据特征，然后今天看了详细的支持向量机推导过程后，才发现之前自己的理解很肤浅。

这篇文章详细介绍了支持向量机的概念及求解，对于更深入的SMO算法以及损耗分析，需要去看《支持向量机导论》这本书。

支持向量机被称为最好的监督学习分类器，我认为原因有下：

• 不像logistic regression一样有$h(x)$这个logistic函数，而是

  $$\begin{equation} g(z) = \begin{cases} 1, &z \geq 0 \\\ -1, &z < 0 \end{cases} \end{equation}$$

• 它的分类原理使得不同类别的间隔达到了最大。

• 对于线性不可分的情况，可以将本来的特征无限拓展到高维， 也就是系数$w$可以无限高维度，但我们却可以在求解过程中不需要知道具体维度，只要用核函数就可以求解！