稀疏核机（下）：稀疏性

2014 年 4 月 26 日

点击上方“ 大数据与人工智能 ”，“星标或置顶公众号”

第一时间获取好内容

作者丨stephenDC

这是作者的第 8 篇文章

本文是“稀疏核机”这个专题的第三篇，也是最后一篇。

在《稀疏核机（上）—SVM回顾》中，我们简单回顾了SVM的导出；在《稀疏核机（中）—核方法》中，我们从SVM的基函数扩展，引出了核方法。至此，准备工作已经完成，我们在本篇重点讨论核机的稀疏性。

主要内容包括：

稀疏核机

SVM的稀疏性

我们可以从最大化Margin、Hinge损失函数、对偶问题的约束项，这3个不同的角度来理解SVM的稀疏性。

Part 1

先来回顾一下，对二分类问题，Margin的意义如下图所示。表示两类样本距离分隔超平面最小距离的2倍。

对线性可分的二分类问题，有无数个超平面可以将两个类别分开，而SVM定义为最大化Margin所确定的超平面。那么，最大化Margin的意义是什么呢？

a. 使结构风险最小化：样本点距分隔超平面的距离，代表了一种分类的确信度，最大化Margin显然增加了最可能被误分类的样本的分类确信度。

b. 让分隔超平面唯一化：虽然有无数个超平面可以将两类样本分开，但同时要让Margin最大，这个超平面就唯一确定了

问题来了，这个唯一的分隔超平面跟哪些样本点有关呢？从直觉上我们很容易发现，最大化Margin的超平面至少跟离超平面很远的那些点是没有关系的。

这当然只是一种直觉式的不严谨的理解，我们下面用Hinge损失函数来说明，这种直觉是对的。

Part 2

例子：

RVM模型

演道网