支持向量机SVM

支持向量机Support Vector Machine由Vapnik及其合作者发明;这个算法可以利用核函数的特征空间有效的训练线性学习器，同时它还考虑了泛化性理论，并使用了最优化理论。
SVM是机器学习领域若干技术的集大成者，它主要研究最大间隔超平面、KKT条件、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。
SVM的理论体系涵盖的对象极其广泛，包括对偶表示、特征空间、学习理论、优化理论等

统计学习

统计学习理论（Statistical Learning Theory）是研究小样本情况下学习规律的统计学习理论‚是传统统计学的重要发展和补充‚为研究有限样本下的机器学习的理论和方法提供了理论框架‚其核心思想是通过控制学习机器的容量实现推广能力的控制。在这一理论中发展出的支持向量机方法是一种新的通
用学习机器‚比以往方法表现出很多理论和实践上的优势

统计学习理论是基于结构风险最小化理论不是基于传统统计学的经验风险最小化理论表现出很多优于传统方法的性能，迅速引起各领域的学者注意和研究兴趣‚推动了各领域的快速发展。

经验风险最小

学习的问题就是从给定的函数集$fx, \alpha, \alpha \in A,A是参数集合$中选择出能够最好逼近训练响应器的函数，这种选择是基于训练集的，训练集由根据联合分布$Fx,y = Fx Fyx$抽取出的$l$个独立同分布观测$x_1, y_1, \cdots, x_l, y_l$组成。为了选择对训练响应最好的逼近‚就需要一种度量给定输入$x$下响应的$y$与机器学习给出的响应$fx, \alpha$之间的损失或者差异，该损失或者差异可以使用$Ly,fx, \alpha$表示。称为损失函数, 其数学期望为
$$R\alpha = \int Ly, fx, \alphadFx,y;$$
他就是风险函数