过拟合及解决方案

是什么

过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含 抽样误差 ，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。

具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。

为什么

为什么要解决过拟合现象？这是因为我们拟合的模型一般是用来预测未知的结果（不在训练集内），过拟合虽然在训练集上效果好，但是在实际使用时（测试集）效果差。同时，在很多问题上，我们无法穷尽所有状态，不可能将所有情况都包含在训练集上。所以，必须要解决过拟合问题。

为什么在机器学习中比较常见？这是因为机器学习算法为了满足尽可能复杂的任务，其模型的拟合能力一般远远高于问题复杂度，也就是说，机器学习算法有「拟合出正确规则的前提下，进一步拟合噪声」的能力。

而传统的函数拟合问题（如机器人系统辨识），一般都是通过经验、物理、数学等推导出一个含参模型，模型复杂度确定了，只需要调整个别参数即可。模型「无多余能力」拟合噪声。

怎么样

如何防止过拟合：

主要是以下4点

1 获取更多数据

这是解决过拟合最有效的方法，只要给足够多的数据，让模型「看见」尽可能多的「例外情况」，它就会不断修正自己，从而得到更好的结果：

如何获取更多数据，可以有以下几个方法：

2 使用合适的模型

前面说了，过拟合主要是有两个原因造成的：数据太少 + 模型太复杂。所以，我们可以通过使用合适复杂度的模型来防止过拟合问题，让其足够拟合真正的规则，同时又不至于拟合太多抽样误差。

（PS：如果能通过物理、数学建模，确定模型复杂度，这是最好的方法，这也就是为什么深度学习这么火的现在，我还坚持说初学者要学掌握传统的建模方法。）

对于神经网络而言，我们可以从以下四个方面来 限制网络能力 ：

21 网络结构 Architecture

这个很好理解，减少网络的层数、神经元个数等均可以限制网络的拟合能力；

22 训练时间 Early stopping

对于每个神经元而言，其激活函数在不同区间的性能是不同的：

当网络权值较小时，神经元的激活函数工作在线性区，此时神经元的拟合能力较弱（类似线性神经元）。

有了上述共识之后，我们就可以解释为什么限制训练时间（early stopping）有用：因为我们在初始化网络的时候一般都是初始为较小的权值。训练时间越长，部分网络权值可能越大。如果我们在合适时间停止训练，就可以将网络的能力限制在一定范围内。

23 限制权值 Weight-decay，也叫正则化（regularization）

原理同上，但是这类方法直接将权值的大小加入到 Cost 里，在训练的时候限制权值变大。以 L2 regularization 为例：

训练过程需要降低整体的 Cost，这时候，一方面能降低实际输出与样本之间的误差C 0 ，也能降低权值大小。

24 增加噪声 Noise

给网络加噪声也有很多方法：

241 在输入中加噪声：

噪声会随着网络传播，按照权值的平方放大，并传播到输出层，对误差 Cost 产生影响。推导直接看 Hinton 的 PPT 吧：

在输入中加高斯噪声，会在输出中生成 \Sigma_i\sigma^2_i\cdot w^2_i 的干扰项。训练时，减小误差，同时也会对噪声产生的干扰项进行惩罚，达到减小权值的平方的目的，达到与 L2 regularization 类似的效果（对比公式）。

242 在权值上加噪声

在初始化网络的时候，用 0 均值的高斯分布作为初始化。Alex Graves 的手写识别 RNN 就是用了这个方法

243 对网络的响应加噪声

如在前向传播过程中，让默写神经元的输出变为 binary 或 random。显然，这种有点乱来的做法会打乱网络的训练过程，让训练更慢，但据 Hinton 说，在测试集上效果会有显著提升 （But it does significantly better on the test set!）。

3 结合多种模型

简而言之，训练多个模型，以每个模型的平均输出作为结果。

从 N 个模型里随机选择一个作为输出的期望误差 <[t-y_i]^2> ，会比所有模型的平均输出的误差 <[t-\bar{y}]^2> 大 （我不知道公式里的圆括号为什么显示不了） ：

大概基于这个原理，就可以有很多方法了：

31 Bagging

简单理解，就是分段函数的概念：用不同的模型拟合不同部分的训练集。以随机森林（Rand Forests）为例，就是训练了一堆互不关联的决策树。但由于训练神经网络本身就需要耗费较多自由，所以一般不单独使用神经网络做 Bagging。

32 Boosting

既然训练复杂神经网络比较慢，那我们就可以只使用简单的神经网络（层数、神经元数限制等）。通过训练一系列简单的神经网络，加权平均其输出。

33 Dropout

这是一个很高效的方法。

在训练时， 每次 随机（如 50% 概率）忽略隐层的某些节点；这样，我们相当于随机从 2^H 个模型中采样选择模型；同时，由于每个网络只见过一个训练数据（每次都是随机的新网络），所以类似 bagging 的做法，这就是我为什么将它分类到「结合多种模型」中；

此外，而不同模型之间权值共享（共同使用这 H 个神经元的连接权值），相当于一种权值正则方法，实际效果比 L2 regularization 更好。

4 贝叶斯方法

这部分我还没有想好怎么才能讲得清楚，为了不误导初学者，我就先空着，以后如果想清楚了再更新。当然，这也是防止过拟合的一类重要方法。

过拟合经常发生：

先看范例：

运行结果：

模型在训练集上的精度是985%， 在测试集上的精度是900%，显然发生过拟合了。

解决办法：

加入Dropout层 ，模型修改为：

运行结果：

加入权重正则化 ，模型修改为

运行结果：

模型在训练集上的精度是863%， 在测试集上的精度是874%，显然增加过Dropout+L2后，模型过拟合好了，但又发生了欠拟合

把Epochs增加为：20，其运行结果：

模型在训练集上的精度是8802%， 在测试集上的精度是887%

结论：

欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和测试误差之间的差距太大。

相关介绍：

人工神经网络（ANN）或联结主义系统是受构成动物大脑的生物神经网络的启发但不完全相同的计算系统。这种系统通过例子来“学习”执行任务，而不用特定于任务的规则进行编程。

例如，在图像识别中，人工神经网络可能会通过分析一些图像样本来学习识别包含猫的图像，这些图像被手工标记为“猫”或“不是猫”，并使用结果识别在其他图像中的猫。

他们这样做是在没有猫的任何先验知识的情况下进行的，例如，它们有毛皮，尾巴，胡须和类似猫的脸。相反，人工神经网络会自动从它们处理的学习材料中生成识别特征。

人工神经网络是基于称为人工神经元的连接单元或节点所构成的集合，这些单元或节点松散地模拟生物大脑中的神经元。像生物大脑中的突触一样，每个连接可以将信号从一个人工神经元传输到另一个人工神经元。接收信号的人工神经元可以对其进行处理，然后向与之相连的附加人造神经元发出信号。

SVM如何避免过拟合

过拟合（Overfitting）表现为在训练数据上模型的预测很准，在未知数据上预测很差。过拟合主要是因为训练数据中的异常点，这些点严重偏离正常位置。我们知道，决定SVM最优分类超平面的恰恰是那些占少数的支持向量，如果支持向量中碰巧存在异常点，那么我们傻傻地让SVM去拟合这样的数据，最后的超平面就不是最优的。

如图1所示，深红色线表示我们希望训练得到的最优分类超平面，黑色虚线表示由于过拟合得到的较差的分类面。这是由于蓝色数据中有一个异常点，即图中的那个黑圈蓝点，使得我们的SVM去将就配合它，导致最后得到的分类面（粗黑色虚线）不尽如人意。从间隔可以看出，黑色虚线两边的间隔要比红色线两边的间隔要狭窄，也就是黑色虚线的分类效果比较差。

解决过拟合的办法是为SVM引入了松弛变量ξ（slack variable），将SVM公式的约束条件改为：

从图2可以看到，引入松弛变量使SVM能够容忍异常点的存在。为什么？因为引入松弛变量后，所有点到超平面的距离约束不需要大于等于1了，而是大于08就行了（如果ξ=02的话），那么异常点就可以不是支持向量了，它就作为一个普通的点存在，我们的支持向量和超平面都不会受到它的影响。

我们知道，事物都有两面性，对异常点太容忍会导致任意超平面都可以是“最优”超平面，SVM就失去意义了。因此SVM公示中的目标函数也需要相应修改，我们加上松弛变量的平方和，并求最小值。这样就达到一个平衡：既希望松弛变量存在以解决异常点问题，又不希望松弛变量太大导致分类解决太差。

SVM如何避免过拟合

解决方法

1）在神经网络模型中，可使用权值衰减的方法，即每次迭代过程中以某个小因子降低每个权值。

2）选取合适的停止训练标准，使对机器的训练在合适的程度；

3）保留验证数据集，对训练成果进行验证；

4）获取额外数据进行交叉验证；

5）正则化，即在进行目标函数或代价函数优化时，在目标函数或代价函数。

————————————————

版权声明：本文为CSDN博主「「已注销」」的原创文章，遵循CC 40 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：>

就是数据集的意思。

simca过拟合是指过于紧密或精确地匹配特定数据集，以致于无法良好地拟合其他数据或预测未来的观察结果的现象。

simca软件是科学家、研究员、产品开发员、工程师等人士，在处理大批量数据集时使用的标准工具。特种化学品和石油化学品领域为simca软件提供了多元化应用的机会。这些领域对数据价值有着传统的了解和重视。从实时优化到先进控制策略，数据的应用是一个成熟的概念。

首先欠拟合、过拟合没有明确的定义分界

明显的未充分利用数据，拟合结果不符合预期，甚至不能有效拟合训练集，我们可以认为欠拟合

考虑过多，超出自变量的一般含义维度，过多考虑噪声，会造成过拟合

可以认为预测准确率、召回率都比理论上最佳拟合函数低很多，则为欠拟合

训练集预测效果好，测试集预测效果差，则为过拟合

以上就是关于过拟合及解决方案全部的内容，包括:过拟合及解决方案、过拟合及其解决方式、神经网络,什么过拟合,什么是欠拟合等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！