标准数据集是神经网络的训练基础。训练就相当于条件反射中的条件,是已知的条件。来源是“经验”,是已知的映射组,当在神经网络中载入标准数据集后,神经网络随机生成一组矩阵,用矩阵处理标准集中的输入集后,用所得结果与标准输出集比较,将误差提出后根据误差,向减少误差的方向修改矩阵组,然后重复多次以后,误差减小到一定程度,标准输入集输入网络后能得到标准输出集,训练完成。这个矩阵组就是神经网络模型。神经网络就是用电脑在标准数据集上总结经验,来对新的输入进行映射
机器学习中的数据集合
数据集分类
在有监督(supervise)的机器学习中,数据集常被分成2~3个,即:训练集(train set) 验证集(validation set) 测试集(test set)。
训练集用来估计模型,验证集用来确定网络结构或者控制模型复杂程度的参数,而测试集则检验最终选择最优的模型的性能如何。
Ripley, BD(1996)在他的经典专著Pattern Recognition and Neural Networks中给出了这三个词的定义。
Training set:
A set of examples used for learning, which is to fit the parameters [ie, weights] of the classifier
Validation set:
A set of examples used to tune the parameters [ie, architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network
Test set:
A set of examples used only to assess the performance [generalization] of a fully specified classifier
显然,training set是用来训练模型或确定模型参数的,如ANN中权值等; validation set是用来做模型选择(model selection),即做模型的最终优化及确定的,如ANN的结构;而 test set则纯粹是为了测试已经训练好的模型的推广能力。当然,test set这并不能保证模型的正确性,他只是说相似的数据用此模型会得出相似的结果。但实际应用中,一般只将数据集分成两类,即training set 和test set,大多数文章并不涉及validation set。
选择训练集和测试集
其中一个典型的划分是训练集占总样本的50%,而其它各占25%,三部分都是从样本中随机抽取。样本少的时候,上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱,然后均匀分成K份,轮流选择其中K-1份训练,剩余的一份做验证,计算预测误差平方和,最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N,就是留一法(leave one out)。
数据归一化问题
数据归一化属于数据的预处理。因为sigmoid函数根据不同的变换,输出在0到1或者-1到1之间,因此如果不做归一,就会出现样本输出超出神经网络输出的范围。选择最大的值max和最小值min,做如下变换
x=(x-min)/(max-min)
就是归一化。
需要注意的是max和min不应该直接选择为x中的最大值和最小值。原因是样本只是有限的观测,有可能还有更大或者更小的观测,因此合适的选择应该max选取xmax大一些和min比xmin小一些的。归一化并不总是合适的预处理,因为它不能使分布不对称的样本变得更对称一些,标准化要好一些。另外,有时候主成分分析也能起到降维的作用。
自建数据集是指研究者自行搜集、整理和标注的一组数据。与使用公开数据集相比,自建数据集的好处如下:
1 满足研究需要。研究者可以通过自建数据集来满足自己的研究需要,从而得到更准确、更全面的数据,可以更好地支持研究结论的建立。
2 更好地控制数据质量。使用公开数据集时,往往难以确定数据的准确性和完整性。而自行搜集的数据可以更好地控制数据的质量,通过对数据进行完整性和准确性的确认和校验,可以提高数据质量和研究结论的可信度。
3 可定制性更强。自建数据集更容易满足研究需求和特定标准,可以根据研究的领域、主题和目的进行针对性的选择和处理,从而得到符合个性化研究需求的数据。
4 可降低对公共资源的依赖。使用公开数据集时,访问公共资源可能会受到时间、地点、数量等因素的限制,而自建数据集可以降低对公共资源的依赖,也可以为研究者提供更多的发掘空间。
总之,自建数据集可以为研究者提供更加灵活、个性化的数据源,可以提高数据质量和研究结果的可靠性,还具有更好的扩展性和可定制性。同时,在数据保密方面也有更多的掌控权,更符合个人隐私和商业利益的保护。
以上就是关于请问神经网络中标准数据集怎样理解,有什么作用,怎样得到的。谢谢全部的内容,包括:请问神经网络中标准数据集怎样理解,有什么作用,怎样得到的。谢谢、机器学习中的数据集合、自建数据集的好处等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!