train 是训练集， val 是训练过程中的测试集，是为了让你在边训练边看到训练的结果，及时判断学习状态。 test 就是训练模型结束后，用于评价模型结果的测试集。只有train就可以训练，val不是必须的，比例也可以设置很小。test对于model训练也不是必须的，但是一般都要预留一些用来检测，通常推荐比例是8:1:1

val 是 validation 的简称。
training dataset 和 validation dataset 都是在训练的时候起作用。
而因为 validation 的数据集和 training 没有交集，所以这部分数据对最终训练出的模型没有贡献。
validation 的主要作用是来验证是否过拟合、以及用来调节训练参数等。

比如训练 0-10000 次迭代过程中， train 和 validation 的 loss 都是不断降低，
但是从 10000-20000 过程中 train loss 不断降低， validation 的 loss 不降反升。
那么就证明继续训练下去，模型只是对 training dataset 这部分拟合的特别好，但是泛化能力很差。
所以与其选取 20000 次的结果，不如选择 10000 次的结果。
这个过程的名字叫做 Early Stop ， validation 数据在此过程中必不可少。

如果跑 caffe 自带的训练 demo ，你会用到 train_val.prototxt ，这里面的 val 其实就是 validation 。
而网络输入的 TEST 层，其实就是 validation ，而不是 test 。你可以通过观察 validation 的 loss 和 train 的 loss 定下你需要的模型。

但是为什么现在很多人都不用 validation 了呢？
我的理解是 现在模型中防止过拟合的机制已经比较完善了， Dropout\BN 等做的很好了。
而且很多时候大家都用原来的模型进行 fine tune ，也比从头开始更难过拟合。
所以大家一般都定一个训练迭代次数，直接取最后的模型来测试。

原文链接： https://www.mobibrw.com/2017/7966 val 是 val idation的简称。 train 是 训练 集， val 是验证集， test 是测试集 train ing dataset 和 val idation dataset都是在 训练 的时候起作用。 而因为 val idation的数据集和 train ing没有交集，所以这部分数据对最终 训练 出的模型没有贡献。 val idation的主要作用是来验证是否过拟合、以及用来调节 训练 参数等。 train 是 训练 集， val 是 训练 过程 中 的测试集，是为了让你在边 训练 边看到 训练 的结果，及时判断学习状态。 test 就是 训练 模型结束后，用于评价模型结果的测试集。只有 train 就可以 训练 ， val 不是必须的，比例也可以设置很小。 test 对于model 训练 也不是必须的，但是一般都要预留一些用来检测，通常推荐比例是8:1:1。 转载于https://blog.csdn.net/qq_42911028/article/details/120027337?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163581882716780357246029%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=163581882716780357246029&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-4-120027337.pc_search_result_control_group&utm_term=yolov%E5%B0%86%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%BA%E5%88%92%E5%88%86%E8%AE%AD%E7%BB%83%E9%9B%86%E5%92%8C%E9%AA%8C%E8%AF%81%E9%9B%86&spm=1018.2226.3001.4187。将转换好的txt标注文件和jpg图片自动按照比例划分成为数据集。使用前需要先修改好python代码的地址，然后创建好 train 、 val 、 test 三个文件夹，每个文件夹下都包含了images和labels。按照文件要求创建好文件夹运行即可。上传到这里方便自己以后下载 train val _percent = 0.8 train _percent = 0.6 xmlfilepath = '/home/dlut/网络/make_database/VOCdevkit/VOC2018/Annotations' #Annotati... train ? val id? or test ? 机器学习最明显的一个特点是需要大量的数据。特别对监督学习来说，就是需要大量的带标签数据（labeled data）。 很多入门的朋友很快就会遇见模型 训练 和测试这两个阶段，进而也就了解到带标签数据是要被划分成两个部分的： 训练 集( train ing set)与测试集( test set)。这两个概念也很直观，... 因此，一个简单的对比就是，你在你的模型 训练 了好几轮，觉得效果不错了之后，停下来，选择几个 训练 集数据，比如5个，分别在 train 模式和e val 模式下，打印他们输入， 中 间层以及结尾的结果，这个你自己看着办即可。在 train 模式下好，e val 模式下差，我们可以理解为 train 模式下，最后一层得到的那一堆向量好，e val 得到的那一堆向量差，从而逐步往前推。不管怎么说吧，首先引人注目的就是，我的4个数据，输入的均值和方差都特别不一样，尤其是方差，3万多的方差，吓死。成功了，同时发现，归一化之后 训练 得很快！... 我的个人博客   在机器学习和模式识别等领域 中 ，一般需要将样本分成独立的三部分 训练 集（ train set），验证集（ val idation set ) 和测试集（ test set）。 训练 集（ Train ing set）模型拟合的数据样本，用来估计模型，   验证集(Cross Val idation set) 用来确定网络结构或者控制模型复杂程度的参数   测试集( Test set... 今天在处理数据的时候遇到给coco数据集随机分成 train , val , test 的问题，在网上搜索后看见有博主使用paddleX方法划分。使用该方法方法划分json时没有同时给image文件夹进行划分。因此我写了一个脚本根据上述方法产生的json文件对图片进行划分。... 上半节讲到一个数据集正常需要划分为 train 、 val idation和 test 三个数据集，那么具体到代码 中 是如何实现的？ 需要注意的是正常代码提供的是两种划分，即 train 和 test 两部分，我们在划分 train 的数据集 中 再划分为两部分，即可设定 val 数据集。 print(' train :'...