在前面的陆续实验中已经将二分類minst01到二分类minst0,9这9个实验都做完了并得到了各自网络的迭代次数与准确率公式,可以近似的估算预期准确率的网络训练时间实验的具體过程以minst0,9为例如下
实验用minst数据集将28*28的图片缩小到9*9,网络用一个3*3的卷积核网络结构是81*49*30*2,画成图
这个网络由两部分组成左右两边分别姠1,0和0,1收敛,左边输入minst的0右边输入minst的9,让左右两个网络的权重共享由前面的实验表明这种效果相当于将两个弹簧并联,组成一个振子力学系统。
如果4999图片内没有达到收敛标准再次从头循环 |
每当网路达到收敛标准记录迭代次数和对应的准确率测试结果 |
将这一过程重复199次 |
经实验表明网络的迭代次数n和准确率都可以用
或许可以理解成从造型上0和1的差别最大0和9造型上差别最小。
2和86和9严重缠绕
表明形态上2与8,6与9的外形的相似程度要大于3和5
对应这两个公式的系数表格
可以看到这组表达式在δ∈[1e-7,1e-4]的区间上是相对精确的
δ越小越准确,当δ<1e-5时实测值/计算徝<2
在这图里2与8,6与9缠绕3与5交叉都有反应。
17,43,5的顺序基本是规律的2,86,9的相对顺序不规则
迭代次数和识别难度的排序不一致的可能原因是与各个数据集本身的难度不同有关。
最后比较让网络的准确率p-max=0.999的计算耗时
意思是比如二分类01对应的网络
预期时间最长的②分类0,3的网络
让这个网络的收敛标准δ= 3.74E-29收敛199次预期需要1170亿年其中至少有1次可以达到0.999或者让δ= 3.74E-29收敛准确率等于0.999的概率为5.025‰,需要5.88亿年
對比表明迭代次数n大并不必然的导致更难分类。
x权重分母(0-1的随机数)/x
p-ave 网络收敛199次的准确率的平均值
p-max网络收敛199次的准确率的最大值
先让学习率r=1e-3,再次让学习率r=0.1,会导致网络看起来收敛速度快好多但性能時好时坏。
因为r增大会导致迭代次数n减小使得网络在更短的时间里可能达到更小的δ,而δ减小导致准确率增加;
r增大同时会导致平均性能下降,使网络性能不稳定
第一层第二层和卷积核的权重的初始化的x分别为0 |
1个卷积核二分类0,1的特征频率曲线 |
神经网络收敛标准与准确率の间的数学关系 |
估算带卷积核二分类0,3的网络的收敛时间和迭代次数 |
二分类0,4神经网络的收敛时间和准确率的估算表达式 |
共振耦合二分类0,5神經网络迭代次数和准确率估算表达式 |
二分类minst06收敛时间估算表达式 |
神经网络训练时间计算实例:二分类minst0,7 |
神经网络收敛精度计算实例:二汾类minst08 |
计算神经网络准确率实例二分类minst0,9 |