神经网络的训练时间包括什么？

Question

我最近开发了一个DNN模型，我想知道训练时间到底是什么，其中包括了哪些步骤？对于ex，我执行了以下步骤: 1)通过5倍的CV (使用反向传播)确定最佳网络体系结构；2)获得最佳体系结构后，使用无监督学习获得初始权重，使用无标签数据；3)应用反向传播，根据步骤2的初始权重对网络进行微调(运行500次)

这个过程的训练时间是多少？它是否包括所有步骤，还是仅包括步骤2或步骤3？或者一般来说，培训时间包括运行最佳体系结构代码的时间，还是还包括确定最佳网络体系结构所需的时间？

Answer 1

通常，最有用的衡量标准是运行整个培训脚本所需的“墙”时间。

如果将训练定义为包含超参数搜索，则应包括超参数。结果是最长的经验时间，这对于估计重现类似结果所需的时间是有用的。