如何计算机器学习模型的复杂度

Question

我正在研究深度学习模型的比较及其在车载网络通信安全中的应用。我想知道如何计算这些模型的复杂度，以了解我提出的模型的性能。我正在使用tensorflow

Answer 1

你可以比较两个深度网络在空间和时间上的复杂性。

关于空间复杂性：

模型中的参数数量->这与模型消耗的内存量成正比。

关于时间复杂度：

1. 针对给定批次大小训练单个批次所需的时间。
2. 训练所需的时间
3. 对单个样本

执行推断所需的时间

一些论文还讨论了体系结构的复杂性。例如，如果GoogLeNet的准确率仅略高于VGG-net，有些人可能更喜欢VGG-net，因为它更容易实现。

您还可以讨论有关您的网络对超参数调整的容忍度的一些分析，例如，当您更改超参数时，您的性能如何变化。

如果您的模型处于分布式设置中，则还需要提及其他内容，例如通信间隔，因为它有时是瓶颈。

总而言之，您几乎可以讨论您认为在另一个网络中以不同方式实现的任何东西，这会增加额外的复杂性，而不会对您的网络的准确性有太大改善。

我不认为你会想要它，但还有一个名为deepBench的开源项目，可以对不同的深度网络模型进行基准测试。