什么是深度学习领域的失败？

Question

什么是深度学习领域的失败？为什么我们不直接使用FLO这个词呢？

我们使用术语FLOPS来衡量冻结的深度学习网络的操作数量。

在维基百科之后，FLOPS =每秒的浮点操作数。当我们测试计算单元时，我们应该考虑时间。但是在测量深度学习网络的情况下，我如何理解这个时间概念？我们不应该只使用FLO(浮点运算)这个术语吗？

为什么人们要用失败这个词呢？如果有什么我不知道的，那是什么？

====附件===

我提到的冻结深度学习网络只是一种软件。这不是硬件的问题。在深度学习领域，人们使用术语FLOPS来衡量运行网络模型需要多少操作。在这种情况下，在我看来，我们应该使用术语FLO。我认为人们对失败这个词感到困惑，我想知道其他人是否也这么想，或者我是不是错了。

请看这些案例：

how to calculate a net's FLOPs in CNN

https://iq.opengenus.org/floating-point-operations-per-second-flops-of-machine-learning-models/

Answer 1

我不确定我的答案是100%正确的。但这就是我所理解的。

每个second

• FLOPs的
• operations

= Floating point opoperations

= Floating point FLOPS

FLOPS是速度的单位。FLOPs是数量的单位。

Answer 2

令人困惑的是，FLOP的(每秒浮点操作)和FLOPS (每秒的浮点操作)都用于机器学习。FLOP通常用于描述需要多少操作才能运行给定模型的单个实例，如VGG19。这是你发布的两个链接中FLOPs的用法，尽管不幸的是opengenus链接错误地使用了“每秒浮点操作数”来引用FLOPs。

您将看到FLOPS用于描述给定硬件(如GPU)的计算能力，这在考虑给定硬件的计算能力时非常有用，或者相反，在该硬件上训练模型可能需要多长时间。

有时人们写的是FLOPs，其实他们指的是FLOPS。从上下文中通常可以清楚地看出他们所指的是哪一个。

Answer 3

什么是深度学习领域的失败？为什么我们不直接使用FLO这个词呢？

FLOPS (每秒浮点操作数)在大多数领域都是一样的--它是硬件(如果你非常幸运的话)能够进行的(理论上)最大浮点操作数。

我们不使用FLO，因为FLO总是无穷大的(给定无限的时间，硬件能够进行无限数量的浮点运算)。

请注意，一个“浮点运算”是一个乘法、一个除法、一个加法……通常(对于现代CPU) FLOPS是通过重复使用“融合乘法然后加法”指令来计算的，因此一条指令可以算作两个浮点操作。当与SIMD结合使用时，一条指令(并行执行8条“乘法和加法”)可以算作16条浮点指令。当然，这是一个经过计算的理论值，因此您忽略了内存访问、分支、IRQ等。这就是为什么“理论上的失败”在实践中几乎永远不可能实现的原因。

为什么人们用FLOPS这个词？如果有什么我不知道的，那是什么？

它主要用于描述硬件在市场营销中的强大功能(例如“我们的新CPU能够支持5GFLOPS！”)。