AI/ML模型中是否有控制流/条件语句？

Question

我最近在一次面试中被问到这个问题。

当我们编写一个C程序时，它有一个以条件语句(如if、while、for )形式的控制流，它执行一个条件，并决定控件如何通过应用程序。

在AI/ML模型中，例如像ResNet这样的CNN，我看不到任何控制流(无论是静态的还是动态的)。只是一系列连续的卷积层。所以,

• 这些控制流/条件语句在AI域中在哪里？它们看起来像什么？
• 哪个模特有？有什么例子吗？

Answer 1

是的，在神经网络中有控制流结构，例如：

• 具有递归单元的可变长度序列分类:在具有递归单元(vanilla RNNs、LSTMs、GRUs)的文本分类任务中，在训练和推理时，基本上遍历输入批的时间维度，将下一个令牌和前面步骤的状态传递给递归单元。这是一个for循环。
• 可变长度序列生成:在文本生成编解码网络中，解码器在推断时一次生成一个离散令牌，直到生成一个特殊的“序列结束”令牌。这基本上是一个while结构。该译码器可以基于任何类型的神经网络单元: LSTMs，can，自我关注(变压器)等.

可以想象，这种控制流结构是典型的可变大小的输入/输出。在大多数图像处理体系结构中，您不会看到这种结构。

在声明式深度学习框架(如Theano或Tensorflow 1.x )中，控制流更难实现。在Tensorflow 1.x中，实际上有一个要实现while循环的特定原语：tf.while_loop。有了Pytorch或Tensorflow 2.x这样的命令式框架，控制流构造就更容易实现了，因为您可以在计算之间集成正常的逻辑。