VowpalWabbit:差异和可伸缩性

Question

我试图确定，随着输入集大小的增加，VowpalWabbit的“状态”是如何保持的。在一个典型的机器学习环境中，如果我有1000个输入向量，我希望立即发送所有输入向量，等待模型构建阶段的完成，然后使用模型来创建新的预测。

在大众汽车中，该算法的“在线”特性似乎改变了这一范式，使其具有更高的性能和实时调整的能力。

1. 这种实时模型修改是如何实现的？
2. 大众是否会随着时间的推移而占用越来越多的资源来获取总输入数据的大小？也就是说，当我将更多的数据添加到我的VW模型(当它很小的时候)，当特征向量输入的累积#增加到1000秒、1000秒或数百万时，实时调整计算开始花费更长的时间吗？

Answer 1

VW是随机梯度下降的一个(非常)复杂的实现。您可以阅读更多关于随机梯度下降这里的内容。

结果表明，随机梯度下降的一个很好的实现基本上是I/O限制，它尽可能快地得到数据，所以VW有一些复杂的数据结构来“编译”数据。

因此，问题(1)的答案是通过随机梯度下降，而问题(2)的答案肯定不是。