无法应用map reduce模型的机器学习算法

Question

论文" map -Reduce for Machine Learning on Multicore“展示了10种机器学习算法，它们可以从map reduce模型中受益。关键是“任何适合统计查询模型的算法都可以写成一定的求和形式”，并且算法可以表示为求和形式，可以应用map reduce编程模型。

对于那些不能表示为求和形式的算法，并不意味着它们不能应用map reduce模型。谁能指出任何特定的机器学习算法，这些算法不能通过map reduce模型来加速？

Answer 1

当数据中存在计算依赖关系时，MapReduce不起作用。这一限制使得表示在结构化模型上操作的算法变得困难。

因此，当面对大规模问题时，我们通常会放弃丰富的结构化模型，转而使用符合MapReduce abstraction 2的过于简单的方法。

在机器学习社区中，许多算法在学习和推理过程中迭代地转换参数，例如，信念传播、期望最大化、梯度下降和Gibbs采样。这些算法迭代地细化一组参数，直到某些终止标准与2匹配。

如果你在每次迭代中调用MapReduce，是的，我认为你仍然可以加速计算。这里的要点是，我们需要一个更好的抽象框架，以便可以包含数据的图形结构，以表达复杂的调度或自动评估终止。

顺便说一句，由于上述原因2，Graphlab是其中一种替代方案。