org.apache.spark.ml.classification与org.apache.spark.mllib.classification的区别

Question

我正在编写一个星星之火应用程序，并希望在MLlib中使用算法。在API文档中，我为相同的算法找到了两个不同的类。

例如，LogisticRegression在org.apache.spark.ml.classification中有一个，在org.apache.spark.mllib.classification中也有一个LogisticRegressionwithSGD。

我唯一能找到的区别是，org.apache.spark.ml中的那个是从Estimator继承的，可以用于交叉验证。我很困惑，因为它们被放在不同的包裹里。有人知道原因吗？谢谢!

Answer 1

是JIRA机票

来自设计博士

MLlib现在涵盖了机器学习算法的基本选择，例如逻辑回归、决策树、交替最小二乘和k-均值。当前的一组API包含几个设计缺陷，这些缺陷阻碍了我们解决实际的机器学习管道，使MLlib本身成为一个可伸缩的项目。 新的API集将在org.apache.spark.ml下运行，一旦我们将所有特性迁移到o.a.s.ml，就不再推荐o.a.s.mllib了。

Answer 2

星火导轨说：

spark.mllib包含构建在RDD之上的原始API。 spark.ml为构建ML管道提供了建立在DataFrames之上的高级API .

和

推荐使用spark.ml，因为使用DataFrames时，API更通用、更灵活。但随着spark.mllib的发展，我们将继续支持spark.ml。用户应该乐于使用spark.mllib特性，并期待更多功能的出现。开发人员应该为spark.ml提供新的算法，如果它们很好地符合ML流水线概念，例如，特征提取器和变压器。

我想医生解释得很好。