当我检查Spark MLib时,它包含了有限的分类算法。是否可以将Weka jar文件添加到spark,并在Spark workers上使用其分类算法。我知道做这项工作没有任何并行化的好处,但我很好奇我是否可以这样做。
发布于 2019-12-14 04:29:34
HamidReza,
你不能直接使用weka jar来分发你的学习算法。它们的实现与分布式系统不兼容。
尽管如此,存在一个名为distributedWekaSparkDev的特定项目,但我还没有尝试过它。
你可以在这里了解更多信息:http://markahall.blogspot.com/2017/07/integrating-spark-mllib-into-weka.html
https://stackoverflow.com/questions/59321573
复制相似问题