回答情况：
提问时间：
问题标签：
我正在尝试使用Spark的MLlib在Java上实现KMeans，我偶然发现了一个问题，那就是尽管我已经导入了正确的jar，但我的编译器无法识别这一行
// Cluster the data into
浏览 4修改于2016-10-31得票数 3
我有spark 1.6.1和python 3.5.1。我应该做哪些更改？"myModelPath") File "<stdin>", line 1, in <module>
File "c:\spark-1.6.1-bin-hadoop2.6\spark-1.6.1-bin-hadoop2.6\python\pyspark\mllib\regression.py", line 18
浏览 0修改于2016-03-18得票数 0
我对机器学习了解很多，但对scala和spark还很陌生。由于Spark API卡住了，所以请给我建议。Classification").setMaster("local") val input = sc.textFile("spark_data.txt
浏览 6修改于2014-12-09得票数 2
我正在使用Spark MLib ALS，并尝试使用trainImplicit()界面将用户购买的商品编号作为隐含偏好提供给它。不过，我不知道如何验证我的模型。
浏览 0提问于2016-08-30得票数 1
MLIB隐式表单需要格式评级(user: Int，product: Int，rating: Double)的输入数据集。但是如何包含view_count和purchase_count呢？
浏览 0修改于2016-04-25得票数 0
spark版本是2.3.1。
Spark-Mlib库提供了一个BinaryClassificationEvaluator ()类来评估算法，也可以用于网格搜索。
浏览 0提问于2018-10-25得票数 1
我正在使用apache spark的mlib版本1.4.0对一个文本文档执行潜在的dirichelet分析，其中每一行都代表一条tweet。
浏览 1提问于2015-07-01得票数 1
我在Windows 7上安装了Apache Spark，并成功地运行了Scala和Python控制台。我的问题是，如果只是想直接从Scala、Java或Python安装中使用Mlib (机器学习库)，而不使用Spark控制台，那么是否有必要使用控制台。
浏览 0修改于2015-08-14得票数 1
我正在使用下面的代码来获取ALS推荐：我想重用上一次运行中的用户和项目的特征向量。如何将这些值设置为初始点？
浏览 28提问于2018-12-22得票数 0
我想使用spark构建模型(特别是决策树)，然后使用纯python (而不是pyspark)应用程序来应用它们
似乎PMML导出是预期的方法，但是树模型还不支持它，而且我还没有找到正在开发中的用于python
浏览 0提问于2015-09-15得票数 2
我目前使用的是一个有3台机器的spark集群，每个节点有17 has。我也使用datastax，但这不会有任何影响。from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating
# Load
浏览 0提问于2016-04-19得票数 0
我在加载包含LogisticRegressionModel stage的序列化PiplineModel时遇到了问题。我得到了：我尝试了加载完整的管道和逻辑阶段，但得到了相同的错误。此外，在保存模型之前，我检查了coeficients()是否返回值，它确实返回值。
浏览 16提问于2017-03-10得票数 0
在使用mlib和DataFrame (Spark2.0)在PipelineModel中训练RandomForestRegressor后，我将保存的模型加载到我的RT环境中，以便使用该模型进行预测，每个请求都通过加载的PipelineModel进行处理和转换，但在此过程中，我必须使用spark.createdataframe将单个请求向量转换为单行DataFrame，所有这一切大约需要700ms！有没有办法使用新的mlib来预测单个向量，而无需转换为DataFrame或执行其他操作来加快速度？
浏览 0提问于2016-08-02得票数 2
我正在尝试使用Spark SQL和MLib在python中创建一个推荐程序(扩展电影推荐程序)。它在1.2.0中工作得很好。然而，在1.3.1中，默认情况下，spark会创建Dataframe对象，而不是SchemaRDD对象作为SQL输出。因此，mlib.ALS.train方法由于一个断言错误而失败: assert( ratings，RDD) (当然ratings不再是RDD :)
有没有人遇到这个问题？
浏览 1提问于2015-04-21得票数 1
我对Apache Spark的世界还是比较陌生的。我正在尝试使用LinearRegressionWithSGD()估计一个大型模型，其中我希望在不创建大型设计矩阵的情况下估计固定的效果和交互项。有没有人尝试过在Spark中线性模型的类似练习？
谢谢。
浏览 8修改于2016-04-25得票数 1
我已经把Kafka Stream和Spark连接起来了此外，我还训练了Apache Spark Mlib模型，以基于流文本进行预测。PreferConsistent, ) //to get a prediction need to pass DF
val
浏览 44修改于2017-07-11得票数 1
回答已采纳
我正试着用Spark从一本统计手册中解决练习问题，逐步向MLib介绍我自己。但是，它只是基本的统计工具。但是我想用Spark代替。我怎样才能用Spark做到这一点呢？
对于这种简单的期望值和方差计算，是否已经需要MLib？
浏览 1提问于2019-09-15得票数 0
回答已采纳
我有一个使用spark mlib构建的线性回归模型。现在，我想导出模型并通过web服务使用模型。我正在调查PMML无法找到合适的源代码，因为我如何使用它。我想为Spark mlib中开发的模型做一些类似的事情。
有没有人能帮帮我或者给我指出正确的来源？
浏览 0提问于2017-04-27得票数 0
当我检查Spark MLib时，它包含了有限的分类算法。是否可以将Weka jar文件添加到spark，并在Spark workers上使用其分类算法。
浏览 0提问于2019-12-13得票数 0
我使用Spark来训练数据，以便使用随机森林算法进行分类。MLib提供了一个RandomForest类，它具有执行所需的trainClassifier方法。我发现RandomForest类MLib提供的选项仅用于传递树数、杂质数、类数等，但没有什么像阈值或截断选项一样可用。可以用任何方法来做吗。
浏览 4修改于2016-04-25得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号