回答情况：
提问时间：
问题标签：
pyspark mllib和pyspark ml包有什么区别？：
我发现的一个不同之处是，pyspark ml实现了pyspark.ml.tuning.CrossValidator，而pyspark
浏览 4修改于2017-04-05得票数 18
回答已采纳
Pyspark和python2.7对我来说很好。我安装了python 3.5.1 (从源代码安装)，当我在终端中运行pyspark时，我得到这个错误[GCCTraceback (most recent call last):
File "/home/himaprasoon/apps/spark-1.6.0-bin-hadoop2.6/python/pyspark/
浏览 4修改于2020-06-16得票数 1
我如何在PySpark中做到这一点？dropna()可以作为PySpark中的转换使用，但是axis不是可用关键字。我该如何从这个数据栏中删除家具栏呢？
浏览 0修改于2020-02-11得票数 1
我想安装pyspark在我家里的机器上。我做到了 pip install pysparkCould not find valid SPARK_HOME while searching ['/home/user', '/home/user
浏览 163修改于2017-09-19得票数 18
回答已采纳
我试图弄清楚为什么我的groupByKey返回以下内容：
[(0, <pyspark.resultiterable.ResultIterable object at 0x7fc659e0a210>),(1, <pyspark.resultiterable.ResultIterable object at 0x7fc659e0a4d0>), (2, <pyspark.resultiterable.ResultIterableobject at 0x7fc659e0a390>), (3, <py
浏览 5提问于2015-04-18得票数 61
回答已采纳
2回答
我已经安装了Scala和Spark，并且可以正常工作，但是PySpark不工作。下面是我得到的输出：Python 2.7.6 (default, Jun 22 2015, 17:58:13) File "/home/user/spark/python/pyspark/shell.py",
浏览 3修改于2016-04-18得票数 2
2回答
提到，开发人员添加了一些功能，允许对Spacy进行腌制，这样就可以由PySpark接口的星火集群使用它，但是，他们没有给出如何这样做的说明。这不管用：nlp = English()
pickled_nlp = cloudpickle.dumps(nlp)
浏览 0提问于2018-06-15得票数 8
回答已采纳
我无法将RDD对象传递给PySpark logistic回归模型。我用的是火花2.0.1。任何帮助都将不胜感激。>>> from pyspark import SparkContext, HiveContext>&
浏览 1修改于2019-01-11得票数 2
1回答
我被困在一个问题中，我想要做一个PCA在一个Pyspark列。列的名称是“特性”，其中每一行都是一个SparseVector。这就是流程：特征-列的名称
行(features=SparseVector(2，{0:654.0，1:20.0}))i = RowMatrix(df.select
浏览 4提问于2019-11-19得票数 2
2回答
我正在尝试安装PySpark，并遵循，并从安装了Spark的群集节点上的命令行运行此命令：这会产生以下错误：我得到了这个错误：我觉得我错过了一些基本的东西。遗漏了什么？
浏览 2提问于2014-08-19得票数 10
回答已采纳
我正在尝试为我的Pyspark转换扩展Optimus用例。然而，我偶然发现下面的.add_columns()方法没有继承我的Pyspark dataframe方法，而.add_columns_2()方法继承了集成开发环境级别的方法。为什么我不能在赋值后列出与Pyspark dataframe相关的方法？ def __init__(self, df):
self._df ## ==> This shows the methods related to pyspark<
浏览 16修改于2020-02-07得票数 0
2回答
新的pyspark，并希望读取csv文件到数据帧。看起来不能读。有什么帮助吗？from pyspark.sql import SQLContextfrom pyspark.sql import Row
sql_c = SQLContext
浏览 3提问于2018-05-14得票数 1
回答已采纳
1回答
您应用了什么UDF功能(不能仅用Pyspark代码实现)。有什么有用的UDF函数可以帮助您清理数据吗？除了Pyspark文档之外，还有什么资源可以帮助我学习UDF函数吗？
浏览 8提问于2022-03-03得票数 0
2回答
我到目前为止的尝试是：from pyspark.sql.functions import udf
recent call last):
File "/databricks/spark/python/pyspark/worker.py", line
浏览 1修改于2017-12-01得票数 6
回答已采纳
但是，我使用的是吡咯烷酮，所以我尝试用以下方式导入它：但是，我收到以下错误：正如帕特所指出的，RobustScaler仅在pyspark 3中实现，我试图将其实现为：class PySpark_RobustScaler(Pipeline):
浏览 0修改于2020-02-11得票数 4
回答已采纳
我刚开始学习spark，我对这个概念有点困惑，所以从spark安装，我们在spark安装子文件夹下得到了pyspark，我知道它是一个shell，从python包我们也可以通过pip install pyspark另外，在anaconda中，我们可以使用findspark并从那里使用pyspark，那么这是否意味着它没有使用python包中的pyspark？
浏览 24修改于2019-10-29得票数 5
从pyspark.ml.feature导入VectorAssembler导入os从pyspark_iforest.ml.iforest导入临时文件导入* col_1:integer col_2:integer
浏览 16提问于2019-06-27得票数 0
我有两个具有以下模式的数据框root |-- uri: string (nullable = true)root下面是来自这两个项目的样本数据|story_id |uri
浏览 0修改于2021-09-29得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号