如何拼接数据框列pyspark？

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、apache-spark-sql

我已经使用以下代码创建了数据框： df = spark.createDataFrame([("A", "20"), ("B", "30"), ("D", "80"),("A", "120"),("c"Let|Num|| A| 20|| D| 80|| c| 20|+----+

浏览 26提问于2020-09-11得票数 0

回答已采纳

1回答

在PySpark中将csv文件转换为parquet时遇到问题。当转换相同模式的多个文件时，它们不具有相同的模式，因为有时数字字符串将被读取为浮点型，其他字符串将被读取为整数，等等。列的顺序似乎也有问题。似乎当编写具有相同列的数据帧时，但是以不同的顺序排列以拼接，那么这些拼接就不能被加载到相同的语句中。如何将dataframe写入parquet，以使所有列都以字符串类型存储？如何处理列的顺序？在写入拼图之前，我是否应

浏览 23提问于2021-01-20得票数 0

3回答

Python/pyspark数据框重新排列列

python、pyspark、spark-dataframe

我有一个python/pyspark格式的数据框，其中包含列id、time、city、zip等......我已经做了如下工作

浏览 0提问于2017-03-21得票数 46

回答已采纳

1回答

使用map函数将Spark Dataframe转换为RDD

apache-spark、dataframe、pyspark

我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrameO: pyspark.rdd.PipelinedRDD万分感谢

浏览 0提问于2016-06-22得票数 0

1回答

如何使用Pyspark的模式从Pyspark数据帧创建hive表？

python、pyspark

我已经使用以下代码创建了数据框： import pyspark spark = pyspark.sql.SparkSession(sc) data = [('A', 'B', 1), ('A', 'B', 2), ('A

浏览 12提问于2020-06-15得票数 0

1回答

Spark 2.0.2 Data Frame -如何添加由现有列的前两个字符组成的新列？

python、apache-spark、pyspark

我来自熊猫的背景，在一个简单的操作上，我正在与Spark 2.0.2 (PySpark)作斗争。如何向现有数据框添加新列，该数据框包含现有列的前两个字符。Diana", 6, "Singapore", 4)], ["FirstName", "Sales", "State", "Cost"])尝试#1 from py

浏览 3提问于2016-11-20得票数 0

3回答

如何在Pyspark中替换dataframe的所有空值

dataframe、null、pyspark

我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。我们如何在pyspark中实现这一点呢？

浏览 1提问于2017-02-18得票数 56

回答已采纳

1回答

spark中的lit()有什么用处？下面两段代码返回相同的输出，使用lit()的好处是什么？

dataframe、apache-spark、pyspark

我这里有两段代码 gooddata=gooddata.withColumn("Priority",when((gooddata.Years_left < 5) & (gooddata.Years_left >= 0

浏览 2提问于2020-06-10得票数 0

1回答

忽略缺失值计算pyspark数据框列的百分位数

pyspark、apache-spark-sql

我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。Window.orderBy(df.BALANCE)我希望得到一个新的<e

浏览 14提问于2019-07-11得票数 0

1回答

在pyspark的现有dataframe中添加新列的方法是什么？

python、apache-spark、pyspark、pyspark-dataframes

我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果test.show() 有没有办法向现有的dataframe添加一个新的列(不复制dataframe)？我们在pyspark

浏览 4提问于2021-01-26得票数 0

1回答

快速拼接:如何禁用rle编码

python、apache-spark、pyspark、parquet

我正在使用files parquet将pandas数据帧转换为parquet文件。这比我之前使用pyspark的方法要快得多。Unsupported encoding: RLE 有没有办法在使用快速拼接write方法时禁用RLE？

浏览 4提问于2017-05-11得票数 1

1回答

如何解决？(将列表添加到列dataframe pyspark)

python、list、dataframe、pyspark

如果我已经存在数据帧，且我想要向数据框中添加新列sqlContext = SQLContext(sc)| 30| 12|+-------+--------+AssertionError: col should be Column 如何解决向列dataframe pysp

浏览 0提问于2020-10-05得票数 1

1回答

Pyspark数据帧过滤语法错误

pyspark、pyspark-sql

我正在使用Pyspark版本1.6处理Pyspark数据帧。在将此数据框导出到.CSV文件之前，我需要根据特定条件对特定列使用LIKE和OR运算符过滤数据。为了向您介绍我到目前为止所做的工作，我从多个.JSON文件创建了初始数据帧。此数据框已子集，因此仅包含所需的列。然后创建了一个sqlContext临时表。到目前为止，我已经尝试了两种不同的方法，使用sqlContext和使用Pyspark

浏览 0提问于2017-07-27得票数 0

回答已采纳

1回答

有没有什么方法可以找到pyspark数据帧中有数据的列数

sql、pyspark

我有一个有7列的pyspark数据框，我必须添加一个名为" sum“的新列，并计算在sum列中包含数据(非null)的列的数量。

浏览 8提问于2020-01-19得票数 1

回答已采纳

1回答

如何选择Pyspark列并将其作为新行添加到数据框中？

apache-spark、pyspark、pyspark-sql、pyspark-dataframes

我想提取一列，并将其值作为新行附加到数据框中。例如，如果我有一个这样的数据框： ------------------------------------------------------------------------------------------------------------------------- 如何在PySpark中通过

浏览 18提问于2019-12-29得票数 0

回答已采纳

1回答

Pyspark dataframe拼接vs.增量:不同的行数

apache-spark、pyspark、parquet、delta-lake

我在HDFS上以Delta格式写入了数据。据我所知，Delta正在以拼接的形式存储数据，只是在它上面增加了一个具有高级功能的层。但是，当使用Pyspark读取数据时，如果使用spark.read.parquet()或spark.read.format('delta').load()读取dataframe，我会得到不同的结果 dfPyspark版本是2.4。

浏览 28提问于2021-01-27得票数 1

回答已采纳

1回答

使用PySpark* sql函数*

python、pyspark

此函数：lg = F.log(5.2)返回： at java.lang.Thread.run(Thread.java:745) 文档指向在数据帧中使用函数

浏览 8提问于2017-03-07得票数 0

回答已采纳

4回答

如何使用pyspark* collect_list函数检索所有列*

python、pyspark

我有一个pyspark 2.0.1。我正在尝试按我的数据框分组，并从我的数据框中检索所有字段的值。我发现将给我的国家和名称的属性和名称属性的值，它将给出的列标题为collect_list但是对于我的工作，我有大约15列的数据帧&我会运行一个循环，每次在循环中改变groupby字段，需要所有剩

浏览 6提问于2017-10-18得票数 3

1回答

如何在不重命名列的情况下计算单行数据框列的平均值、最大值、最小值

pyspark、apache-spark-sql、databricks、aws-databricks

如何在不使用pyspark重命名列的情况下，从单行数据框列中计算同一列的平均值、最大值、最小值我使用了下面的命令，但它抛出了一个错误 df5=df5.agg(avg(col("Salaray")),

浏览 22提问于2021-10-29得票数 0

3回答

Spark Data Frames -检查列是否为整型

python、pyspark、spark-dataframe

我正在尝试找出spark数据框中的列是什么数据类型，并基于该定义操作列。这是我到目前为止所知道的：from pyspark.sql import SparkSession print(x+": inside if loop") print(x+": inside if

浏览 8提问于2018-04-12得票数 1

点击加载更多