Spark 2.2无法将df写入拼图

文章/答案/技术大牛

发布

1回答

scala、apache-spark、spark-dataframe、parquet

StructField("clusterSize", DoubleType))我使用parquet()方法来编写拼图文件：我已经把数据帧打印出来了，看起来不错 +at it.gagliano.giuseppe

浏览 106提问于2018-01-20得票数 4

回答已采纳

2回答

如何用pandas读取Spark写的文件？

python、pandas、apache-spark、parquet

当Spark将dateframe数据写入拼图文件时，Spark将创建一个包含多个独立拼图文件的目录。保存代码： .mode("overwrite")我需要

浏览 30提问于2019-08-07得票数 1

回答已采纳

1回答

如何在使用spark写入拼图文件时添加额外的元数据

apache-spark、spark-dataframe、parquet

看起来像spark默认情况下将"org.apache.spark.sql.parquet.row.metadata“写入拼花文件页脚。但是，如果我想要将一些随机元数据(例如version=123)写入spark生成的拼图文件，该怎么办？这不起作用：我使用的

浏览 5提问于2017-02-24得票数 2

回答已采纳

2回答

序列化数据中找不到必填字段'uncompressed_page_size‘！镶木地板

hadoop、apache-spark、pyspark、parquet

当我尝试使用pyspark从本地目录保存拼图文件时，出现以下错误。我尝试了spark 1.6和2.2，两者都给出了相同的错误 reg_path = "file:/Users/xyz/Documents/Temp/parquet/ds_id=48" df

浏览 0提问于2017-11-10得票数 0

1回答

如何在PySpark中有效地对多列求和？

apache-spark、pyspark、apache-spark-sql

我想要得到每一列的总和，所以我使用：df_final.collect() 但我的问题是，当我这样做的时候

浏览 0提问于2020-05-04得票数 1

1回答

在Spark 2.1.0中启用_metadata文件

apache-spark、pyspark、parquet

似乎在Spark 2.1.0中，保存空的Parquet文件被破坏了，因为无法再次读取它们(由于错误的模式推断)。我发现，从Spark2.0开始，在编写拼图文件时，默认情况下禁用_metadata文件的写入。但是我找不到配置设置来重新打开它。我尝试在PySpark中运行的代码如下：sc = spark_session.sparkContext df = spark</

浏览 52提问于2017-01-25得票数 3

回答已采纳

1回答

Spark Structured Streaming应用程序将空拼图文件生成到Azure blob

scala、spark-streaming

我从Apache Kafka读取json消息，然后使用Apache Spark将拼图文件写入Azure blob存储中。我使用方法partitionBy将这些拼图文件写入嵌套文件夹中。我的代码是这样的： .format("kafka") .option("kafka.bootstrap.servers.queryName("t

浏览 1提问于2020-10-26得票数 2

1回答

使用无类型转换的空列写入时出错后，覆盖/删除Azure Databricks中的增量表

pyspark、apache-spark-sql、azure-databricks、delta-lake

我曾尝试使用创建的空列写入增量表，如下所示： df = df.withColumn('val2', funcs.lit(None)) 使用以下函数 def write_to_delta_table(df, fnm, tnm, path): spark.sql(f'''select * ''').repart

浏览 24提问于2021-10-23得票数 1

回答已采纳

1回答

对少于N个分区的N个文件的磁盘进行spark写入

apache-spark、partition

我们可以写数据到100个文件，每个文件有10个分区吗？

浏览 11提问于2018-01-08得票数 8

回答已采纳

2回答

如何阅读由Spark编写的PySpark拼花？

python、scala、apache-spark、pyspark、data-science-experience

在我的Scala笔记本中，我将一些清理过的数据写到了parquet中：然后，我转到我的Python笔记本中读取数据： df = spark.read.load("swift2dI

浏览 0提问于2017-03-24得票数 32

1回答

在达到最新偏移量之前，不会将Kafka消息写入拼图文件

apache-spark、apache-kafka、spark-streaming

我想要阅读Kafka主题，并写入拼图或增量文件，并能够在阅读Kafka主题中的所有消息之前从该拼图文件中读取。我让它工作了，但后来我做了更改，现在我必须等到所有消息都被使用完后，拼图文件中才会有任何东西。我的代码如下。kafkaBrokers = "localhost:9092" val dfval pat

浏览 4提问于2020-10-10得票数 0

回答已采纳

2回答

在Trigger.Once中使用Spark* Structured*

scala、apache-spark、spark-structured-streaming

我正在尝试使用Trigger.Once功能创建一个Spark Structured作业，以定期将新数据写入到Parquet数据湖中的CSV数据湖中。这就是我所拥有的： .readStream .csv("s3a://csv-data-lake-files") 下面的命令将所有数据写入到拼图湖中，但在写入所有数据后并未停止(我必须手动

浏览 13提问于2017-08-16得票数 12

1回答

Pyspark dataframe拼接vs.增量:不同的行数

apache-spark、pyspark、parquet、delta-lake

我在HDFS上以Delta格式写入了数据。据我所知，Delta正在以拼接的形式存储数据，只是在它上面增加了一个具有高级功能的层。但是，当使用Pyspark读取数据时，如果使用spark.read.parquet()或spark.read.format('delta').load()读取dataframe，我会得到不同的结果 df= spark.read.format('delta').load("my_data") df.cou

浏览 28提问于2021-01-27得票数 1

回答已采纳

1回答

写入S3 on LocalStack with Spark3: RemoteFileChangedException - S3在打开位置时报告的更改。ETag不可用

scala、apache-spark、amazon-s3、testcontainers、localstack

我试图在测试容器中的Local堆栈中将拼图写入S3，并得到以下错误：它使用的是真正的S3，它使用的是Spark2.4和Hadoop2.7。我使用的是: Scala 2.12.15，Spark 3.2.1，hadoop-aws 3.3.1，testcontainers-scala-local堆栈0.40.8 代码非常简单，只

浏览 9提问于2022-06-14得票数 0

1回答

有没有办法将地块文件中的数据直接插入到PostgreSQL数据库中？

bash、postgresql、hdfs、parquet

我正在尝试恢复一些以拼图格式保存的历史备份文件，我想从它们中读取一次，并将数据写入PostgreSQL数据库。我知道使用spark保存备份文件，但对我来说有一个严格的限制，即我不能在DB机器中安装spark，也不能在远程设备中使用spark读取拼图文件，并使用spark_df.write.jdbc将其写入数据库一切都需要在DB机器上进行，在没有spark和Hadoop的情况下，只需要使用Postgres和Bash脚本

浏览 1提问于2019-11-10得票数 6

回答已采纳

1回答

查询parquet表上的单元时损坏的十进制值

hive、apache-spark-sql、parquet、cloudera-cdh

在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。场景步骤:这是一个简单的演示，再现了问题： Write to Parquet:我将数据写入HDFS中的parquet文件，Spark本身假设十进制字段的精度为Decimal(28,26)。读取拼图文件:查看值是否正确写入。scala> val df_hi

浏览 7提问于2020-10-07得票数 0

回答已采纳

1回答

如何使用databricks将.rdata文件转换为Azure数据湖中的拼花？

r、azure、apache-spark、databricks、azure-data-lake

因此，我有一些通过使用R编程语言生成的大型.rdata文件。我目前已经使用azure存储资源管理器将它们上传到了Azure data lake。但我必须将这些rdata文件转换为parquet格式，然后将它们重新插入到数据湖中。我该怎么做呢？我似乎找不到任何关于从rdata转换到parquet的信息。

浏览 15提问于2021-02-06得票数 0

回答已采纳

2回答

用Apache Spark* Notebook覆盖Bluemix对象存储中的拼图文件*

apache-spark、ipython、ibm-cloud、parquet、object-storage

我正在运行Spark Notebook，将DataFrame保存为Bluemix对象存储中的拼图文件。df = sqlContext.sql("SELECT * FROM table") df.write.parquet("swift://my-container.spark

浏览 0提问于2016-05-12得票数 0

1回答

追加到拼图文件的EMR Spark步骤正在覆盖拼图文件

python、apache-spark、amazon-emr、parquet

在使用Python 3.6的Amazon EMR集群(1个主服务器，2个节点)上运行Spark 2.4.2 我正在读取亚马逊s3中的对象，以拼图格式压缩它们，并将它们添加(附加)到现有的拼图数据存储中。当我在pyspark shell中运行我的代码时，我能够读取/压缩对象并将新的拼图文件添加到现有的拼图文件中，并且，当我对拼图数据运行查询时，它显示所有数据都在拼图文件夹中。但是，当我在EMR集群上的某个步骤中运行代码时，现有的拼图文件会被新文

浏览 17提问于2019-07-10得票数 1

回答已采纳

1回答

在同一个拼图文件中，每个行组可以有不同的模式吗？

apache-spark、parquet、databricks、azure-databricks

在创建拼图文件时，我们可以对每个行组使用不同的模式吗？在这种情况下，页脚将拥有所有行组中所有模式的联合，但每个行组的模式将是不同的。这是公认的拼花地板格式吗？拼图规范是否清楚地表明，模式不能在同一拼图文件中的每个行组中更改？// this line works f

浏览 5提问于2019-08-20得票数 1

点击加载更多