Spark & Parquet查询性能

文章/答案/技术大牛

发布

1回答

Spark dataframe CSV vs Parquet

pyspark、spark-dataframe、pyspark-sql

我是Spark的初学者，正在尝试理解spark数据帧的机制。当从csv加载数据时，我正在比较spark sql dataframe上sql查询的性能。我的理解是，一旦数据被加载到spark数据帧中，那么数据来自哪里(csv或parquet)就不再重要了。然而，我看到了两者之间的显着性能差异。我正在使用以下命令加载数据，并针对它编写查询。dataframe_csv = sqlcontext.read.format("csv&q

浏览 2提问于2018-02-11得票数 1

1回答

apache-spark、amazon-emr、parquet

当查询一个月时，我希望Spark只将一个月的数据加载到内存中。但是，我的集群内存使用量看起来像是加载了整整一年1.7TB的数据。val lakeDF = spark.sqlContext.read.parquet("s3://mybucket/mylake.parquet")lakeDF.registerTempTable("sightings") S

浏览 0提问于2017-03-07得票数 2

1回答

Spark的性能测量

apache-spark-sql、parquet

我试着比较SparkSql在Parquet上的表现和HBase上的菲尼克斯的表现。我正在执行的查询具有联接和聚合，我尝试检查Parquet性能上的Spark的方式是执行以下操作：我的问题是：这是测试Spark执行所需时间的正确和最简单的方法吗我正在Spark中直接执行菲尼克斯查询。有什么方法可以让我做一些优化吗？

浏览 1提问于2018-09-20得票数 0

2回答

从Oracle到Apache :如何处理最终的一致性？

database、database-design、data、oracle、big-data

但是，由于数据量或查询的复杂性，某些类型的操作存在性能问题。这就是为什么我经常将每个Oracle表导出/转储到CSV。然后，此类CSV被转换为Parquet文件，以便允许使用Spark进行非常高性能的查询。然而，我担心的是失去强大的一致性利益。文件(每个Oracle表都有自己的Parquet文件集)，以便为Spark查询做好准备。有两个批处理，一个转储到CSV (然后是Parquet)数据表，另一个将元数

浏览 0提问于2020-02-02得票数 2

回答已采纳

2回答

Spark忽略TBLPROPERTIES中指定的parquet.compression属性

apache-spark-sql、hiveql、parquet

我需要从Spark创建一个Hive表，该表将采用拼花格式和快速压缩。下面的代码以拼花格式创建表，但使用GZIP压缩：这使我认为Spark忽略了TBLPROPERTIES。注意：I试图直接从Hive运行相同的查询，如果属性等于SNAPPY表，则可以通过适当的压缩(即SNAPPY

浏览 3提问于2016-04-29得票数 4

回答已采纳

1回答

AWS阅读胶目录表与从s3读取文件

amazon-web-services、aws-glue、amazon-athena

我正在编写AWS Glue ETL作业，我有两个选项来构建：df = spark.sql("select name from bronze_db.table_tbl另一种选择是直接从s3位置读取，如下所示 df = spark.read.format("parquet").load("s3://bronze/table_tbl/1.parquet","s

浏览 3提问于2022-10-08得票数 0

2回答

“不受支持的编码:DELTA_BYTE_ARRAY”，同时使用pyspark将拼花数据写入csv

pyspark、apache-spark-sql

sqlContext.setConf("spark.sql.parquet.binaryAsString","true") source.coalesce(1).write.format("com.databricks.spark.csv").option("header",(Ve

浏览 0提问于2018-10-01得票数 3

回答已采纳

1回答

火花: Avro与Parquet的表演

apache-spark、avro、parquet

既然Spark2.4已经内置了对Avro格式的支持，我正在考虑更改我的数据湖中的一些数据集的格式--那些通常是针对整行而不是特定列聚合而被查询/连接的数据集的格式--从Parquet到Avro。然而，大部分数据上的工作都是通过Spark完成的，据我所知，Spark的内存缓存和计算都是在列式数据上完成的。在这方面，Parquet是否提供了性能提升，而Avro将招致某种数据“转换”处罚？

浏览 0提问于2018-12-01得票数 5

回答已采纳

3回答

PySpark - Hive上下文不返回结果，但是SQL上下文用于类似的查询。

python、hadoop、apache-spark、pyspark

我注意到，当我在HiveContext和SQLContext中运行PySpark中的类似查询时，性能有很大的差异。我听说parquet格式的文件在版本1.5之前可能会遇到spark的问题，所以我在spark 1.5.1中使用这些附加设置进行了所有测试：SET spark.sql.

浏览 0提问于2015-10-14得票数 1

回答已采纳

1回答

具有Struct列类型的读/写部分

apache-spark、pyspark、apache-spark-sql、pyarrow、fastparquet

我想给Parquet写一个这样的Dataframe：|-----|-------------------|我希望在(py)Spark中加载Parquet，并使用Spark查询数据，例如： df = spark.read.parquet(&quo

浏览 8提问于2020-02-14得票数 4

回答已采纳

1回答

为了获得更好的性能，我应该在spark中使用哪一个，要么从Parquet文件读取数据，要么从数据库读取数据？

scala、apache-spark-sql

我想运行查询。使用拼花文件真的能提高性能吗？是否需要将parquet文件或从数据库(Oracle)读取数据放在HDFS中以执行spark查询？这样做的正确方法是哪一种？

浏览 2提问于2016-04-22得票数 0

回答已采纳

1回答

如何在火花处理中处理多个不同的小文件提高性能

scala、performance、apache-spark、apache-spark-sql

file1.parquet (100 Mb)file3.parquet (107 Mb)val file2Df = spark.read.parquet(file2) val file3Df = spark.read.parquet(file3)

浏览 4提问于2022-02-15得票数 0

2回答

火花SQL从原始文本到Parquet:没有性能提升

scala、apache-spark、hive、parquet、snappy

完成Spark进程所需的时间约为1小时15分钟。val sc = new SparkContext(conf) val sqc = new HiveCont

浏览 1提问于2018-07-28得票数 1

1回答

与合并的地板文件的Impala表的性能问题

apache-spark、hadoop、parquet、impala、pyarrow

这里，我让python实用程序使用Pyarrow库为单个数据集创建多个parquet文件，因为数据集的大小在一天内是很大的。当分割文件数据加载在Impala表中并试图查询它时，结果在几秒钟内就会更快地出现，但是当Impala表创建在单个合并的拼花文件上时。它将提供性能问题，与提到的分割文件Impala表。有任何想法，为什么这种性能行为之间的差异，为多分裂的地板文件，Impala表和单一合并的分割文件Impala表。

浏览 0提问于2019-01-28得票数 0

回答已采纳

1回答

在星火中将拼花文件加载到案例类中的性能

scala、apache-spark、apache-spark-sql、parquet

我正在评估不同方式在星火中加载Parquet文件的性能，差异是惊人的。因此，我对从Parquet文件加载case类的不同方法进行了基准测试，并使用Spark1.6和2.0对字段进行了求和。以下是我所做的基准测试的总结：df.countRowf1

浏览 2提问于2016-08-24得票数 7

1回答

PySpark正在写入大型单个拼图文件，而不是分区文件

apache-spark、pyspark、parquet

对于我的大多数文件，当我读入带分隔符的文件并将它们写出到snappy parquet时，spark会像我预期的那样执行，并创建多个分区的snappy parquet文件。也就是说，我有一些用管道分隔的大型.out文件(25GB+)，当我读入它们时： inputFile = spark.read.load(s3PathIn, format='csv', sep=fileSeparatorescape=fileEscape, inferSchema='true', header=

浏览 17提问于2021-07-19得票数 0

1回答

点燃Spark* Dataframe性能缓慢*

apache-spark、apache-spark-sql、ignite

我试图通过在spark dataframe上添加ignite来提高它的性能。下面的代码是我们当前读取数据帧的方式我通过这里的示例成功地保存并加载了ignite中的spark(像select a，b，c from table where x)在ignite数据帧上工作，但性能比单独的spark慢得多(即没有ignite，直接查询spark DF )，

浏览 1提问于2018-10-10得票数 1

1回答

星火sql查询执行在org.apache.parquet.io.ParquetDecodingException中失败

scala、apache-spark、apache-spark-sql

我正在星星之火sql中执行一个简单的create查询，使用spark submit(集群模式)。接收org.apache.parquet.io.ParquetDecodingException.关于这个问题，我可以在互联网上获得很少的细节，其中一个建议是添加配置spark.sql.parquet.writeLegacyFormat以下是查询：CREATE TABLE TestTable STORED AS <

浏览 22提问于2020-04-21得票数 0

1回答

如何将输入数据流保存到Spark中sql查询的执行数据结构中？

dataframe、apache-spark、apache-spark-sql、bigdata、spark-streaming

我的目标是在某种数据结构中维护输入数据流，以便对它们执行查询和聚合操作。以连续数据流为输入，通过spark的结构化流，我将其存储在DataFrame中。我的问题是：是一种易失性的数据结构吗?可以在DataFrame上创建索引以加快某些查询的响应吗？

浏览 1提问于2020-04-23得票数 0

1回答

Spark SQL返回所有空值，而直接蜂巢工作和通过火花工程的直接Parquet返回

apache-spark、hive、parquet

在Hive中定义的外部表Spark出现了一个奇怪的问题如果我使用spark.table("tablename")或spark.sql("select column from tablename当我通过Beeline查询表时，我得到了正确的值。此外，如果我使用sp

浏览 1提问于2021-02-09得票数 0

点击加载更多

Spark dataframe CSV vs Parquet