回答情况：
提问时间：
问题标签：
' --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'警告org.apache.spark.sql.hudi.HoodieSparkSessionExtensionorg.apache.spark.sql.hudi.HoodieSparkSessionExtension._jvm.org.apache.hu
浏览 30修改于2022-12-01得票数 2
回答已采纳
key=HUDI 但是当我运行下面的spark提交时，错误出现了： Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException:752)
at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:340)at org.apache.hudi</
浏览 114修改于2020-05-31得票数 2
在某些情况下，HUDI似乎没有破坏记录。下面是我们使用的配置。我们通过customer_id对数据进行分区，因此我们的期望是HUDI将在分区内执行唯一性，即每个customer_id文件夹。对于两个重复的记录，_hoodie_record_key是相同的，但是_hoodie_file_name是不同的，这使我怀疑hudi不是在customer_id文件夹中，而是在这些单独的parquet文件中执行唯一性target-table: "some_table_name"
source-ordering-field: &q
浏览 6提问于2022-04-27得票数 4
我目前正在使用spark(scala)在Apache Hudi上做一个POC。 我在使用分区保存数据帧时遇到了一个问题。Hudi使用属性PARTITIONPATH_FIELD_OPT_KEY用path/valueOfPartitionCol1/valueOfPartitionCol2....保存数据帧。有没有试过用Hudi进行自定义分区的人可以帮我？
浏览 58修改于2020-05-31得票数 3
1回答
版本Apache Hudi 0.6.1，Spark 2.4.6 下面是Hudi deltastreamer的标准spark-submit命令，因为没有定义主参数，所以抛出了这个命令。[hadoop@ip-00-00-00-00 target]$ spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer:752)
at org.apache.hudi
浏览 113修改于2020-09-08得票数 0
有人在Pyspark环境中使用过Apache Hudi吗？如果可能的话，有没有可用的代码样本？
浏览 2修改于2020-05-31得票数 0
spark.sql("SELECT * FROM view_dyf_output where id in (select id from view_dyf where op like 'D')")
o
浏览 159提问于2021-07-01得票数 0
如何获取当前摄入的提交Id .I know HoodieDataSourceHelpers.latestCommit方法可以用来查找最新的提交。但是如果在不同线程中有并发写入会发生什么呢？我需要找到每个线程的commitID
浏览 25修改于2020-05-31得票数 1
回答已采纳
我有一个需求，我需要使用结构化流到Hudi数据集来编写流。我发现在Apache问题上有这样的规定，但是我想知道是否有人成功地实现了这一点，并且有一个例子。我正在尝试使用火花结构化流来构造从AWS Kinesis到Apache的数据流。
我们非常感谢你的快速帮助。
浏览 1修改于2020-05-29得票数 0
回答已采纳
我试图从许多不同的.csv文件中读取数据(所有文件都具有相同的“结构”)，使用Spark执行一些操作，最后以Hudi格式保存它们。要将数据存储在同一个Hudi表中，我认为最好的方法是在执行写操作时使用append方法。hudi_options = { 'hoodie.datasource.write.
浏览 2修改于2021-04-14得票数 2
回答已采纳
Apache Hudi写出每个拼图文件，如下所示： 0743209d-51cb-4233-a7cd-5bb712fba1ff-0_21-64-5300_20211117172738.parquet 我正在尝试理解文件的每个部分代表什么
浏览 85修改于2021-11-17得票数 0
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.3,org.apache.spark:spark-avro_cluster \ --driver-class-path $HADOOP_CONF_DIR \
--class org.apache.hudi.utilities.deltastreamer.Hoo
浏览 29修改于2021-10-13得票数 0
我正在尝试将一个简单的数据帧作为Hudi数据集加载到S3中，但我在这样做时遇到了麻烦。我是Apache Hudi的新手，我正在尝试通过在我的Windows机器上本地运行代码来加载数据。-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws --><groupId>org.apache.hadoop-- https:
浏览 1修改于2020-05-31得票数 0
尝试探索使用S3作为源进行增量加载的apach hudi，然后通过AWS glue job将输出保存到S3中的不同位置。
作为起点，有没有什么博客/文章可以帮助我们呢？
浏览 30提问于2021-04-28得票数 1
spark-submit --packages org.apache.hudi:hudi-utilities-bundle_2.11:0.5.3,org.apache.spark:spark-avro_spark.rdd.compress=true \ --conf spark.serializer=org.apache.spark.serializer.KryoSerializerhive \
--conf
浏览 56提问于2021-06-17得票数 0
回答已采纳
如何理解用upsert编写的hudi操作，而df保存了append呢？既然这将重新插入记录，为什么要追加而不是覆盖？有什么关系呢？如图所示：
浏览 5修改于2022-07-26得票数 0
如何通过Hudi更改表版本？
at org.apache.hudi.common.table.HoodieTableVersion.
浏览 32提问于2022-03-02得票数 0
我在Apache Spark上运行Apache Hudi应用程序。. at org.<
浏览 87修改于2021-02-16得票数 1
回答已采纳
(Driver.java:1049) at org.apache.hudi.hive.HoodieHiveClient.updateHiveSQLUsingHiveDriver(HoodieHiveClient.java:367)
at org.apache.hudi.hive.HoodieHiveC
浏览 2提问于2020-11-03得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号