文章/答案/技术大牛

发布

问冰山GCS和一致性
EN

Stack Overflow用户

提问于 2021-01-29 11:46:42

回答 1查看 104关注 0票数 0

冰山是否支持将数据写入GCS？因为冰山的原子性根据https://iceberg.apache.org/java-api-quickstart/工作，GCS应该支持原子重命名，但是从https://cloud.google.com/storage/docs/gsutil/commands/mv GCS重命名不是原子的。如果iceberg不支持GCS，那么处理原子性的解决方法是什么

发布于 2021-07-10 15:58:44

Hadoop表实现是惟一使用重命名的地方，它需要一个支持原子重命名的文件系统。如果您正在使用像S3或GCS这样的对象存储，那么您应该使用HMS实现或自定义目录，而不是Hadoop表。

表不需要重命名，但使用原子重命名为新元数据文件实施提交操作的表除外。

据我所知，一切都应该与GCS一起工作，而不需要修改。

GCS中没有原生原子重命名，它需要移动+删除。你可以参考https://iceberg.apache.org/spec/#mvcc-and-optimistic-concurrency页面。

来源：http://mail-archives.apache.org/mod_mbox/iceberg-dev/201909.mbox/%3cCAO4re1kFEbVyfZJFiq=CfUDhB7opfT-ntwF7+7_oFt=Kwjk0XQ@mail.gmail.com%3e

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/65948504

复制

相似问题

问冰山GCS和一致性EN