Apache火花读取带有冰川对象的aws-s3桶中的数据

Question

设想的情况是：

• I使用spark读取s3-bucket，其中一些对象(parquet)被转换为glacier存储类。我并不试图读取这些对象( (https://jira.apache.org/jira/browse/SPARK-21797).

)，但是使用这种存储桶()在spark上出现了一个错误

有一个解决办法是“修复”这个问题：https://jira.apache.org/jira/browse/SPARK-21797?focusedCommentId=16140408&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16140408。但是查看代码：https://github.com/apache/spark/pull/16474/files，调用仍在进行，只跳过那些引发IOException的文件。是否有更好的方法来配置Spark，使其只在s3-bucket上加载Standard对象？

Answer 1

1. 某人(你？)获取修复https://issues.apache.org/jira/browse/HADOOP-14837；当试图读取冰川数据的尝试失败时，让s3a引发一个特定的异常，
2. 然后触发需要在发生

时识别和跳过该异常。

我不认为S3的列表调用标志，当一个对象是冰川，-so，过滤不能在查询规划/分区。在这个过程中，为每个对象调用HEAD将是非常昂贵的。