最近,我一直在研究Apache表格式,以减少Glue表中包含大量分区的雅典娜查询时间,额外的功能将是额外的(事务、行级更新/删除、时间旅行查询等)。我已经成功地构建了这些表,并确认它们解决了当前的问题,但我现在希望能够与另一个AWS帐户共享该表,我们以前使用的是和描述的这里方法,但这两种方法在查询共享表时都会在备用帐户中引发错误。我还尝试使用bucket策略,并在另一个帐户中注册一个重复的Glue表,它不会引发错误,但在查询时没有找到任何行。
目前可以这样做吗?我知道我可以通过使用iceberg表提供对帐户的角色访问来实现这一点,但是这会使从备用帐户中的其他服务与表的交互复杂化。任何想法都值得赞赏。
编辑:当查询湖面形成表时,我看到了“一般的内部错误-访问被拒绝”,它记录了Iceberg表不能与lake一起工作,所以这是预期的。当查询通过跨帐户数据目录共享的表时,在运行SELECT查询时,我会看到'HIVE_METASTORE_ERROR: table存储描述符丢失了SerDe info‘,在运行storage表或descriptor时,我看到了'FAILED: SemanticException无法获取表XXXXXXXXX。无法获得表: java.lang.NullPointerException’。我可以成功地运行TBLPROPERTIES节目。
发布于 2022-10-29 10:30:29
到目前为止,不支持Apache湖形成集成:
湖泊形成-不支持与AWS湖形成的集成。
https://docs.aws.amazon.com/athena/latest/ug/querying-iceberg.html
https://stackoverflow.com/questions/73359541
复制相似问题