AWS雅典娜与雅典娜联邦查询

Question

我正在浏览AWS雅典娜联邦查询页面，并了解到“您可以使用雅典娜联邦查询(Preview)查询现有数据或构建管道，从多个数据源提取数据并将其存储在S3中。”

如果我有一个巨大的数据以外的AWS帐户，我仍然必须传输数据到S3，以便我可以使用它在雅典娜？

伙计们，请分享你们的经验？谢谢

Answer 1

如果我有一个巨大的数据以外的AWS帐户，我仍然必须传输数据到S3，以便我可以使用它在雅典娜？

不，您不需要将数据传输到S3来使用雅典娜联邦查询来查询它。您只需连接外部源并查询它们。但是，查询的结果将始终保存在S3上。

这使得从外部源提取、传输数据和将数据加载到S3 (例如，如果您希望将其用于AWS中的其他服务)是一种相对容易的方法。

有了雅典娜联邦查询，就不需要再构建复杂的ETL工作流了。只需查询外部数据源，数据就在S3中。

Answer 2

雅典娜支持更多的来源。Amazon提供了这些数据源连接器的列表，并提供了如何实现每个文档的精确文档。

值得指出的是，如果你想要雅典娜成为表演者/安全地通过互联网传输数据，这将是一个挑战。

Answer 3

不需要将数据传输到S3。例如，您可以使用Lambda连接器直接查询DynamoDB中的数据，该连接器可以从AWS中使用。

值得一提的是，雅典娜的超时时间是30分钟，但是如果你要使用一些使用Lambda的连接器，记住Lambda的最大超时时间是15分钟。