首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将外部数据存储添加到AWS Glue Crawler

问如何将外部数据存储添加到AWS Glue Crawler
EN

Stack Overflow用户
提问于 2020-04-06 20:42:17
回答 1查看 156关注 0票数 0

对于新的爬虫程序,我希望从外部MySQL数据库中提取数据,我可以使用主机、用户名和密码远程访问该数据库。在Glue中,我不得不配置数据存储。JDBC似乎很接近,但它需要VPC安全组和子网,而我没有,因为数据库是外部的(不在我使用的同一个AWS帐户中)。

有没有办法绕过这件事,或者我可能做错了什么?

EN

回答 1

Stack Overflow用户

发布于 2021-01-02 03:21:43

几天前我遇到了一个类似的问题,当我遇到一个lambda/step函数的情况时,我发现了你的问题。原来,glue爬虫需要VPC配置+安全组才能连接到外部数据库。

如果您引用的外部数据库是AWS RDS VPC,但您可以从另一个AWS帐户使用VPC对等连接一个MySQL帐户与另一个VPC帐户,并允许两者之间的流量。在创建新的crawler时,您将指示与外部数据库有连接的VPC。

如果数据库是内部部署的,那么解决方法就会稍微复杂一些,因为它还需要VPN连接。更多细节可以在下面的文章中找到。

https://aws.amazon.com/pt/blogs/big-data/how-to-access-and-analyze-on-premises-data-stores-using-aws-glue/

希望这能对你有所帮助!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61060128

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档