对于新的爬虫程序,我希望从外部MySQL数据库中提取数据,我可以使用主机、用户名和密码远程访问该数据库。在Glue中,我不得不配置数据存储。JDBC似乎很接近,但它需要VPC安全组和子网,而我没有,因为数据库是外部的(不在我使用的同一个AWS帐户中)。
有没有办法绕过这件事,或者我可能做错了什么?
发布于 2021-01-02 03:21:43
几天前我遇到了一个类似的问题,当我遇到一个lambda/step函数的情况时,我发现了你的问题。原来,glue爬虫需要VPC配置+安全组才能连接到外部数据库。
如果您引用的外部数据库是AWS RDS VPC,但您可以从另一个AWS帐户使用VPC对等连接一个MySQL帐户与另一个VPC帐户,并允许两者之间的流量。在创建新的crawler时,您将指示与外部数据库有连接的VPC。
如果数据库是内部部署的,那么解决方法就会稍微复杂一些,因为它还需要VPN连接。更多细节可以在下面的文章中找到。
https://aws.amazon.com/pt/blogs/big-data/how-to-access-and-analyze-on-premises-data-stores-using-aws-glue/
希望这能对你有所帮助!
https://stackoverflow.com/questions/61060128
复制相似问题