首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >数据流Mysql到Bigquery:连接被拒绝

问数据流Mysql到Bigquery:连接被拒绝
EN

Stack Overflow用户
提问于 2019-07-28 15:45:51
回答 1查看 1K关注 0票数 1

我试图通过Dataflow作业从本地Mysql摄取数据到Bigquery,但是它无法连接和获取数据。有没有人遇到过类似的问题?

这是我使用的代码

gcloud数据流作业运行mariadb_to_bigquery --gcs-location --parameters=driverJars=gs://xxxxxx-xxxxx/mysql-connector-java-8.0.17.jar,driverClassName=com.mysql.jdbc.Driver,connectionURL='jdbc:mysql://127.0.0.1:3306/classicmodels?user=root&password=xxxxx',query='select * from customers',outputTable=xxxxxx-xxxxx-******:ds010.customers,bigQueryLoadingTemporaryDirectory=gs://xxxxxx-xxxxx-******/my-files/temp-dir

代码语言:javascript
复制
java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: java.sql.SQLException: Cannot create PoolableConnectionFactory (Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
    at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:817)
    ... 38 more
Caused by: java.net.ConnectException: Connection refused
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:204)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:155)
    at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:65)
    ... 41 more

Thanks,
Srikanth
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-07-29 18:07:20

编辑:我的一个队友强烈推荐使用VPC网络方法,因为公开外部mySQL端点会使DB面临DDOS和蛮力登录攻击的风险。

由于Dataflow作业运行在GCE实例上,因此它与使用localhost/127.0.0.1连接到的JDBC端点不在同一台机器上。

私有IP在VPC网络上的实现方法

  1. 设置VPC网络,并使用VPC网络上的私有IP连接到JDBC实例,而不是在单独的网络上使用JDBC实例的外部IP地址。见:VPC网络监听或云VPN。
  2. 您可能需要防火墙规则,以允许您的对等网络上的流量与GCP网络。
  3. 在启动模板时指定--网络名称参数。

运行 --gcs-位置 --参数=网络=,param2=,.

外部IP方法(由于DDOS和暴力风险而不推荐)您需要提供外部IP地址,并且:

  1. 创建自定义网络并给它起个名字。
  2. 定义防火墙规则,允许将TCP连接出口到外部主机上的特定端口。,用于数据流VM标记。

gcloud计算防火墙-规则创建vm1-允许出口-tcp-端口3306-到-192-0-2-5--网络允许\-行动允许\-方向出口\-规则tcp:3306 \-目的地-范围192.0.2.5/32 \-优先级70 \-目标-数据流低

  1. 在启动模板时指定--网络名称参数。

运行 --gcs-位置 --参数=网络=,param2=,.

您可能需要使用子网计算器来正确计算目标范围。

  1. 您可能同样需要配置您的mySQL实例或网络以允许此连接。

此外,在与数据流实例ssh相同的网络上创建VM可能更简单,并且在运行整个数据流程序之前,尝试使用小型java程序测试jdbc连接。以便更快地排除故障。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57242464

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档