我试图通过Dataflow作业从本地Mysql摄取数据到Bigquery,但是它无法连接和获取数据。有没有人遇到过类似的问题?
这是我使用的代码
gcloud数据流作业运行mariadb_to_bigquery --gcs-location --parameters=driverJars=gs://xxxxxx-xxxxx/mysql-connector-java-8.0.17.jar,driverClassName=com.mysql.jdbc.Driver,connectionURL='jdbc:mysql://127.0.0.1:3306/classicmodels?user=root&password=xxxxx',query='select * from customers',outputTable=xxxxxx-xxxxx-******:ds010.customers,bigQueryLoadingTemporaryDirectory=gs://xxxxxx-xxxxx-******/my-files/temp-dir
java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException: java.sql.SQLException: Cannot create PoolableConnectionFactory (Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
at com.mysql.cj.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:817)
... 38 more
Caused by: java.net.ConnectException: Connection refused
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:204)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:155)
at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:65)
... 41 more
Thanks,
Srikanth发布于 2019-07-29 18:07:20
编辑:我的一个队友强烈推荐使用VPC网络方法,因为公开外部mySQL端点会使DB面临DDOS和蛮力登录攻击的风险。
由于Dataflow作业运行在GCE实例上,因此它与使用localhost/127.0.0.1连接到的JDBC端点不在同一台机器上。
私有IP在VPC网络上的实现方法
运行 --gcs-位置 --参数=网络=,param2=,.
外部IP方法(由于DDOS和暴力风险而不推荐)您需要提供外部IP地址,并且:
gcloud计算防火墙-规则创建vm1-允许出口-tcp-端口3306-到-192-0-2-5--网络允许\-行动允许\-方向出口\-规则tcp:3306 \-目的地-范围192.0.2.5/32 \-优先级70 \-目标-数据流低
运行 --gcs-位置 --参数=网络=,param2=,.
您可能需要使用子网计算器来正确计算目标范围。
此外,在与数据流实例ssh相同的网络上创建VM可能更简单,并且在运行整个数据流程序之前,尝试使用小型java程序测试jdbc连接。以便更快地排除故障。
https://stackoverflow.com/questions/57242464
复制相似问题