通过SSH隧道为私有Composer环境运行气流CLI命令

Question

我想直接从本地机器访问私有2环境，并执行气流CLI命令。文档提到了连接到私有环境的多种方法，但对于我的特定用例没有提及。我要么必须登录到同一个VPC中的GCE实例，要么允许公共端点访问。

我目前要做的是在与我的Composer环境相同的VPC中创建VM实例(bastion-host)的SSH隧道或Socks5代理。然后导出shell中的代理变量，并使用gcloud运行CLI命令。

gcloud compute ssh bastion-host -- -ND 8888

export {HTTP,HTTPS}_PROXY=socks5://localhost:8888

gcloud composer environments run composer --location europe-west1 dags list

但我收到以下错误

ERROR: gcloud crashed (ProxyError): HTTPSConnectionPool(host='composer.googleapis.com', port=443): Max retries exceeded with url: /v1/projects/my-project/locations/europe-west1/environments/composer?alt=json (Caused by ProxyError('Cannot connect to proxy.', RemoteDisconnected('Remote end closed connection without response')))

我怎样才能解决这个问题？

Answer 1

看起来，gcloud composer environments run不仅通过kubectl访问GKE集群，还进行了一些Google调用。作为解决办法，我还必须设置NO_PROXY变量

export NO_PROXY=googleapis.com