通过大量文件下载，NGINX Ingress超时

Question

我们正在运行一个Spring应用程序在一个k8s荚，是托管在一个NGINX入口与一个EC2负载均衡器。我们的应用程序偶尔需要发送一个非常大的文件(10/20 GB)。我们观察到，在通过入口查询时，该操作偶尔会超时，但在直接查询时不会超时。为了更容易地再现这一点，我们创建了一个简单的端点来请求任意大小的文件(/files/SIZE)。这就是你在下面看到的。

当请求超时时，入口控制器似乎不会发布任何日志。在HTTP客户机中，当请求超时时，下面给出如下内容：

{ [3744 bytes data]
100 16.4G    0 16.4G    0     0  22.7M      0 --:--:--  0:12:23 --:--:-- 23.9M* TLSv1.2 (IN), TLS alert, close notify (256):
{ [2 bytes data]
100 16.5G    0 16.5G    0     0  22.7M      0 --:--:--  0:12:23 --:--:-- 23.6M
* Connection #0 to host INGRESS_URL left intact
* Closing connection 0
curl INGRESS_URL/files/21474836480 -v    31.47s user 26.92s system 7% cpu 12:23.81 total

这是我们入口的结构：

kind: Ingress
apiVersion: extensions/v1beta1
metadata:
  name: USER
  namespace: NAMESPACE
  selfLink: /apis/extensions/v1beta1/namespaces/NAMESPACE/ingresses/USER
  uid: d84f3ab2-7f2c-42c1-a44f-c6a7d432f03e
  resourceVersion: '658287365'
  generation: 1
  creationTimestamp: '2021-06-29T13:21:45Z'
  labels:
    app.kubernetes.io/instance: USER
    app.kubernetes.io/managed-by: Helm
    app.kubernetes.io/name: APP
    helm.sh/chart: CHART
  annotations:
    kubernetes.io/ingress.class: nginx-l4-ext
    meta.helm.sh/release-name: USER
    meta.helm.sh/release-namespace: NAMESPACE
    nginx.ingress.kubernetes.io/client-max-body-size: '0'
    nginx.ingress.kubernetes.io/proxy-body-size: '0'
    nginx.ingress.kubernetes.io/proxy-buffering: 'off'
    nginx.ingress.kubernetes.io/proxy-max-temp-file-size: '0'
    nginx.ingress.kubernetes.io/proxy-read-timeout: '1800'
    nginx.ingress.kubernetes.io/proxy-send-timeout: '1800'
    nginx.ingress.kubernetes.io/websocket-services: core-service
    nginx.org/websocket-services: core-service
  managedFields:
    - manager: Go-http-client
      operation: Update
      apiVersion: networking.k8s.io/v1beta1
      time: '2021-06-29T13:21:45Z'
      fieldsType: FieldsV1
      fieldsV1:
        'f:metadata':
          'f:annotations':
            .: {}
            'f:kubernetes.io/ingress.class': {}
            'f:meta.helm.sh/release-name': {}
            'f:meta.helm.sh/release-namespace': {}
            'f:nginx.ingress.kubernetes.io/client-max-body-size': {}
            'f:nginx.ingress.kubernetes.io/proxy-body-size': {}
            'f:nginx.ingress.kubernetes.io/proxy-buffering': {}
            'f:nginx.ingress.kubernetes.io/proxy-max-temp-file-size': {}
            'f:nginx.ingress.kubernetes.io/proxy-read-timeout': {}
            'f:nginx.ingress.kubernetes.io/proxy-send-timeout': {}
            'f:nginx.ingress.kubernetes.io/websocket-services': {}
            'f:nginx.org/websocket-services': {}
          'f:labels':
            .: {}
            'f:app.kubernetes.io/instance': {}
            'f:app.kubernetes.io/managed-by': {}
            'f:app.kubernetes.io/name': {}
            'f:helm.sh/chart': {}
        'f:spec':
          'f:rules': {}
    - manager: nginx-ingress-controller
      operation: Update
      apiVersion: networking.k8s.io/v1beta1
      time: '2021-06-29T13:21:59Z'
      fieldsType: FieldsV1
      fieldsV1:
        'f:status':
          'f:loadBalancer':
            'f:ingress': {}
spec:
  rules:
    - host: HOST_URL.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              serviceName: SERVICE_NAME
              servicePort: 9081
status:
  loadBalancer:
    ingress:
      - hostname: LOAD_BALANCER_URL

我们正在运行ingress-nginx@v0.46.0

如果有人有任何建议，为什么我们的大量下载是超时，这将是很好的！

已经完成的测试：

nginx.conf

• Tried

• 验证了这些params实际上出现在生成的更改客户端(Body Timeout)中，这必须在本地minikube实例上对整个环境进行effect.

• Recreated。应用程序在那里工作。这是否可能是亚马逊的ELB issue?

• Changing spring.mvc.async.request-timeout没有解决问题。

• 只有在进行HTTPS调用时才会出现问题。HTTP调用运行完全良好的

Answer 1

我的一个SpringBoot应用程序也有类似的问题，问题是application.properties文件中的Springboot配置。

spring:
  mvc:
    async:
      request-timeout: 3600000

参考资料：https://stackoverflow.com/a/43496244/2777988