重试http请求RoundTrip

Question

我做了一个客户端通过http点击的服务器。我在客户端的Transport的RoundTripper方法中设置了重试机制。下面是每个服务器和客户端的工作代码示例：

服务器main.go

package main

import (
    "fmt"
    "net/http"
    "time"
)

func test(w http.ResponseWriter, req *http.Request) {
    time.Sleep(2 * time.Second)
    fmt.Fprintf(w, "hello\n")
}

func main() {
    http.HandleFunc("/test", test)
    http.ListenAndServe(":8090", nil)
}

客户端main.go

package main

import (
    "context"
    "fmt"
    "log"
    "net/http"
    "time"
)

type Retry struct {
    nums      int
    transport http.RoundTripper
}

// to retry
func (r *Retry) RoundTrip(req *http.Request) (resp *http.Response, err error) {
    for i := 0; i < r.nums; i++ {
        log.Println("Attempt: ", i+1)
        resp, err = r.transport.RoundTrip(req)
        if resp != nil && err == nil {
            return
        }
        log.Println("Retrying...")
    }
    return
}

func main() {
    r := &Retry{
        nums:      5,
        transport: http.DefaultTransport,
    }

    c := &http.Client{Transport: r}
    // each request will be timeout in 1 second
    ctx, cancel := context.WithTimeout(context.Background(), 1*time.Second)
    defer cancel()
    req, err := http.NewRequestWithContext(ctx, http.MethodGet, "http://localhost:8090/test", nil)
    if err != nil {
        panic(err)
    }
    resp, err := c.Do(req)
    if err != nil {
        panic(err)
    }
    fmt.Println(resp.StatusCode)
}

现在的情况是，重试似乎只对第一次迭代有效。对于随后的迭代，它不会每次都等待一秒，而是打印与重试次数一样多的调试消息。

我希望重试尝试每次等待1秒，因为我在上下文中设置了1秒的超时。但似乎整个重试只需要等待1秒。我错过了什么？

除此之外，如何停止服务器处理超时请求？，我看到CloseNotifier已经被弃用了。

Answer 1

问题出在context上。一旦上下文完成，您就不能再重用相同的上下文。您必须在每次尝试时重新创建上下文。您可以从父上下文中获取超时，并使用它来创建新的上下文。

func (r *retry) RoundTrip(req *http.Request) (resp *http.Response, err error) {
    var (
        duration time.Duration
        ctx      context.Context
        cancel   func()
    )
    if deadline, ok := req.Context().Deadline(); ok {
        duration = time.Until(deadline)
    }
    for i := 0; i < r.nums; i++ {
        if duration > 0 {
            ctx, cancel = context.WithTimeout(context.Background(), duration)
            req = req.WithContext(ctx)
        }
        resp, err = r.rt.RoundTrip(req)
        ...
        // the rest of code
        ...
    }
    return
}

此代码将在每次尝试时使用来自其父对象的超时创建新的新上下文。

Answer 2

对于服务器，您可以使用Request.Context()来检查请求是否被取消。

在客户端，当上下文在1秒后超时时，请求就会超时。因此，上下文不会触发往返周期。如果您希望请求在上下文完成之前重试，则应该更改您正在使用的传输的行为。您现在使用的是定义如下的http.DefaultTransport：

var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    ForceAttemptHTTP2:     true,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

Transport有更多的超时变量，这些变量是在这里设置的，所以根据您想要重试的时间，您应该设置适当的超时。例如，在您的示例中，可以将Transport.ResponseHeaderTimeout设置为1秒。当服务器在1秒内没有回复响应头时，客户端将重试。然后你让你的上下文在5秒(或者更好的6秒)后超时，你应该看到客户端重试你指定的量(5次)。