正确使用fasthttp.Client与大猩猩的结合

Question

我是新的去，并正在寻找正确的方式使用net/http或fasthttp与goroutines。不幸的是，没有太多的fasthttp客户端示例。

我找到了以下代码：(Example1)

package main

import (
    "bufio"
    "fmt"
    "github.com/valyala/fasthttp"
    "log"
    "net"
    "os"
    "sync"
    "time"
)

func grabPage(fastClient *fasthttp.Client, i int, wg *sync.WaitGroup) {
    defer wg.Done()
    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))
    if err != nil {
        log.Fatal(err)
    }
    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    w := bufio.NewWriter(f)
    w.Write(body)
}

func main() {
    var wg sync.WaitGroup
    total := 500

    c := &fasthttp.Client{
        Dial: func(addr string) (net.Conn, error) {
            return fasthttp.DialTimeout(addr, time.Second*10)
        },
        MaxConnsPerHost: total,
    }

    wg.Add(total)
    for index := 0; index < total; index++ {
        go grabPage(c, index, &wg)
    }
    wg.Wait()
}

在这段代码中，开发人员在main()函数中创建一个main()实例，并使用go grabPage(c, ...)将其传递给goroutine。据我理解，通过这种方式创建一个实例，所有请求都使用这个实例来完成工作。

在另一个页面上，开发人员使用类似的内容：(Example2)

func grabPage(i int, wg *sync.WaitGroup) {
    defer wg.Done()

    fastClient := &fasthttp.Client{
        Dial: func(addr string) (net.Conn, error) {
            return fasthttp.DialTimeout(addr, time.Second*10)
        },
        MaxConnsPerHost: 500,
    }

    _, body, err := fastClient.GetTimeout(nil, "https://en.wikipedia.org/wiki/Immanuel_Kant", time.Duration(time.Second*20))
    if err != nil {
        log.Fatal(err)
    }
    f, err := os.Create(fmt.Sprintf("./data/%d.txt", i))
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    w := bufio.NewWriter(f)
    w.Write(body)
}

最大的问题是，这两种解决方案都是正确的吗？还是Example2解决方案真的创建了一个新的实例，并为每个goroutine使用了大量的内存？

我在Example2中为我的问题编写了示例，以确保defer丢失了。这不是问题的一部分。

一个小问题：(fastClient *fasthttp.Client, i int, wg *sync.WaitGroup) -> fastClient和wg是指针，那么为什么调用grabPage(c, index, &wg)而不是grabPage(&c, index, &wg)呢？

Answer 1

最重要的答案是:两者都是正确的(就像它们工作得很好)，只是不同而已。

按照医生们，并发使用fasthttp.Client是安全的，因此共享一个实例是可以的。它可能会遇到并发连接限制，但这可能不是一个问题。

第二个示例确实有一些开销，无法重用连接或参数，但这也可能是一个不重要的用例(如果我只执行两个操作，那么节省开销可能不值得优化)。

关于问题的第二部分：

• c已经是一个*fasthttp.Client，因此不需要获取它的地址(&fasthttp.Client返回指向新fasthttp.Client的指针)
• wg是一个普通的sync.WaitGroup，所以必须使用地址。