如何改进文件下载器的实现

Question

我正在努力提高我在Go中实现的下载器的性能。我想我有关于内存使用的问题，因为当我试图下载一个大文件时，程序会卡住，比如1 1gb或更大。我用它下载了100mgb和300mgb左右的文件，一切正常。下载器在提供报头Accept-Ranges的服务器上使用。下面我将向您展示实现和主要的一部分，但首先让我向您解释。

Accept-Range:字节

在这个实现中，我创建了一个http.Client来用我所请求的文件部分设置头范围，然后我发出了请求。为了存储此请求的响应，我创建了一个临时文件，并将响应直接复制到此文件中。这样做的想法是避免在内存中复制整个响应。具体实现如下：

func DownloadPart(wg *sync.WaitGroup, tempName string, url string, part string) {
    //setting up the client to make the request
    client := http.Client{}
    request, err := http.NewRequest("GET", url, nil)

    //setting up the requests
    request.Header.Set("Range", part)
    response, err := client.Do(request)
    checkError(err, "fatal")
    defer response.Body.Close()

    //creating the temporary file and copying
    // the response to it
    file, err := os.Create(tempName)
    checkError(err, "panic")
    defer file.Close()
    
    _, err = io.Copy(file, response.Body)
    checkError(err, "fatal")

    defer wg.Done()
}

这个函数在不同的goroutines中都会被调用，所以我使用了一个WaitGroup来在gorputine结束下载该文件的部分时减少计数器。在所有的goroutines结束后，我将不同的临时文件合并到一个文件中。这是连接函数的实现

func joinFiles(name string) {
    finalFile, err := os.OpenFile(name, os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
    if err != nil {
        log.Panicln(err.Error())
    }
    defer finalFile.Close()

    files, err := ioutil.ReadDir(".")

    for _, f := range files {
        tempData, err := ioutil.ReadFile(f.Name())
        if err != nil {
            log.Panicln(err.Error())
        }

        if f.Name() != finalFile.Name() {
            finalFile.Write(tempData)
            os.Remove(f.Name())
        }
    }
}

现在，我将向您展示使用这些函数的main函数部分

//start, end and rest are used to set the Range header in the requests 
//threads are the number of goroutines to used in the download
var wg sync.WaitGroup
wg.Add(threads)
//initializing the goroutines
for i := 0; i < threads; i++ {
    part := fmt.Sprintf("bytes=%d-%d", start, end)
    start = end + 1
    if i == threads-1 {
        end = end + step + rest
    } else {
        end = end + step
    }
    go tools.DownloadPart(&wg, fmt.Sprintf("%d.temp", i), url, part)
}
wg.Wait()
log.Println("Joining files...")
joinFiles(name) 

有没有办法改进这个实现？

Answer 1

我认为这里最大的问题是如何将文件拼接在一起。调用ioutil.ReadAll将整个文件的内容读入内存，由于您对所有部分执行此操作，最终可能会将整个文件的内容放在内存中(GC可能会在中间运行并释放其中的一些内容)。更好的做法是(在用os.Open打开文件之后)对文件使用io.Copy，将其复制到最终文件中。这样，您就不必将内容存储在内存中。