Go没有从网站返回任何数据

Question

我试图在go中制作一个简单的web刮刀，但我似乎无法从colly那里获得最简单的功能。我从colly文档中拿出了一个基本的例子，虽然它与他们使用的hackernews.org站点一起工作，但它并不适用于我正在尝试的站点。我用https://，www尝试了几次url的迭代。，我试着用python中的美味汤刮同一个站点，得到了所有的东西，所以我知道这个站点可以被刮掉。任何帮助都是非常感谢的。谢谢。

package main

import (
    "fmt"

    "github.com/gocolly/colly"
)

// main function  
func main() {
    /* instatiate colly */
    c := colly.NewCollector(
        colly.AllowedDomains("www.bjjheroes.com/"),
    )

    // On every a element which has href attribute call callback
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        fmt.Printf("Link found: %q \n", e.Text)
    })

    c.Visit("www.bjjheroes.com/a-z-bjj-fighters-list")
}

Answer 1

• 在我看来“错误”是因为在添加了

之后，允许的域需要更多的变化。

        colly.AllowedDomains(
                  "www.bjjheroes.com/", 
                  "bjjheroes.com/",
                  "https://bjjheroes.com/",
                  "www.bjjheroes.com", 
                  "bjjheroes.com",
                  "https://bjjheroes.com",
                ),

一切正常