文章/答案/技术大牛

发布

社区首页 >问答首页 >在高丽中使用colly抓取一个简单的网站不会返回任何数据。

问在高丽中使用colly抓取一个简单的网站不会返回任何数据。
EN

Stack Overflow用户

提问于 2022-03-22 15:47:07

回答 1查看 902关注 0票数 2

我试着刮一个简单的网站，看起来像这样：

<html>

<head>
</head>

<body>
  <pre>
    "Name Surname 1
    Name Surname 2
    Name Surname 3
    Name Surname 4"
  </pre>
</body>

</html>

编写了一个简单的go代码：

package main

import (
    "fmt"

    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector(
        colly.AllowedDomains("thewebsite.com"),
    )

    c.OnHTML("body", func(e *colly.HTMLElement) {
        fmt.Println(e.Text)
    })

    c.OnResponse(func(r *colly.Response) {
        fmt.Println(r.StatusCode)
    })

    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL)
    })

    c.Visit("http://thewebsite.com")
}

当我运行这段代码时，我得到以下输出：

Visiting http://thewebsite.com
200

所以一切都很好。该网站正在成功开放，但我没有从它得到任何数据。

我试图将c.OnHTML改为pre，body.pre --但它们都没有像我预期的那样起作用。

我在这里错过了什么？

web-scraping

go-colly

回答 1

Stack Overflow用户

发布于 2022-05-01 17:17:58

我有一个类似的问题，我不得不取消域限制，尽管它似乎是正确的。换句话说，尝试注释掉AllowedDomains()位，如下所示：

c := colly.NewCollector(
      //colly.AllowedDomains("thewebsite.com"),
    )

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/71575017

复制

相似问题

问在高丽中使用colly抓取一个简单的网站不会返回任何数据。
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在高丽中使用colly抓取一个简单的网站不会返回任何数据。EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在高丽中使用colly抓取一个简单的网站不会返回任何数据。
EN