Go包"chromedp“不能从特定的url获取文本。

Question

我正在学习“去”的网页爬行。我想从以下网站获取一些文本："https://edition.cnn.com/markets/fear-and-greed“

此站点需要等待时间来加载所有html文本。因此，我使用chromedp从这个站点获取文本.

但是，当我运行这个脚本时，没有响应。代码是

package main

import (
"context"
"log"
"strings"
"github.com/chromedp/chromedp"
)

func main() {

opts := append(chromedp.DefaultExecAllocatorOptions[:],
    chromedp.Flag("headless", false),
)

ctx, cancel := chromedp.NewExecAllocator(context.Background(), opts...)

defer cancel()

ctx, cancel = chromedp.NewContext(ctx)
defer cancel()

var res string
err := chromedp.Run(ctx,
    chromedp.Navigate("https://edition.cnn.com/markets/fear-and-greed"),
    chromedp.Text(".market-fng-gauge__dial-number-value", &res, chromedp.NodeVisible),
)
if err != nil {
    log.Fatal(err)
}

log.Println(strings.TrimSpace(res))

}

怎么啦？我真的很想废除这个网站使用“去”。请让我知道怎么做。

Answer 1

我不知道为什么你没有得到一个结果，但它似乎是有点太牵扯到你的任务。您可能更喜欢查看https://github.com/antchfx/htmlquery，它是一个简单得多的包，用于查找HTML中的各种元素。

Answer 2

更改代码如下：

diff --git a/main.go b/main.go
index dbc75b3..51521a8 100644
--- a/main.go
+++ b/main.go
@@ -23,7 +23,7 @@ func main() {
    var res string
    err := chromedp.Run(ctx,
        chromedp.Navigate("https://edition.cnn.com/markets/fear-and-greed"),
-       chromedp.Text(".market-fng-gauge__dial-number-value", &res, chromedp.NodeVisible),
+       chromedp.Text(".market-fng-gauge__dial-number-value", &res, chromedp.ByQuery, chromedp.NodeVisible),
    )
    if err != nil {
        log.Fatal(err)

解释

请注意，默认情况下，chromedp.Query操作使用chromedp.BySearch选项，该选项包装DOM.performSearch。它返回由纯文本、css选择器或XPath匹配的所有结果。

因此，您应该指定chromedp.ByQuery，以确保它返回所需的节点。

有关更多信息，请参见此处：https://github.com/chromedp/chromedp/issues/936#issuecomment-951480271