使用go-colly抓取时noscript的问题

Question

所以我做了一个网站的抓取脚本。当抓取文本成功时，仅当抓取图像失败时。当我检查元素时，代码仍然正常，但当我运行视图源代码时，图像包装代码更改为noscript。所以我想情况就是这样，也许有人能帮上忙？

c.OnHTML(".postarea", func(h *colly.HTMLElement) {
        as := Image{}
        as.Name = h.ChildText(".headpost .entry-title")
        h.ForEach(".maincontent", func(i int, x *colly.HTMLElement) {
            ya := So{}
            ya.Url = x.ChildAttr("#readerarea img", "src")
            as.Image = append(as.Image, ya)
        })
        b, err := json.MarshalIndent(as, "", " ")
        if err != nil {
            log.Println("failed to serialize response:", err)
            return
        }
        w.Header().Add("Content-Type", "application/json")
        w.Write(b)
    })
    c.OnRequest(

这是示例html代码。

<div id="readerarea"><noscript>
        <p><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" />
        </p>
    </noscript>
</div>

Answer 1

页面上会有一些JavaScript来更新这一点( <noscript>部分适用于没有JavaScript的浏览器)。当您“查看源代码”时，您看到的是服务器提供的原始HTML；使用“Inspect元素”时，您看到的是DOM的原样(即，在运行了更新此部分的任何脚本之后)。

Go-Colly不运行JavaScript，因此您需要另一种方法。选项包括查看JavaScript，看看它是如何定位图像的，或者使用像chromedp这样的东西来代替go-colly。