用PuppeteerSharp和Selenium实现登录C#后抓取网页的方案

Question

我已经尝试过PuppeteerSharp和Selenium在登录后抓取网页，并重定向到页面并抓取HTML。

但我注意到有一个性能问题，CPU使用率增加了20-30%。

除了使用C#登录并浏览另一个页面来抓取超文本标记语言之外，还有什么替代方法吗？

Answer 1

我以前用过HTML Agility pack。我没有看到任何高CPU使用率。这可能取决于抓取正在做什么，以及您如何设置任务。