如何在用html-agility-pack抓取网页时隐藏自己
如何在用html-agility-pack抓取网页时隐藏自己
提问于 2014-04-12 02:25:48
我试图从一个网站的一些网页上删除内容。我用c#尝试了html-agility-pack，它在抓取html.Here方面做得很好，我需要在抓取时浏览一些页面。现在我的问题是，我如何才能隐藏我自己的网络摩天大楼？因为我不想让其他人知道我正在窃取他们的content.Please，请让我知道是否有任何方法可以帮助me.Looking转发您的回复。
谢谢
回答 1
Stack Overflow用户
发布于 2014-04-25 00:52:17
使用tor代理：
您可以在每个页面或每个站点之后重置代理。请记住，有些网站会寻找特定的模式，并能告诉你正在抓取它们。使用html agility pack，web是一个大数据存储库，只要确保你不会以一种会给你带来麻烦的方式使用别人的数据即可。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/23020012
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号