使用最新技术从网站抓取数据的技巧
使用最新技术从网站抓取数据的技巧
提问于 2013-02-13 11:21:52
我试图从asp，jsp网站抓取数据，这些网站使用ajax和会话和POST变量进行数据导航和显示。我已经阅读了各种文章，所以对于数据抓取，但帮助不大，我解析了一些修改标题的网站，但大多数网站都显示了自定义标题的标题重定向。什么是正确的方式来解析来自网站的数据，这些网站启用了javascript，并且asp中的网站有视图状态变量。
回答 1
Stack Overflow用户
回答已采纳
发布于 2013-02-18 11:17:58
如果你想学习网络刮板，我再说一遍，你读过那本书
Webbots, Spiders, and Screen Scrapers: A Guide to Developing Internet Agents with PHP/CURL
实际上，这是唯一一本专门为php开发人员编写的网络搜索器的书，但我认为这本书教授的基础知识将帮助任何开发人员理解web机器人的工作原理。
我还给作者发了一封电子邮件，关于一些问题，他在几分钟内就给我回了信，真的，我强烈建议任何想要了解网络抓取的人阅读这本书
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/14845881
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号