回答情况：
提问时间：
问题标签：
1回答
我正在寻找一个网络框架/蜘蛛，可以爬行一个不规则的网站(一个网站没有一个容易定义的页面结构，例如使用url中的标题字符串索引)，并搜索关键字。可以很容易地定制，并且可以很容易地在JS (最好是)或C#中编写附加功能的东西
我是网络爬虫行业的新手，所以只要给我一个框架，我会很高兴自己去读它。谢谢:)
浏览 0提问于2015-02-16得票数 0
1回答
爬虫框架scrapy测试运行时出错，求解决？
爬虫、scrapy、框架、连接、终端
安装成功scrapy框架后，在pycharm终端里面输入 scrapy bench 命令后，出现由于目标计算机积极拒绝，无法连接。的问题，这个怎么解决，
浏览 161提问于2024-02-21
我想为Objective-C写一个网络爬行库！但是有一个可用于C语言的库！有什么表现吗？或者任何原因？
浏览 2提问于2011-04-13得票数 1
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1修改于2013-03-14得票数 1
回答已采纳
爬虫是一个更大的框架的一部分，它需要爬虫返回一个解析的项目列表。
在Scrapy中，我实现了一个包含几个规范化步骤的管道。由于Scrapy是更大的框架的一部分-如果我可以在通过整个管道后将项目返回到爬虫和/或框架，那就太好了。有没有办法做到这一点？
浏览 0修改于2013-12-05得票数 0
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
1回答
我正在从一个更大的框架中调用一个基于Scrapy的爬虫。在爬行过程中，Scrapy记录所有事件。抓取之后，抓取应该停止日志记录，调用框架应该接管日志记录任务，并再次打印出来。如何阻止Scrapy 控制所有日志并将其传递回我的框架？更新：我将crawler.spider.settings.overrides['LOG_ENABLED'] = False添加到我的爬虫中。刮痕一直在阻止我打印到标准版。
浏览 2修改于2013-12-10得票数 1
我已经决定在C#中构建爬虫。我对HttpWebRequest/HttpWebResponse类有很多不好的体验，众所周知，它们对于大型爬虫来说是高度错误和不稳定的。即使在框架4.0中，它们也是有缺陷的。
我是根据自己的亲身经历说的。如果他们知道有什么好的开源爬虫框架，比如java有nutch和apache commons，它们是非常稳定和高度健壮的库，我想要这里的专家们的意见，他们已经编码爬虫程序。如果C#中已经存在一些爬行框架，我将继续在它们之上构建我的应用
浏览 2修改于2010-12-06得票数 9
回答已采纳
1回答
我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。这个网站有没有可能有防爬虫机制？
浏览 5修改于2011-04-08得票数 1
回答已采纳
2回答
我是Ruby on Rails的新手，我想创建一个抓取数据并将其插入数据库的爬虫。我目前使用的是Heroku，所以我不能直接访问数据库，我想知道将爬虫脚本集成到RoR框架中的最好方法是什么。
浏览 2提问于2011-03-17得票数 0
我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。基本上，我们要建立Hadoop和抓取网络上的图像。一些特殊问题：现在这些看起来是最好的三种选择-摘要：
我们需要从网络上获取尽可能多的图片。现有的爬行框
浏览 5修改于2009-07-28得票数 3
但是，我需要服务器来生成初始页面，而JavaScript MVC/MVVM框架将从呈现的表+任何所需的注释中生成它的初始模型。我尝试过许多JavaScript MVC/MVVM框架，例如AngularJS和Knockout.js，但是它们似乎假设了一种方法，即服务器将提供一个HTML模板，而该框架将通过JavaScript在客户端填充表编辑：
“普通”用户和爬虫的页面内容和URL应该相同。
浏览 1修改于2013-08-29得票数 0
回答已采纳
有没有人知道有一个服务/爬虫/爬虫可以获取通过标准方法(或延迟加载，任何它可以处理的)嵌入的javascript或CSS资源。或者，在这个问题上，在框架之外搜索一些独特的东西，并了解其受欢迎程度。
浏览 1提问于2009-11-26得票数 3
回答已采纳
我在前端使用框架将我的博客创建为单页面应用程序。为了进行查询，我在后端使用了rest API和Django。由于所有内容都是使用javascript代码呈现的，当爬虫访问我的博客时，它们看到的只是一个空页面。我正在考虑查看用户代理，每当用户代理来自爬虫时，我都会将页面的渲染版本提供给它，但我在实现上述方法时遇到了问题。为网络爬虫创建一个在后台SEO友好的rest API和Django的单页应用程序的最佳实践是什么？
浏览 0提问于2017-08-16得票数 1
1回答
我使用Scrapy框架来抓取数据。如果我的爬虫遇到500错误，它将被中断。因此，我需要在解析web内容之前检查可用的链接。非常感谢。
浏览 3修改于2012-08-31得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号