回答情况：
提问时间：
问题标签：
但要做到这一点，我需要每次点击按钮，但我想要的东西，可以自动化的进程在一段时间间隔，例如X分钟。
请给我一个建议？
浏览 6提问于2012-01-11得票数 0
回答已采纳
我已经使用Java开发了爬虫，但在这方面，我们必须通过提供URL和HTML标记来手动抓取网站，并通过连接URL和解析URL来抓取站点，并在相应的HTML标记中获取产品。在这个例子中，我使用JSoup (“doc.getElementsByTagName”)；在名为“爬行”的标签中获取产品有可能使爬虫自动化吗？如果是，请帮助我做这件事。
浏览 1修改于2014-04-14得票数 1
我有一个爬虫的基本结构。现在我在一些php驱动的网站上发布了它，它就像一个护身符。不过，现在我想让它从ajax内容构建数据表。目前，我正在使用Mechanize for PYTHON和perl来构建我的爬虫。虽然机械化模块不执行AJAX。如何访问由异步ajax构建的内容？我知道有一种叫做Selenium的东西，一种真正的自动化浏览器。但这是我唯一的选择吗？
浏览 2提问于2012-01-26得票数 2
回答已采纳
我写了一个Ruby网络爬虫，从第三方网站中检索数据。我使用Nokogiri来提取基于特定CSS div和特定字段的信息(访问子节点和我提取的节点的元素)。有时，第三方网站的结构会改变，从而破坏爬虫(element[1].children[2]可能需要更改为element[2].children[0])。我也有一个自动化的过程，控制它可以提取“一些”值。
我想知道是否有更优雅的方法来处理这个问题。如何编写易于维护的爬虫？
浏览 4修改于2015-01-30得票数 0
回答已采纳
为什么当Selenium正在自动化浏览器而不是If-修改--从头开始生成HEAD谓词呢？
我们还看到了使用HEAD动词的(非主流)爬虫的日志条目。我们创建了robots.txt条目来阻止这些爬虫对站点进行索引，但是现在我们想知道从SEO的角度来看最佳实践是什么。对于爬虫来说，对头部的响应重要吗？有使用它的主流爬虫吗？
浏览 2修改于2013-02-25得票数 2
回答已采纳
3回答
有一个爬虫/爬虫，它会爬网寻找我需要的信息(我如何告诉爬虫要爬行什么，因为我不想获取整个网络？)？然后有一个索引系统来索引和组织我抓取的信息，也是一个搜索引擎？(它是一个技术新闻的聚合器，而且它是完全自动化的--直到最近他们才增加了一些人工干预)。构建这样的服务需要做些什么？
或者Kayak.com如何聚合他们的数据？(这是一项旅游聚合服务。)
浏览 2修改于2010-08-23得票数 14
我运行了一个爬虫程序，将数据存储在S3位置，因此它根据给定的csv文件创建胶水表。我的意思是，当我向csv文件添加一个新列时，它会在运行爬虫时相应地更改粘合表。我能用爬虫做同样的事情吗？我的意思是创建一个类似于胶水目录表的Redhsift表？所以，当数据类型改变或者在csv文件中删除或添加列时，我们可以运行爬虫，我们可以使用爬虫来做到这一点吗，或者有什么其他方法可以满足我的需要吗？这应该是一个完全自动化的ELT管道。
浏览 13提问于2021-02-28得票数 1
回答已采纳
我理解没有人能够对UI事件等做出响应的rational，但事实仍然是，只有Windows窗体才能实现许多自动化任务。
在Vista之前，有一些技巧可以绕过这个问题，但现在却没有了。
浏览 7修改于2010-07-21得票数 1
回答已采纳
我使用以下命令运行我的scrapy cralwer：运行后，它将从目标资源中抓取所需的元素，但我必须监视屏幕上显示的结果，以查找错误(如果有的话)并手动停止爬虫如何使自动化这个过程？当爬行器无法抓取所需的元素并在获取时失败时，是否有自动停止爬行程序的方法？
浏览 3提问于2021-11-09得票数 0
因此，如果我有一个ViewController的源代码，那么我的爬虫就会开始爬行找到所有的subviews of ViewController。此外，爬虫将发现gesture附加到subviews。但在我的例子中，我想让应用程序的点击过程自动化。只需考虑一下，因为我希望运行时找到UIView的抽头手势识别器并触发它。
浏览 7修改于2016-08-30得票数 2
回答已采纳
我在GUI环境中使用Qt创建了一个用于特定任务的简单web爬虫。现在，我想将它自动化(使用cron)，并使用纯非GUI环境所必需的。我试图将代码移植到一个非GUI应用程序，但没有成功。如果不可能，如何使用Qt为非GUI应用程序编写web爬虫程序？我熟悉Qt (当然不是专家)，如果可能的话，我想使用它
根据的说法，我可以在终端上运行我的网络爬虫，但是我必须使用一个假服务器。
浏览 0修改于2017-05-23得票数 1
2回答
网络爬行
网络爬虫(也称为网络蜘蛛或网络机器人)是一种程序或自动脚本，它以一种有条不紊、自动化的方式浏览万维网。这个过程称为Web爬行或爬行。
浏览 4提问于2015-12-15得票数 0
在这里，a.py运行一个网络爬虫，并将其另存为xml文件。现在，b.py解析生成的xml文件并另存为pickle文件。现在，c.py将列表从pickle文件插入到数据库。有没有办法让这一切自动化呢？
浏览 0提问于2012-02-01得票数 4
我有一个亚马逊胶水爬虫，它查看一个特定的s3位置，包含avro文件。我有一个进程，它在那个位置的一个新的子文件夹中输出文件。一旦我手动运行爬虫，新的子文件夹将被视为数据库中的一个新表，它也将是可从雅典娜查询的。glue_client.start_crawler(Name='avro-crawler')
浏览 0提问于2018-08-21得票数 1
回答已采纳
我想用Python构建一个爬虫来爬行Foursquare中的社交图。通过使用apiv2库，我得到了一个“手动”控制的爬虫。我想可能有一些方法可以让我在当前的程序中编写代码，并使其自动化。
欢迎使用任何指令或示例代码。
浏览 1修改于2016-02-19得票数 5
我正在自动化一个爬虫，以找到数据在一个网络应用程序。服务器是超级慢的，所以我不得不添加许多等待加上使用线程睡眠的初始等待。因此，我的爬虫得到一个项目列表，然后迭代:它必须通过单击其id加载每个项目的详细信息。然后返回(这些导航控件都内置在web应用程序中，不使用浏览器控件)，然后进行漂洗和重复。爬虫每次到达相同的项目并锁定，例如:进度旋转冻结和Firefox崩溃。
我尝试了几种不同的方法，包括使用后台线程、删除所有cookie以及检查我的内存是否超载。
浏览 2提问于2014-02-05得票数 1
回答已采纳
我知道爬虫可以用于这个任务，但如果任何人在过去有同样的经验，那么请建议一些好的自动化工具，可以很容易地在网站上找到这个词。
浏览 2修改于2014-04-14得票数 0
1回答
我们需要使用爬虫提取内容，然后集成而不是将数据导入到。IBM中有批量导入功能吗？
是否可以通过某种API或服务自动化创建页面和组件的过程？
浏览 3修改于2014-05-28得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号