回答情况：
提问时间：
问题标签：
伙计们，我一直试图从我的网站上删除很少的数据。我正在使用python 。<form action="http://mywebsite.com/login/process" method="post"> <div class="form-group">
<input type="text"
浏览 0修改于2015-12-03得票数 1
回答已采纳
我按照文档将代理使用集成到我的蜘蛛中。现在我的蜘蛛不能登录了。
浏览 9提问于2021-08-18得票数 0
回答已采纳
我正在从实现的某个机制中抓取数据的网站，如果它检测到我的请求太频繁，那么帐户就会被锁定，请求将被重定向到一个用户验证页面，在该页面中，它需要用户滑动一个条才能解锁。基本上，在我的抓取蜘蛛中，对于我想要的每一个请求：
我将启动一个selenium webdriver并再次发送请求。再次要求蜘蛛用相同的url发送请求，然后蜘蛛继续从响应中抓取数据。
如果不是用户验证页面，那么蜘蛛就会像往常一样
浏览 1修改于2018-03-20得票数 0
回答已采纳
我有一个现有的抓取公共记录网站的爬虫，蜘蛛工作得很好，但他们添加了一个验证码弹出窗口，打破了蜘蛛(原始程序员不可用)。我可以在浏览器中右键单击并保存图像，实际上我可以通过浮动在那里的decaptcha apis之一对其进行解码。
浏览 2提问于2013-09-07得票数 0
我有一个管理应用程序，需要通过SSL的HTTP身份验证。我已经在站点的robot.txt文件中包含了管理应用程序的路径。
我不希望管理应用程序的路径在任何地方都可见。单凭HTTP身份验证就能阻止网络蜘蛛索引页面吗？
浏览 2提问于2011-04-21得票数 0
回答已采纳
但是，即使我遵循正确的步骤，用户身份验证也有问题。但是，当蜘蛛作为用户时，我仍然无法通过登录页面。下面是我所遵循的步骤。1.在上下文中包括(上下文/包容性上下文)4.
浏览 2提问于2014-12-22得票数 3
回答已采纳
1回答
我有一个本地存储变量来存储当前经过身份验证的游戏的数据。这是我的应用程序的结构。我有一个名为OpenGames的表，它在表中存储了一个游戏列表。现在，当我单击表中的任何游戏(指环王)时，它进行身份验证，并将经过身份验证的游戏名称存储在本地存储变量中，并路由到一个页面(例如:显示游戏页)，该页面在本地存储中显示当前存储的名称。在第一个例子中，我意识到经过身份验证的游戏显示在显示游戏页面上，但是当我回到OpenGames表对另一个游戏(蜘蛛侠)进行身份验证时，本地存储仍然保留着
浏览 1修改于2017-05-07得票数 0
一个想法是使用网络蜘蛛。诸如Burp这样的Web穿透工具具有网络蜘蛛功能。然而，web蜘蛛存在许多问题，如处理用户身份验证和动态生成内容。
浏览 0修改于2016-02-12得票数 0
下面是我在这只蜘蛛身上发现的东西：phone_model['sku_number'] = sku_number
# code omitted我正在刮一堆规范，并希望在源验证数据。由于数据必须标准化以进行验证，所以我更愿意用一块石头杀死太多的鸟，然后立即更新数据库。但是我似乎找不到在蜘蛛中直接利用这个特性的任何例子。我似乎使用了管道，用isinstance模式匹配逐个处理对象.我开始怀疑直接将Django模型导入到蜘蛛中是
浏览 3修改于2017-05-23得票数 2
我已经通过Anaconda安装了tensorflow，并通过以下方法成功地验证了它print(sess.run(hello))import tensorflow as ts文件""，第1行，在导入tensorflow as ts中
Modul
浏览 2修改于2017-11-17得票数 2
2回答
我有一个项目，在其中我已经实施了数以百计的刮除蜘蛛。现在，我遇到了以下问题：
我研究过scrapinghub/zyte，但不确定它是否适合我们的目的，因为我们需要
浏览 10修改于2021-02-10得票数 0
你好，我正在努力完成在以下网站上找到的教程：
文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(spider_name)) KeyError：‘
浏览 5提问于2016-10-06得票数 2
回答已采纳
在中，可以给出蜘蛛的名称或URL，但是当我给出url时它会抛出一个错误：
//我的蜘蛛的名字就是例子，但是我给出的是url而不是我的蜘蛛名(如果我给蜘蛛命名的话，效果会很好)。usr/local/lib/python2.7/dist-packages/Scrapy-0.14.1-py2.7.egg/scrapy/spidermanager.py"，第43行，在create (“蜘蛛未找到：%s”% spid
浏览 3提问于2012-03-13得票数 35
回答已采纳
，我需要通过管道创建一个csv文件，例如，使用这个蜘蛛名。spider1.csv,spider2.csv,spider3.csv and so on (蜘蛛不受限制，它们可能更多)>>根据蜘蛛的数量和蜘蛛的名称，我想创建csv文件这里我有3个蜘蛛，我想一次运行所有3个蜘蛛(使用scrapyd)，当我运行所有3个蜘蛛
浏览 3修改于2014-03-06得票数 2
1回答
我实际上是在做一个用刮擦来报废的项目，最后我得到了37蜘蛛。我想为这些蜘蛛做一个cron工作，但是首先我想把我的37只蜘蛛重新组合到一个主蜘蛛中。通过这样做，我将在主蜘蛛上完成一个单一的任务，而不是37个任务。你有什么想法吗？
浏览 2提问于2022-07-20得票数 0
我有一个具有如下SQL查询的搜索模块：当我搜索关键字(例如“蜘蛛侠”)时，它返回的不是找到，但当我搜索“蜘蛛侠”时，它会返回我的内容( MySQL中的原始行是“蜘蛛侠”)。，:，同时返回“蜘蛛侠”和“蜘蛛侠”关键字的内容？
浏览 4修改于2017-11-02得票数 6
回答已采纳
1回答
我正在使用Scrapy框架让蜘蛛爬过一些网页。基本上，我想要的是刮网页并将它们保存到数据库中。我每个网页都有一只蜘蛛。但是我很难同时运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。
浏览 3修改于2021-02-13得票数 0
回答已采纳
1回答
所以我应该自己写一个蜘蛛。我搜索了一下，发现会帮我做到这一点。然而，我的问题是，Bale接受这个号码，并向该电话号码发送一个代码以进行身份验证(就像电报一样)。我不知道如何在我的爬行器中处理这个身份验证。您能帮助我如何正确地进行身份验证吗？或者，提取其通道信息的更好的解决方案是什么？
谢谢！:)
浏览 0修改于2018-10-01得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号