回答情况：
提问时间：
问题标签：
对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8修改于2016-06-24得票数 2
我正在构建一个搜索引擎(为了好玩)，我突然意识到，我的小项目可能会通过点击广告和各种各样的问题来制造麻烦。
那么，好的网络爬虫“礼仪”的指南是什么呢？阻止爬虫点击广告-这个在我的脑海中特别此刻.如何阻止我的机器人“点击”广告？如果它直接进入广告中的url，它是否被算为点击？
浏览 1修改于2009-06-14得票数 3
回答已采纳
谷歌网站管理员指南解释说，web服务器应该处理包含_escaped_fragment_的url请求(爬虫将www.example.com/ajax.html#!我如何才能确保爬虫获得提要，我的网站获得索引？
浏览 0提问于2012-10-09得票数 6
我是python的新手，正在尝试构建一个脚本，它最终会将页面标题和s从指定的URL提取到我指定格式的.csv中。我尝试过让爬虫在CMD中工作，方法是： response.xpath("/html/head/title/text()").get() 所以xpath必须是正确的。不幸的是，当我运行我的爬虫所在的文件时，它似乎从来都不能正常工作。我认为问题出在最后一段代码中，不幸的是，我遵循的所有指南似乎都使用CSS。
浏览 17提问于2019-04-17得票数 1
4回答
我目前正在开发一个内置网络爬虫的自定义搜索引擎。由于某种原因，我不喜欢多线程，因此到目前为止，我的索引器是以单线程的方式编写的。现在，我在构建爬虫时遇到了一个小难题。
浏览 2修改于2013-09-27得票数 1
我已经创建了一个爬虫，但我不想被禁止访问该网站。
有没有办法减少爬虫的攻击性，或者以某种方式隐藏它，这样就不会被“注意”，也不会给我正在爬行的提供商/网站带来问题？制作一个可接受的爬虫的ANy提示或指南？
浏览 1提问于2012-12-25得票数 2
如果我将单引号保留在sitemap.xml loc条目中，一些爬虫(最显著的是必应)会将URL截断到单引号之前的点。
如果我根据'将单引号编码为本指南，一些爬虫会截断URL直到并包含符号。然而，根据指南，我的sitemap.xml是“正确的”，谷歌网站管理员展示了一个垃圾-吨404's -其中大多数显示谷歌爬虫使用的sitemap.xml编码形式的网址(例如，http://example.com电子邮件包含访问者尝试的URL (在本例中为爬虫)。在
浏览 0提问于2015-02-17得票数 2
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
爬虫是使用Selenium和Python构建的。
浏览 2提问于2019-05-21得票数 1
我有一个网络爬虫，抓取数以千计的网站，并将其存储在Kubernetes上的永久卷中。
在这个pod终止之后，我想将PV中的.json文件摄取到ECK中。另外，我正在遵循指南。
浏览 20修改于2021-09-21得票数 0
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
1回答
我想编写一个使用Apache Tika下载网页文本内容的Java web爬虫，但我是使用Apache项目的新手，而且我还没有找到明确的源代码来明确如何将Tika集成到程序中。根据我从互联网上收集到的信息，我已经在命令行中使用Maven构建了Tika，但是我不知道从哪里开始使用Tika类(？)比如我的Java程序中的Parser等等。请原谅我的“初学者”的问题，但一步一步的指南准备Tika将被使用将不胜感激。
浏览 3提问于2013-07-23得票数 1
回答已采纳
1回答
我遇到了一个开源爬虫Bixo。有人试过吗？你能分享一下学习的过程吗？我们是否可以轻松地构建定向爬虫(与Nutch/Heritrix相比)？谢谢Nayn
浏览 1提问于2010-07-19得票数 3
回答已采纳
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。我发现的在另一个
浏览 0修改于2017-05-23得票数 2
我正在构建一个购物比较引擎，我需要构建一个爬行引擎来执行日常数据收集过程。
我已经决定在C#中构建爬虫。我对HttpWebRequest/HttpWebResponse类有很多不好的体验，众所周知，它们对于大型爬虫来说是高度错误和不稳定的。因此，我决定不在它们的基础上进行构建。如果他们知道有什么好的开源爬虫框架，比如java有nutch和apache commons，它们是非常稳定和高度健壮的库，我想要这里的专家们的意见，他们已经编码爬虫程序
浏览 2修改于2010-12-06得票数 9
回答已采纳
我有一个爬虫的基本结构。现在我在一些php驱动的网站上发布了它，它就像一个护身符。不过，现在我想让它从ajax内容构建数据表。目前，我正在使用Mechanize for PYTHON和perl来构建我的爬虫。虽然机械化模块不执行AJAX。如何访问由异步ajax构建的内容？
浏览 2提问于2012-01-26得票数 2
回答已采纳
I正在寻找通用指南(如何)。还有一个问题:我是否应该将这些预录制页面添加到我的站点地图中？
浏览 0提问于2019-09-12得票数 0
1回答
我试图通过使用gem命令安装instagram爬虫：但我收到以下错误：
构建本机扩展。这需要一段时间..。错误:安装instagram爬虫时出错:错误:无法构建创业板本机扩展。
浏览 0提问于2019-02-05得票数 0
我在使用nodejs/puppeteer开发爬虫时遇到了问题。旧的爬虫是：
如果你有这样的情况，我想收到一个指南。我非常感谢你的评论或答复:)
浏览 0提问于2019-08-27得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号