回答情况：
提问时间：
问题标签：
1回答
我正在创建一个爬虫来获取产品信息和产品评论，并从一个特定的类别导出到csv文件。例如，我需要从裤子类别中获取所有信息，所以我的爬行从那里开始。 yield {"product_url": item.css('.category-good-na
浏览 0提问于2020-03-11得票数 1
回答已采纳
我试着用python让评论成为爬虫。in bsObj.findAll(attrs={'class': 'product-reviews-count'}) 但是我不能得到标签enter image description here之间的评论计数实际上，由于我不是开发人员，这将是一个棘手的问题 如果你需要更多的信息来解决这个问题，请发表评论。
浏览 10提问于2020-07-19得票数 0
回答已采纳
我有一个任务，防止谷歌的爬虫索引一些内容。我读过，如果我有这样的html：然后googleoff告诉Google的爬虫不要索引内容，而googleon告诉Google的爬虫要索引内容。到现在为止还好。因此，不应该被Google的爬虫索引的内容应该在这些评论之间。我已经使用googleoff和googleon功能将应该排除在Google索引之外的所有内容打包到这些评论中
浏览 5修改于2013-08-10得票数 0
回答已采纳
2回答
我正在使用刮除从一个网站上对书籍的评论。到目前为止，我已经做了一个爬虫和刮评论的单一的一本书，把它的网址作为启动网址由我自己，我甚至不得不给标签的评论，由我自己从页面的源代码找到它。它起作用了。也就是说，我想要某种方式，爬虫应该能够找到书的网页在网站上，并刮它的评论。我从goodreads中提取评论，它没有为url提供统一的方法，甚至对于不同的书籍，标签也是不同的。而且我不想用Api。
浏览 10提问于2014-05-02得票数 0
回答已采纳
站点地图的格式不一定是XML，它只是关于信息。此外，我希望保存爬行页面的完整HTML源代码，以供进一步分析，而不是只从其中抓取某些元素。对有经验的网络爬虫者的评论:考虑到这是可能的，你认为Scrapy甚至是正确的工具吗？或者用请求之类的库来编写自己的爬虫会更容易吗？
浏览 0提问于2017-11-07得票数 5
我正在考虑尝试整合Facebook在我们网站上留下的评论，这样内容就可以被搜索引擎抓取，也可以供那些没有在浏览器上启用Javascript的人使用(尽管我非常怀疑会有很多人)。目前，我们的Facebook评论是通过Facebook评论社交插件(使用<fb:comments href="MY_URL" num_posts="50" width="665"></fb:comments这最终会呈现一个iFrame (搜索引擎爬虫通常会忽略它)
浏览 0修改于2011-10-21得票数 4
回答已采纳
我正在写一个网络爬虫。我提取了这个的标题和主要讨论，但我找不到任何一个评论(Ctrl+u -> Ctrl+f。注释文本)。我想评论是用JavaScript写的。我能把它提取出来吗？
浏览 18提问于2016-07-27得票数 0
网络爬虫(包括搜索引擎和非搜索引擎)会以什么方式影响网站统计(例如，在进行AB测试不同页面的变化时)？解决这些问题的方法是什么？例如：
什么是启发式来识别某物是一个机器人？为了澄清，基于以下评论:我也感兴趣的情况下，我的网站是具体的目标(可能是非法爬虫)。
浏览 3修改于2010-04-12得票数 1
回答已采纳
我的网站的内容是由用户提供的问题和评论定义的，并且是动态的，本质上是不断增长的。本质上，这些内容对于搜索引擎爬虫是不可见的。使这些内容可供爬虫使用的最佳方式是什么？我是否应该定期运行批处理操作，创建静态网页，并通过站点地图将其提供给爬虫？请提个建议。谢谢。
浏览 1提问于2014-11-08得票数 0
而不是评论。正如我所理解的那样，“我们无法装载.”谷歌不得不加载js脚本，但由于某种原因，无法从争议中得到评论。
怎么啦？怎么解决这个问题？
浏览 4提问于2015-06-04得票数 0
回答已采纳
但我希望facebook上的clawler能看到我的og: data，发布带有当前标题的评论。脸书爬虫获得了302的正面，并采取标题从头版。我怎样才能(也许)做一个白名单给facebook爬虫获取og:来自受限区域的数据？
浏览 0修改于2018-07-21得票数 0
回答已采纳
我正在使用crawler4j为Tripadvisor编写一个爬虫。我需要收集一个项目的所有评论，但是指向“下一个”评论的链接(那些带有数字的评论)不是一个链接，而是一个javascript函数。
浏览 2提问于2012-06-27得票数 0
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提
浏览 0修改于2013-02-04得票数 0
我很难理解crawl-delay: 1的含义，如果它没有被忽略，并且实际上被一个给定的网络爬虫所解释。我从斯蒂芬·奥斯特米勒的回答中了解到表示：爬行A页爬行B页60 crawlings还是at most 30爬虫？什么是爬行延迟:1表示如果它被解释为是？
浏览 0修改于2020-03-04得票数 1
我想知道是否有任何方法，我可以抓取客户评论的特定产品从亚马逊，而不被封锁。现在，我的爬虫几次就被堵住了。任何想法都会感激的。
浏览 0提问于2017-05-25得票数 2
这是网络爬虫中的一个模式识别任务。传统的爬虫获取整个页面的数据。如果有任何方法可以让爬虫变得有点智能，就像只是识别和捕获信息部分。
浏览 0提问于2015-05-29得票数 0
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
爬虫是使用Selenium和Python构建的。
浏览 2提问于2019-05-21得票数 1
我想问，有没有什么方法可以让我使用Nutch 2.1爬虫在facebook的公共页面上发布URL的次数/发布的URL和评论在Facebook上被点赞的次数？
浏览 2修改于2013-01-17得票数 4
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号