回答情况：
提问时间：
问题标签：
在下面的例子中，我希望anemone只在根网址(example.com)上执行。我不确定是否应该应用on_page_like方法，如果应该，我需要什么模式。require 'anemone' anemone.on_pages_like
浏览 0提问于2013-01-09得票数 3
回答已采纳
现在，我正在对Anemone执行以下操作： anemone.on_every_pageAnemone.crawl("http://www.findbrowsenodes.com/", :delay => 3) do |anemone</
浏览 3提问于2013-09-04得票数 2
我正在创建一个不同类型的when爬虫，当我使用没有存储的Anemone来抓取一个站点时，它最终会因为内存问题而崩溃。
因此，我安装了Redis，redis-rb等，并更改了代码以使用redis存储。/storage/redis.rb:82:在rget’anemone (0.5.0) lib/ anemone /storage/redis.rb:41:ineach‘anemone (0.5.0)lib/ anemone /storage&
浏览 6修改于2011-11-26得票数 0
使用Anemone时，我在尝试使用MongoDB时遇到以下错误：代码如下所示：require 'mongo'
Anemone.crawl("my.
浏览 2提问于2015-08-28得票数 2
海葵可以很容易地做到这一点： anemone.storage = Anemone:但是，使用上面的代码，Anemone收集并存储了很多我不需要的信息，包括每个页面的响应。我只需要存储URL。而且，尽管我花时间和在一起，我还是想不出如何告诉Anemone不要存储某些信息。
浏览 1提问于2011-04-20得票数 0
回答已采纳
代码：Anemone.crawl("http://www.example.com/") do |anemone|
anemone.on_every_page do
浏览 0修改于2012-09-04得票数 3
回答已采纳
(url) anemone.on_pages_like %[/events/detail/.*] do |pageopeners: page.doc.at_css('.details h2').text puts show end 在Anemone
浏览 2修改于2013-11-30得票数 0
Websites/SampleCalendar/tabid/89/Default.aspxnamespace :db do task :fetch_a4apps => :environment do Anemone<
浏览 2修改于2012-11-01得票数 2
回答已采纳
我用的是银莲花。我如何抓取子域？例如，如果我有网站www.abc.com，我的爬虫也应该爬行support.abc.com或blah.abc.com。我使用的是Ruby 1.8.7和Rails 3。
浏览 1修改于2012-06-22得票数 3
回答已采纳
# Sample web_crawler.rb with Anemone, Mongodb and Ruby.require 'anemone'
module Anemone def to_hash:obey_robots_txt => true, :user_agent => "Example - Web Crawler", :large_scale_crawl => tr
浏览 0修改于2012-02-24得票数 7
回答已采纳
在不使用身份验证的情况下，我将执行以下操作：Anemone.crawl("http://example.com/") do |anemone|
anemone.on_every_page如果我尝试使用"Anemone.crawl("")“，那么我只有第一个页面标题，但其他链接具有样式，并且我收到401error。
浏览 1修改于2013-08-08得票数 2
回答已采纳
为了加快这个过程，我想我应该先把网站下载到我的硬盘上，然后再用Anemone + Nokogiri这样的东西来抓取它。代码如下： titles = []
('title').inner_h
浏览 0提问于2012-06-01得票数 2
回答已采纳
我设置了一个爬网：anemone.on_every_page do |page|end然而，我希望蜘蛛在它访问的每个URL上都使用谷歌分析反跟踪标签，而不一定真的点击链接。
浏览 1修改于2014-01-13得票数 3
回答已采纳
require 'rubygems'require 'nokogiri'require 'uri' hasListing = false anemone.on_every_pa
浏览 2提问于2017-04-20得票数 1
回答已采纳
Anemone.crawl(name) do |anemone| if not (page.nil?
浏览 1修改于2013-09-03得票数 2
假设我试着抓取一个网站，跳过一个页面，结果如下：
...Anemone.crawl(url, :depth_limit => 3, :obey_robots_txt => true) do |anemone| anemon
浏览 0修改于2017-05-23得票数 3
回答已采纳
我们可以用海葵抓取一个洞网站(例如：https://stackoverflow.com/)，但如果我只想专注于某个文件夹(例如：questions)怎么办？我该怎么做呢？也许可以使用"focus_crawl“方法？
浏览 0修改于2017-05-23得票数 2
我写了一个红宝石脚本使用银莲花宝石爬行一个网站。直接使用时，脚本运行良好。
浏览 4修改于2013-09-08得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号