回答情况：
提问时间：
问题标签：
关于StormCrawler：，我有几个问题我尝试在默认的-regex-filters.txt：-(shop)中使用这个regex。这样做对吗？
浏览 0修改于2018-03-23得票数 0
回答已采纳
我想安装StormCrawler 2.0，但找不到适当的安装说明。特别是，StormCrawler 2.0与哪些版本的Apache Storm、Zookeeper和Java兼容？
谢谢!
浏览 5提问于2020-11-03得票数 1
我已经安装了StormCrawler，包括Elasticsearch集成。我还完成了Youtube上从StormCrawler的创建者那里找到的信息视频。这是一个很好的介绍。现在，这就提出了如何定制StormCrawler的问题。应该在哪些螺栓之间实现附加功能？另外，我如何找出在这些螺栓之间传递了哪些字段，以便找出可以提取哪些信息？
浏览 8提问于2020-11-02得票数 0
当Stormcrawler获取网站时，它会将已配置的XPathFilter应用于非原始的HTML表示。例如，标签被插入，或者DIVs将变成H3，等等。例如，下面的配置将HTML代码放在Elasticsearch中，这不是原始的： "com.digitalpebble.stormcrawler.parse.ParseFilters": [{
"class": "com.digitalpebble.stormcrawler.parse.filter.XPathFilter&qu
浏览 0提问于2018-11-29得票数 0
" className: "com.digitalpebble.stormcrawler.bolt.FetcherBolt" className: "com.digitalpebble.stormcrawler.bolt.SiteMapParserBolt"
-
浏览 2修改于2019-03-11得票数 2
at com.digitalpebble.stormcrawler.elasticsearch.ElasticSearchConnection.getConnection(ElasticSearchConnection.javaat com.digitalpebble.stormcrawler.elasticsearch.persistence.StatusUpdaterBolt.prepare(StatusUpdaterBolt.java:1.8.0_151]
at com.digitalpebble.stormcrawler</e
浏览 0修改于2018-03-14得票数 0
回答已采纳
我们需要使用StormCrawler查找过期域名的列表。我们得到过期域名的http_response_status代码200。在我们的项目中，我们希望找到这些过期的域名。我如何在StormCrawler项目中做到这一点？
浏览 5提问于2021-03-13得票数 0
当将Tika解析器添加到StormCrawler时，不会从该字段提取信息并将其存储在ElasticSearch中。" className: "com.digitalpebble.stormcrawler.spout.FileSpout" - id: "fetcher"
className: "com.digitalpebble.sto
浏览 0提问于2020-12-25得票数 1
我对StormCrawler非常陌生--由于我一直在探索文档以及README和其他资源，我注意到它经常被称为"URL数据库“，它应该处理从爬虫运行过程中存储有关URL的信息(例如，)。
浏览 2修改于2020-08-26得票数 0
回答已采纳
我在使用StormCrawler原型开始使用StormCrawler+ElasticSearch时遇到了困难。在StormCrawler网站上，我看到了两个版本，即1x和2x。应该使用1x或2x版本安装StormCrawler吗？ StormCrawler需要哪个版本的JDK？是否需要使用Oracle，还是也可以使用OpenJDK？，我想使用StormCrawler来识别和处理图像和文档。在拓扑中哪个位置可以最好地添加这些任务？
U ()，页:根据下面的网址StormCrawle
浏览 1修改于2020-12-06得票数 0
" - id: "partitioner" parallelism: 1 className: "com.digitalpebble.stormcrawler.bolt.FetcherBolt"
paralle
浏览 1修改于2018-05-29得票数 1
回答已采纳
当我检查StormCrawler的源代码时，有很多有用的调试日志。但是，在控制台中放置log4j.xml和添加记录器将不会打印这些内容。要在StormCrawler中启用日志记录，我应该遵循哪些步骤？
浏览 4修改于2018-11-23得票数 1
我想知道stormcrawler的当前版本支持AJAX/动态内容解析，并将其存储在elasticsearch中。感谢您的帮助
谢谢Raj
浏览 0修改于2017-05-09得票数 0
域与此类似：，，subdomain1.domain.com，StormCrawler只适用于URL。我如何在StormCrawler项目中做到这一点？
浏览 4提问于2021-03-06得票数 0
at com.digitalpebble.stormcrawler.elasticsearch.ElasticSearchConnection.getClient(ElasticSearchConnection.javaat com.digitalpebble.stormcrawler.elasticsearch.ElasticSearchConnection.getConnection(ElasticSearchConnection.javaat com.digitalpebble.stormcrawler.elasticsearch.p
浏览 1修改于2018-04-18得票数 0
回答已采纳
我正在从事基于StormCrawler的项目。我们的要求之一是找到重定向到另一个域的域。在StormCrawler中，每个重定向URL都被认为是爬行中的深度。
浏览 2提问于2021-02-09得票数 0
回答已采纳
StormCrawler的资源和配置集在我的计算机上的/Users/deividas/git/selenium-tutorial中“无法解析项目的依赖项在中心
浏览 18修改于2018-03-06得票数 2
回答已采纳
针对StormCrawler的Apache Tika集成是否支持文档的语言检测？有没有Tika生成的变量列表，我可以将其包含在StormCrawler的输出中？
浏览 5修改于2021-02-25得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号