回答情况：
提问时间：
问题标签：
我需要分析几个网站，一旦完成，我需要发送一些数据给它。例如，假设网站A为我提供了一个搜索选项卡，我需要以编程方式向其提供数据。根据目标站点的更新，结果页可能会有所不同。我想编写这样一个爬虫。
浏览 1提问于2013-03-27得票数 0
Reddit数据解决方案： import re from datetime import date
import
浏览 3提问于2020-04-14得票数 0
回答已采纳
2回答
我有一个简单的web爬虫，从根开始(给定url)，下载根页面的html，然后扫描超链接并抓取它们。我目前将html页面存储在SQL数据库中。第二个问题是，我需要一个高效的数据结构来存储html页面，并能够在它们上运行数据挖掘操作(目前使用的是SQL数据库，希望听到其他建议)。
我使用的是.Net框架、C#和MS。
浏览 3修改于2015-12-20得票数 14
回答已采纳
高级数据库爬虫是否支持Sitecore 7.2?我已经从Nuget下载了DLL，并添加了配置file.When，我尝试重建索引，我得到了以下问题。
浏览 5提问于2014-12-17得票数 1
回答已采纳
是否有适合于解析许多非结构化网站(新闻、文章)并在没有之前定义的规则的情况下从其中提取主要内容块的网页爬虫器？
我的意思是，当我解析一个新闻提要时，我想从每一篇文章中提取主内容块来做一些NLP内容。
浏览 3提问于2016-03-17得票数 0
回答已采纳
我正在尝试爬行的网站包含数千个用户页面，我想抓取这些页面并将其输出到另一个网站上。例如，example.com列出了用户的照片、姓名和头衔。代码看起来如下所示：<h1 class="username">Tommy</h1>要找到我需要抓取的页面，您需要转到example.com?id=1，然后
浏览 1提问于2014-07-12得票数 0
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
因此，程序收集我想要的数据，直到它到达一个正在出售的项目，然后崩溃。
如何修复我的程序，以便它跳过正在出售的项目，或者将它们作为不同的数据点收集？
浏览 7修改于2020-05-03得票数 0
为什么不下载一个只有单词的基本单词列表(已经这样做了；大约有109,523个单词)，编写一个遍历每个单词的程序，连接到互联网，从某个任意的站点检索数据(定义等)，并从所述信息中创建XML数据。
浏览 2修改于2014-10-27得票数 0
回答已采纳
我必须实现一个访问Web上链接数据的Web。我已经为此建立了一个简单的功能。我对此有三个疑问：
我只能解析能够返回RDF/XML数据的网页，.Is，它足以抓取链接的数据。
浏览 1修改于2015-02-13得票数 1
嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？
提前感谢！
浏览 3提问于2010-01-27得票数 1
回答已采纳
我创建了AWS爬虫来读取s3 (csv)中的数据，并将输出配置作为目录表。当我运行爬虫时，我可以看到从csv文件中填充到目录表中的数据和元数据。
是否有方法只将元数据信息填充到目录表中？
浏览 13提问于2022-11-16得票数 0
回答已采纳
1回答
我想在一天内浏览300万个网页。由于web特性的多样性- HTML、pdf等，我需要使用Selenium、剧作家等。我注意到使用Selenium必须使用Google DataFlow构建一个自定义容器。
浏览 0修改于2022-08-29得票数 1
如果我后来在模型中添加了一个新字段或更改了解析函数，我希望能够离线“重放”下载的原始数据以再次抓取它。看起来Scrapy有能力在一个重放文件中存储原始数据：
但在当前版本的Scrapy中，这一功能似乎已被删除。有没有其他方法可以做到这一点？
浏览 4提问于2011-10-14得票数 14
我试着和Kafka合作来摄取数据，但是我对此还不熟悉，我有点困惑，我有多个爬虫，他们从web平台上为我提取数据。现在的问题是，我想摄取使用Kafka将数据提取到Hadoop而没有任何中间脚本/服务文件的内容。有可能吗？
浏览 0修改于2018-08-17得票数 1
回答已采纳
2回答
我知道这是一个很大的问题，但我是一个完全的初学者。我在HTML，PHP等方面的经验有限，想拼凑一些东西，但甚至不知道从哪里开始。我想知道我是否可以得到一些东西，可以搜索活动和/或旅行路线的日期和价格，例如火车时间等，以便列出教育旅行和类似的东西。
浏览 0提问于2010-08-04得票数 2
回答已采纳
我使用BeautifulSoup库构建了一个网络爬虫，它从雅虎金融公司的CSV文件中提取股票代码，并使用matplotlib绘制数据图表。
浏览 0修改于2015-12-21得票数 5
回答已采纳
我希望将一些网站的内容复制到本地数据库中，以便进一步进行个性化搜索。我知道我必须使用爬虫，我找到了一些关于scrapy的很好的参考资料。
我的问题是，你知道有没有用PHP写的好的爬虫。
浏览 0提问于2013-04-16得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号