回答情况：
提问时间：
问题标签：
我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
1回答
开了ai爬虫处置，会不会影响我的网站seo?
搜索引擎、网站、爬虫、seo、EdgeOne
eo的这个ai爬虫处置，开了之后其他搜索引擎还能爬到我的网站吗，影响seo吗
浏览 59提问于2026-04-27
1回答
我的计划是我的网络爬虫
google.com/robots.txtDisallow: /search我的新计划我的网络爬虫会
打开谷歌、
浏览 3提问于2017-09-15得票数 0
我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
2回答
这些记录从起始页往下埋了2-3层。所以基本上我让爬虫从某个页面开始，爬行直到它找到特定类型的记录，然后解析html。我想知道的是，有什么方法可以防止我的爬行器使站点过载？其次，与之相关的是，有没有一种使用Scrapy的方法可以在不对网站施加过多压力的情况下测试爬虫？我知道你可以在程序运行的时候杀死它，但是有没有办法让脚本在遇到像第一页这样的页面时停止呢？
浏览 0提问于2011-12-17得票数 6
回答已采纳
我正在编写一个网络爬虫，找到并保存在网站上的所有图像的网址。我可以毫不费力地买到这些。我需要上传这些网址，连同它们的缩略图版本，通过http请求到服务器，这将渲染图像和收集各种AI应用程序中使用的功能信息。
对于某些urls，这是没有问题的。
浏览 15提问于2017-02-17得票数 0
回答已采纳
as pltimport cv2data_path = "C:\Users\TomMc\Desktop\Personal_Projects\Python\Dog AIbreakprint(img_array.shape)
文件"c:\Users\TomMc\Desktop\Personal_Projects\Python\Dog AI\OpenAi.py"，第6行data_path = "C:\Users\TomMc\Desktop\Person
浏览 3修改于2022-10-15得票数 -1
爬虫是一个爬行过程，分析网页的网站，我也指出它。因为这是循环的，如果我访问集线器上的页面，下次当爬虫进程加载时，它会尝试连接到core.pages表。中心正在运行:LaravelFramework8.77.1我从来没有在终端上运行任何命令来切换数据库。只刷新浏览器。两者都在运行8.1.2
只是要详细说明-这不仅限于这些项目，我有相当多，并在测试与另一个2-3，同样的事情发生。任何帮助解决我的问题将不胜感激，因为我经常是在2-3个项目在同一时间工作。
浏览 1提问于2022-03-22得票数 1
回答已采纳
下一代预测或短语预测引擎使用在移动和平板电脑的现代键盘，如快速键和XT9，它预测下一个词的用户将根据一些预定义或动态语料库，基于n-克(最后键入2-3个单词的最大频率加上当前单词)的语言模型(马尔可夫模型我认为这些引擎/algos是AI/NLP的一部分。但我不确定他们属于AI/NLP的哪个分支。是机器学习吗？是数据科学吗？是大数据吗？是电脑情报吗？这是决策吗？是数据挖掘吗？
浏览 2修改于2013-11-26得票数 0
回答已采纳
import glob, os path=r'C:\Users\User\Documents\Scripts on ML_DL_AI_PHMFile "<ipython-input-40-2bd796a8736c>", line 1 ^
SyntaxError: (unic
浏览 0修改于2018-10-30得票数 0
回答已采纳
我正在尝试为一个游戏引擎创建脚本AI，我正在开发一个有趣的游戏引擎。我决定尝试使用Groovy来创建作为GroovyClasses加载的.groovy行为文件，然后将其转换为我的behavior接口。我在每个游戏周期执行更新，脚本化的AI类将程序带入爬虫。我的问题是，有没有办法加快嵌入式groovy的速度，或者有没有更好的方法来做我正在做的事情？谢谢你的帮助。
浏览 3提问于2011-05-07得票数 1
我试图通过添加一个云监视日志组来实现这一点，作为我的Lambda的触发器，而在Lambda内部，我使用应用程序洞察力库将事件发送到一个AI实例。当我的lambda的默认执行超时为3秒时，我无法在我的AI实例中看到任何日志，我的lambda成功地执行并在2-3秒内终止。当我将超时时间增加到20秒时，我可以看到在AI中填充了日志，而我的lambda执行了15-17秒。
我的理解是，AI遥测客户端将数据分批发送并暂时存储在磁盘上，直到发送为止。如何确保AI遥测客户端不批量处理这些事件，并在收到
浏览 0修改于2018-09-14得票数 0
回答已采纳
1回答
我对Screep比较陌生，我一直致力于构建自己的基本AI系统。然而，我在最初的测试中遇到了一个问题。我有一个确定要做的作业的脚本，然后爬虫请求可用的作业。我已经能够将Job对象存储到爬虫的内存中，但稍后我无法再调用它。
浏览 14提问于2017-08-18得票数 1
我正在考虑在web爬虫转储上训练10 TB+以上的大型数据的TB+。我需要使用分布式模型，还是需要在2-3天内使用哪种类型的硬件？我有8gb内存的iMac。
我看到word2vec实现不支持GPU培训。
浏览 1修改于2015-06-02得票数 20
回答已采纳
2回答
PaymentId (UNSIGNED INT AI)Amount (FLOAT)因为对于PayTo，通常不超过2-3个不同的值
浏览 2修改于2017-12-13得票数 0
回答已采纳
我尝试直接从Windows运行它，这次只用了2-3秒，这是我所期望的。
那么，当Delphi调试器连接到它时，为什么完全相同的EXE处理数字的速度要慢25倍以上呢？这并不像计算条件断点那样明显。似乎仅仅是调试器的存在就让它慢得像爬虫一样。有人知道为什么吗？
浏览 0提问于2010-03-16得票数 2
回答已采纳
Ai，j=Ai-1，j NAND Ai，j-1.
第一行作为第一个字符串，第一列作为第二个字符串(右上角的元素为空)。我想让它运行得足够快，以便N=10^5和M=10^5在2-3秒内运行。
浏览 0修改于2018-09-15得票数 0
回答已采纳
几周前，我需要一个爬虫来收集和整理数据，所以我开始学习python。同一天，我写了一个简单的爬虫，但代码看起来丑陋得要死。主要是因为我不知道如何做某些事情，也不知道如何正确地搜索它们。启动机器人大约需要2-3秒(如果这是正常的，我想我写得越多，启动它需要的时间就越长，这让我认为代码是垃圾)。它有时起作用，有时不起作用。 我的问题是 我怎么知道我写的是不是好东西？
浏览 47修改于2021-03-02得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号