回答情况：
提问时间：
问题标签：
我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
1回答
我的计划是我的网络爬虫
google.com/robots.txtDisallow: /search我的新计划我的网络爬虫会
打开谷歌、
浏览 3提问于2017-09-15得票数 0
0回答
快手、抖音、微视类短视频SDK接入教程，7步就能搞定--PHP后台怎么部署？
云点播、php、ide、云直播、短视频
快手、抖音、微视类短视频SDK接入教程，7步就能搞定--PHP后台怎么部署？谢谢
浏览 1337提问于2019-05-05
我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
1回答
如何较便宜的集成腾讯短视频？
人脸识别、短视频
我公司想做类似于快手的短视频分享平台。由于资金不足，不可能使用50w/年的人脸识别功能。
我想知道需要集成哪些代码，多少费用？
浏览 456提问于2017-12-13
2回答
这些记录从起始页往下埋了2-3层。所以基本上我让爬虫从某个页面开始，爬行直到它找到特定类型的记录，然后解析html。我想知道的是，有什么方法可以防止我的爬行器使站点过载？其次，与之相关的是，有没有一种使用Scrapy的方法可以在不对网站施加过多压力的情况下测试爬虫？我知道你可以在程序运行的时候杀死它，但是有没有办法让脚本在遇到像第一页这样的页面时停止呢？
浏览 0提问于2011-12-17得票数 6
回答已采纳
爬虫是一个爬行过程，分析网页的网站，我也指出它。因为这是循环的，如果我访问集线器上的页面，下次当爬虫进程加载时，它会尝试连接到core.pages表。中心正在运行:LaravelFramework8.77.1我从来没有在终端上运行任何命令来切换数据库。只刷新浏览器。两者都在运行8.1.2
只是要详细说明-这不仅限于这些项目，我有相当多，并在测试与另一个2-3，同样的事情发生。任何帮助解决我的问题将不胜感激，因为我经常是在2-3个项目在同一时间工作。
浏览 1提问于2022-03-22得票数 1
回答已采纳
我的问题是:在我的应用程序中，我应该担心尽快手动释放未使用的帧，还是应该在必要时依靠缓存进行自我清除？
让缓存增长直到收到内存警告是否有任何副作用(比如系统或其他正在运行的应用程序的整体性能问题)？
浏览 1提问于2012-08-31得票数 0
回答已采纳
0回答
hive的concatenate对小文件不起作用？
存储、hadoop、hive、大数据、腾讯
为了减少小文件，执行alter table test2 partition(dt='20240404') concatenate#阿里 #字节 #腾讯 #美团 #滴滴 #快手
浏览 136提问于2024-04-06
我正在考虑在web爬虫转储上训练10 TB+以上的大型数据的TB+。我需要使用分布式模型，还是需要在2-3天内使用哪种类型的硬件？我有8gb内存的iMac。
我看到word2vec实现不支持GPU培训。
浏览 1修改于2015-06-02得票数 20
回答已采纳
我尝试直接从Windows运行它，这次只用了2-3秒，这是我所期望的。
那么，当Delphi调试器连接到它时，为什么完全相同的EXE处理数字的速度要慢25倍以上呢？这并不像计算条件断点那样明显。似乎仅仅是调试器的存在就让它慢得像爬虫一样。有人知道为什么吗？
浏览 0提问于2010-03-16得票数 2
回答已采纳
7回答
小视频的发展前景以及未来发展方向?
通用视频解决方案
小视频这俩年的发展可谓是大火了一把，从“乡村东北”的快手到“遍布国外”的抖音，做小视频的企业可谓是赚得人仰马翻，但这类产品都抵挡不过“游戏生命周期”，我想知道，现在做小视频是否是在“游戏生命周期”内？
浏览 5102提问于2018-03-08
几周前，我需要一个爬虫来收集和整理数据，所以我开始学习python。同一天，我写了一个简单的爬虫，但代码看起来丑陋得要死。主要是因为我不知道如何做某些事情，也不知道如何正确地搜索它们。启动机器人大约需要2-3秒(如果这是正常的，我想我写得越多，启动它需要的时间就越长，这让我认为代码是垃圾)。它有时起作用，有时不起作用。 我的问题是 我怎么知道我写的是不是好东西？
浏览 47修改于2021-03-02得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号