腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
搜索
关闭
文章
问答
(9999+)
视频
开发者手册
清单
用户
专栏
沙龙
全部问答
原创问答
Stack Exchange问答
更多筛选
回答情况:
全部
有回答
回答已采纳
提问时间:
不限
一周内
一月内
三月内
一年内
问题标签:
未找到与 相关的标签
筛选
重置
4
回答
从列表中创建二进制嵌套方形数据集
从这样的列表开始:我要去找这个混蛋: "1-5": {"1-5": 1, "1-6":1, "2-5":0, "
浏览 7
提问于2021-01-19
得票数 2
回答已采纳
4
回答
如何从
Python
中的list生成所有可能的排列对?
如何从
Python
中的列表中生成所有可能的对排列?input = [3, 8, 2] output = ['
3-8
', '3-2', '8-3', '8-2', '2-3', '2-8']
浏览 0
修改于2017-12-07
得票数 2
回答已采纳
1
回答
带grep的Bash正则表达式否定问题
对于模式为file_20170321EXPR.tar.gz的文件目录中带有"EXPR“的文件 12.[
3-8
]x 23.[
3-8
]xls | grep -E "*[1|2][2|3|4]\.[
3-8
]x\.tar.\gz$"13.[
3-8
]x24.[
3-8
]x ls | grep -E
浏览 1
修改于2017-03-23
得票数 1
回答已采纳
2
回答
小数类型在Haskell。
我得到的结果如下:8/(
3-8
/3)/=241%3+3%3 == 4 % 3我查过球拍了:#t 在Haskell中确保8/(
3-8
/3) == 24的正确方法是什么?
浏览 0
修改于2019-02-14
得票数 5
回答已采纳
3
回答
Ubuntu上的AC600 wifi 5 5ghz dongle或Realtek半导体公司802.11ac网卡
8: new high-speed USB device number 64 using xhci_hcd[158314.388266] usb
3-8
: New USB device strings: Mfr=1, Product=2, SerialNumber=0[1583
浏览 0
修改于2020-12-22
得票数 1
1
回答
在使用grep选择某些变量时,在数据帧中记录/重命名数据
data[,grep('(test[
3-8
]+$)',names(data)),]data[,grep('(test[
3-8
]+$)',names(data)),][ data[,grep('(test[
3-8
]+$)
浏览 2
修改于2020-08-14
得票数 1
回答已采纳
3
回答
将数据从PHP脚本传递到
Python
Web Crawler
我有一个
python
爬虫
,每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面,并显示
爬虫
获得的数据。我将使用php/html作为接口。无论如何,用户界面需要某种类型的按钮来触发
爬虫
程序立即抓取特定的网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从php脚本发送到正在运行的
python
脚本?然后我在考虑使用一个共享文件,php在其中写入数据,
python
从中读取数据。但是,我需要一些方法来让
python
脚本知道,新数
浏览 1
提问于2011-03-31
得票数 1
1
回答
如果我为我的
python
脚本做了一个简单的gui,它会影响它的效率吗?
嗨,我想做一个网页
爬虫
,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络
爬虫
效率降低吗? 我需要
爬虫
尽可能高效,能够尽可能快地处理数据。为这个
Python
脚本制作一个gui,会不会妨碍web
爬虫
的性能?
浏览 3
修改于2015-01-27
得票数 0
回答已采纳
1
回答
python
3写excel有异常UnicodeEncodeError
我用
python
3模块xlsxwriter写了一个excel文件,我想给这个文件取一个包含中文单词的名字。然而,它给了我一个例外,UnicodeEncodeError:‘拉丁语-1’编解码器不能在
3-8
位置编码字符:序数不在范围(256)中。 我想知道怎么处理。
浏览 0
修改于2018-12-27
得票数 0
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
我用
Python
2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持
Python
3,这种转换必须在1 go内完成。我只能在
Python
3
爬虫
做好部署准备之后才能开始使用。现在,由于“所有操作都必须保持活动状态”,我需要一个单独的
Python
3
爬虫
的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支,所以整个存储库现在有两个分支: Master(Remote-A)和
Python
3
爬虫
(Remote-B),后者是主分支的一个
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
1
回答
我怎么能强制停止我的
爬虫
得到一个特定的网址抓取最后一次?
我正在制作一个
爬虫
来找出最近添加的youtube视频,当我的
爬虫
到达旧视频(在前一个转弯中爬行)时,我想停止
爬虫
。我使用的不是scrapy和漂亮的汤,我使用的是
python
库。请给我推荐任何选项
浏览 9
提问于2017-06-27
得票数 0
1
回答
在ubuntu的后台运行时,
爬虫
停止。
我使用具有无限循环的
python
制作了一个简单的
爬虫
,所以它不能停止。随机延迟17 ~ 30,这个
爬虫
爬行相同的一个页面,并找到'href‘链接,定期更新,并存储到Mysql。因为我使用了Linux命令这个
爬虫
是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但
爬虫
突然停止了。第二天我再试一次。
浏览 1
修改于2014-05-20
得票数 0
回答已采纳
1
回答
如何提取我的
爬虫
目前所站的网址?
我正在使用
python
中的scrapy框架制作一个web
爬虫
。其主要思想是,
爬虫
从页面中提取一些数据,如果数据符合某些条件,
爬虫
应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL?
浏览 5
提问于2016-11-27
得票数 0
回答已采纳
1
回答
分布在不同地理位置的
爬虫
我需要创建一个
爬虫
与客户端在每个台式机和一个中央服务器,其中的数据是索引。有没有可能在Nutch中创建这样的
爬虫
?还有没有别的选择。基于
Python
的
爬虫
会更好。
浏览 2
提问于2011-07-04
得票数 0
回答已采纳
1
回答
Web Crawler的常用输出格式
爬虫
的常见输出格式是什么?它会是XML,JSON吗?或者它会根据
爬虫
的不同而不同,例如:
Python
,Java?
浏览 0
提问于2012-08-20
得票数 0
回答已采纳
2
回答
网络
爬虫
-忽略Robots.txt文件?
一些服务器具有robots.txt文件,以阻止web
爬虫
在其网站中爬行。有没有办法让网络
爬虫
忽略robots.txt文件?我正在为
python
使用Mechanize。
浏览 1
提问于2011-12-05
得票数 14
回答已采纳
2
回答
对于蟒蛇
爬虫
,我应该使用无限循环还是cron作业?
我用
python
编写了一个
爬虫
,它可以访问60多个网站,解析HTML,并将数据保存到数据库。哪一个更有效率?无限循环还是cron作业?
浏览 7
提问于2021-05-14
得票数 0
1
回答
将我的
Python
电子邮件爬行器转换为Web应用程序的框架
在
Python
方面经历了几年之后,我才知道它在web开发中的应用。我在
Python
中制作了一个电子邮件
爬虫
程序(基本上是一个使用其他几个功能的函数),它帮助我在generate实习的公司。我的老板问我是否可以让我的
python
电子邮件
爬虫
进入一个网络应用程序,这样其他员工就可以通过我来抓取电子邮件,这样我就可以在更重要的事情上工作。是否有一些web应用程序框架可以用来将我的
python
电子邮件
爬虫
程序转换成一个简单的公司专用web应用程序?制作网络应用程序所需的时间范围
浏览 5
提问于2015-07-08
得票数 0
回答已采纳
2
回答
如何将新的URL传递给Scrapy Crawler
我想让一个抓取
爬虫
在芹菜任务工人内部不断运行,可能使用。或者,正如所建议的,这个想法是使用
爬虫
程序来查询返回XML响应的外部API。一旦
爬虫
程序开始运行,我如何将我想要获取的这个新URL传递给
爬虫
程序。我不想在每次想要给
爬虫
一个新的URL时都重新启动
爬虫
,而是希望
爬虫
无所事事地等待URL爬行。我发现的在另一个
python
进程中运行scrapy的两个方法使用一个新进程来运行
爬虫
程序。我不希望每次我想要抓取一个URL时,都必须派生和拆卸一
浏览 0
修改于2017-05-23
得票数 2
5
回答
Python
中的多线程
爬虫
真的可以提高速度吗?
我想用
python
写一个小的网络
爬虫
。我开始研究将其编写为多线程脚本,一个线程下载池和一个池处理结果。由于有了GIL,它真的可以同时下载吗?GIL对网络
爬虫
有什么影响?基本上我想问的是,用
python
做一个多线程
爬虫
真的比单线程能给我带来更多的性能吗? 谢谢!
浏览 4
提问于2010-05-14
得票数 10
回答已采纳
第 2 页
第 3 页
第 4 页
第 5 页
第 6 页
第 7 页
第 8 页
第 9 页
第 10 页
第 11 页
点击加载更多
领券