- 综合排序
- 最热优先
- 最新优先
- 来自专栏有趣的Python和你
python爬虫之MQL5爬虫
今天中文社区有人要爬MQL5的网站，要和其做的图表一样，这里写上原图和我画的图，代码就不上了~ 以下是我的图片 成长.png 结余.png 净值.png 表格没有做，回归的直线没有做，继续加油!
51330发布于 2018-07-03 - 来自专栏Python大数据分析
推荐5个零代码的爬虫软件，非常容易上手！
但不管哪个库都需要写代码才能实现爬虫，涉及到http请求、html解析、正则处理等技术，对于很多人来说是不低的门槛。 下面推荐5个基本不需要代码的爬虫软件，零基础也可以实现数据采集。 八爪鱼爬虫 八爪鱼算是非常出名的数据采集软件了，很早就流传开来。它是一款无需任何代码，图形化操作非常方便的桌面端爬虫应用，你只需配置好URL，并简单的拖拽就可以实现批量数据采集。 后羿采集器 后羿采集器也是一款无代码的图形爬虫软件，只需要配置url相关信息便可以自动识别网页中的表格、列表、图片等内容，非常的傻瓜式。 你不需要安装额外的软件，即可在Chrome浏览器中进行爬虫。 这些爬虫软件非常强大，还能设置动态ip、处理js网页，不输Python，适合大部分数据采集需求。
3.1K10编辑于 2025-05-13 - 来自专栏Python数据科学
Python爬虫架构5模板 | 你真的会写爬虫吗？
为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。 2、基础爬虫的架构以及运行流程 首先，给大家来讲讲基础爬虫的架构到底是啥样子的？JAP君给大家画了张粗糙的图： ? 从图上可以看到，整个基础爬虫架构分为5大类：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。 下面给大家依次来介绍一下这5个大类的功能： 1. 5.数据存储器：就是将HTML下载器发送过来的数据存储到本地。 4、总结 我们这里简单的讲解了一下，爬虫架构的五个模板，无论是大型爬虫项目还是小型的爬虫项目都离不开这五个模板，希望大家能够照着这些代码写一遍，这样有利于大家的理解，大家以后写爬虫项目也要按照这种架构去写
2.4K41发布于 2019-05-10 - 来自专栏Python爬虫逆向教程
Python爬虫之文件存储#5
爬虫专栏：http://t.csdnimg.cn/WfCSx 文件存储形式多种多样，比如可以保存成 TXT 纯文本形式，也可以保存为 JSON 格式、CSV 格式等，本节就来了解一下文本文件的存储方式。 运行结果如下： json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 10003', 'Jordan', 21]]) 输出效果是相同的，内容如下： id,name,age 10001,Mike,20 10002,Bob,22 10003,Jordan,21 但是一般情况下，爬虫爬取的都是结构化数据
2.4K10编辑于 2024-02-10 - 来自专栏AI科技大本营的专栏
5行代码就能入门爬虫？
所以，我在写第一遍的时候，只用了5行代码，就成功抓取了全部所需的信息，当时的感觉就是很爽，觉得爬虫不过如此啊，自信心爆棚。 reportTime=2017-12-31&pageNum=%s' % (str(i)))[3] 5 tb.to_csv(r'1.csv', mode='a', encoding='utf_8_ sig', hea 3000+ 上市公司的信息，安安静静地躺在 Excel 中 ▌不断完善 有了上面的信心后，我开始继续完善代码，因为5行代码太单薄，功能也太简单，大致从以下几个方面进行了完善： 增加异常处理 经过以上这几点的完善，代码量从原先的5行增加到了下面的几十行： 1import requests 2import pandas as pd 3from bs4 import BeautifulSoup 4from lxml import etree 5import time 6import pymysql 7from sqlalchemy import create_engine 8from
66520发布于 2019-03-06 - 来自专栏爬虫逆向案例
012：tkinter+爬虫设计对联软件
今天用Python设计一个小的对联软件！ 其中运用到tkinter模块： tkinter是Python下面向tk的图形界面接口库，可以方便地进行图形界面设计和交互操作编程。 先看下我们的软件效果图： 首先，程序的界面设计还是利用tkinter来进行设计。 通过tkinter的Entry类来输入我们的上联，然后通过button按钮，来启动程序进行设计。 通过绑定的函数实现了爬虫的抓取和对联的保存。 row=1, column=0, sticky=W,pady=10) root.mainloop() 界面设计完成了，而且绑定的函数也已经确定，接下来就是如何利用绑定的函数，来实现我们的后续操作，也就是爬虫抓取和保存 Referer':'http://mduilian.388g.com/', 'Host':'mduilian.388g.com', 'Cookie':'PHPSESSID=llcj5u13als5fdqm3ps3pcbp47
1.3K10发布于 2021-11-22 - 来自专栏python全栈教程专栏
爬虫学习（5）：parse解析链接（网址）
s.netloc) print(s[1]) print(s[3]) 这样打印结果姐如下： 4.urlunsplit() 跟上面那个方法类似，这个就是再把各个部分组合成完整的链接，长度必须是5， ,'spm=1011.2124.3001.5359',' '] print(urlunsplit(data)) 根据前面打印拆分结果，我再给它复原了，运行结果如下，又得到csdn首页链接了 5. wd=%E5%B7%9D%E5%B7%9D' print(unquote(url)) 它就可以把被编码后的中文还原。 这个模块差不多就这些了，学习爬虫慢慢来，不要一蹴而就。
1K20发布于 2021-10-18 - 来自专栏Lan小站
Week5 情话网小爬虫
太久没写爬虫了，手生到连xpath怎么提取出来都忘记了，requests取回的数据编码都忘记怎么转换了 于是乎在百度上随便搜了一个情话网，来进行爬取。 ']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5'
55820编辑于 2022-07-13 - 来自专栏啄木鸟软件测试
软件性能测试（连载5）
这个值不应该超过5。 ØPage Faults。 处理器页面错误计数。这个值大说明操作系统向内存读取错误数据过多。 •Physical disk。 Ø%Disk Time。 表3-3 磁盘的I/O数的计算方法 RAID类型计算方法RAID0(Reads+Writes)/Number of DisksRAID1(Reads+2×Writes)/2RAID5(Reads+4× 5．网络 •Network interface。 Ø Bytestotal/sec。 该计数器和网络带宽相除得到的百分比，建议<50%。 •网络其他指标请参看参考SNMP。
1.3K10发布于 2020-02-19 - 来自专栏python3
python 爬虫 5i5j房屋信息 获
1 from lxml import etree 2 from selenium import webdriver 3 import pymysql 4 5 def Geturl(fullurl #链接url 10 zf_url_list = [] 11 for zf_url_lost in zf_list: 12 zf_url = 'https://bj.5i5j.com zp_info_need_2 27 connection = pymysql.connect(host='localhost', user='root', password='1234', db='5i5j try: 29 with connection.cursor() as cursor: 30 sql = "INSERT INTO `5i5j_info 39 for i in range(1,pags+1): 40 url = 'https://bj.5i5j.com/zufang/huilongguan/n{}/' 41
56010发布于 2020-01-19 - 来自专栏SDNLAB
软件定义存储必备的5个软件工具
软件定义存储（SDS）是实现这些功能的最有效和最经济的方式。通过软件定义，可以避免厂商锁定的缺陷，同时在各种硬件设备和平台上更轻松地部署数据存储和恢复计划。 ? 5 同步复制 大多数SDS方案将提供同步或异步复制，以便将数据复制到存储中。但是，当恢复点目标（RPO）需最低时，同步复制对主存储系统更具益处。
1.1K20发布于 2018-06-11 - 来自专栏python3
Python爬虫笔记5-JSON格式数
age':1000} print(json.dumps(data_list)) print(json.dumps(data_dict)) 运行结果： [1, 2, 3, 4] {"name": "\u5c0f
1.5K10发布于 2020-01-03 - 来自专栏机器学习算法与Python学习
Python：爬虫系列笔记(5) -- cookie的使用
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢？ 转载请注明：静觅 » Python爬虫入门六之Cookie的使用
1.8K90发布于 2018-04-04 - 来自专栏超级码力
🦀️ 后羿采集器——最良心的爬虫软件
后羿采集器就没有这个问题，它的付费点[5]主要是体现在 IP 池和采集加速等高级功能上，不但导出数据不花钱，还支持 Excel、CSV、TXT、HTML 多种导出格式，并且支持直接导出到数据库，对于普通的用户来说完全够用了 3.XPath/CSS/Regex 无论是什么爬虫软件，他们都是基于一定的规则去抓取数据的。XPath/CSS/Regex 就是几个常见的匹配规则。 定时抓取 定时抓取非常好理解，就是到了某个固定的时间爬虫软件就会自动抓取数据。市面上有一些比价软件，背后就是运行着非常多的定时爬虫，每隔几分钟爬一下价格信息，以达到价格监控的目的。 这时候爬虫软件就会自己维护一个 IP 池，用不同的 IP 发送请求，降低 IP 封锁的概率。 打码功能 这个功能就是内置了验证码识别器，可以实现机器打码 or 手动打码，也是绕过网站风控的一种方法。 type=post&pid=831 [5] 付费点: http://www.houyicaiji.com/?
7K21编辑于 2022-02-23 - 来自专栏嘘、小点声
python网络爬虫（5）BeautifulSoup的使用示范
不能表达的属性的解决方案 在html5中有些属性不被支持，查找时，通过定义字典实现输出 data_soup = BeautifulSoup('
foo!1.5K20发布于 2019-07-31来自专栏全栈程序员必看ccs5可以软件仿真吗(ccs软件仿真)
起因：我用的是C6748板子，在用CCS进行软件仿真和硬件仿真时，发现矩阵的计算结果不同。查看内存，发现软件仿真内存中没有初值，但连接上板子后debug时发现有的内存中存在数据。
1.2K10编辑于 2022-08-01来自专栏IT技术分享社区电脑软件：推荐5款实用的效率软件
今天小编大家推荐5款实用的效率神器，希望对大家能有所帮助！ 1、图片管理神器-Image Tuner 1000张图片怎么更改尺寸，添加水印等等一系列很多操作？用图片处理软件会累死。 傻瓜式的，也不需要那么强大而又复杂的 PS 等软件。 2、系统维护神器-Dism++ 高效免费电脑维护工具，全球第一款基于 CBS 的 Dism GUI 实现。 当然软件能让菜鸟秒变大神的技能是目前其余软件无法比拟的。 3、桌面效率神器-蜂窝桌面整理 蜂窝桌面整理是一个让人惊艳的电脑桌面整理软件；软件仅支持 Windows 版本。 4、键鼠模拟软件-按键精灵 按键精灵是一款键盘鼠标模拟软件。无论是网游练级还是日常办公，只要在电脑前用双手可以完成的动作，按键精灵都可以替您完成！ 用它可以轻松录制一个过程，并且保存下来。 5、书签管理神器-Toby for Chrome 它是一个特别好用的浏览器书签管理工具。使用它，你可以创建自己不同分类的书签。 比如说工作生活和其他其他方面，学习常用查资料的东西。
1.5K20发布于 2021-07-21来自专栏PDF转换docx5大学习软件推荐
疫情三年后的人们，除了被折磨三年以外还学会了使用各种的学习软件来上网课，或者每日打卡来数着日子，今天来给大家介绍一下各个软件后使用后的体验感如何。 该软件提供实时共享屏幕、支持在线文档协作。 为了满足用户日益增长的云上办公需求，腾讯会议也不断对重点功能和服务升级。 5.钉钉 钉钉（Ding Talk）是阿里巴巴集团打造的企业级智能移动办公平台，是数字经济时代的企业组织协同办公和应用开发平台，提供PC版，Web版，Mac版和手机版，支持手机和电脑间文件互传，也是很多学校师生上网课常用的软件 结语； 好了，今天就分享到这吧，这次给大家做完测试后，大家还希望看看哪个软件的测试，可以私信我，我来给大家详细讲解。
2.9K40编辑于 2022-12-30来自专栏changxin75.软件开发规范
软件的开发规范 什么是开发规范?为什么要有开发规范呢? 你现在包括之前写的一些程序，所谓的'项目'，都是在一个py文件下完成的，代码量撑死也就几百行，你认为没问题，挺好。 return flag choice_dict = { 1: login, 2: register, 3: article, 4: diary, 5: exit_program, } while flag: print(''' 欢迎来到博客园首页 1:请登录 2:请注册 3:文章页面 4:日记页面 5: 它需要说明以下几个事项: 软件定位，软件的基本功能。 运行代码的方法: 安装环境、启动命令等。 简要的使用说明。 代码目录结构说明，更详细点可以说明软件的基本原理。 常见问题说明。 在软件开发初期，由于开发过程中以上内容可能不明确或者发生变化，并不是一定要在一开始就将所有信息都补全。但是在项目完结的时候，是需要撰写这样的一个文档的。
1.4K30发布于 2019-09-10来自专栏友弟技术工作室go爬虫框架colly源码以及软件架构分析
安装使用 colly 官网 go get -u github.com/gocolly/colly/... import "github.com/gocolly/colly" 架构特点 了解爬虫的都知道一个爬虫请求的生命周期 )) } cc.Function(e) }) } } return nil } 5. = nil情况下调用比较多， 爬虫异常的情况下，会调用 // OnError registers a function. data-timespan=\"7d\"]", "data-percentusd"), }) }) 总结 好了，介绍完了，我没有介绍如何使用，我自己也没有写任何的代码， 我只想分享给你这种软件架构的特点以及设计模式 下面这张图很形象，爬虫框架就这些东西。 通用爬虫框架架构
2.4K40发布于 2019-05-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号