- 综合排序
- 最热优先
- 最新优先
- 来自专栏分布式爬虫
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
设置爬虫获取到的信息容器类，必须继承scrapy.Item类 scrapy.Field()方法，定义变量用scrapy.Field()方法接收爬虫指定字段的信息 # -*- coding: utf-8 ，就相当于是容器文件 class AdcItem(scrapy.Item): #设置爬虫获取到的信息容器类 # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() #接收爬虫获取到的title信息 link = scrapy.Field () #接收爬虫获取到的连接信息 comment = scrapy.Field() #接收爬虫获取到的商品评论数 第二步、编写pach.py爬虫文件 定义爬虫类，必须继承scrapy.Spider name设置爬虫名称 allowed_domains设置爬取域名 start_urls设置爬取网址 parse(response)爬虫回调函数，接收response，response里是获取到的html
66000发布于 2019-07-06 - 来自专栏python3
Python3网络爬虫实战-11、爬虫框
ScrapyRedis的安装 ScrapyRedis 是 Scrapy 分布式的扩展模块，有了它我们可以方便地实现 Scrapy 分布式爬虫的搭建，本节来介绍一下 ScrapyRedis 的安装方式。
86200发布于 2020-01-03 - 来自专栏啄木鸟软件测试
软件性能测试（连载11）
索引节点（inode）是持久化存储到磁盘中的，而目录项（dentry）是由内核维护（目录项缓存）的。
71020发布于 2020-03-04 - 来自专栏python3
Python爬虫11-XML与XPath
GitHub代码练习地址：用lxml解析HTML,文件读取,etree和XPath的配合使用：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac17_xpath%26lxml.py XML - XML(EXtensibleMarkupLanguage) - 官方文档http://www.w3school.com.cn/xml/index.asp - 概念：父节点，子节点，先辈节点，兄弟节点，后代节点 XPath - XPat
80830发布于 2020-01-16 - 来自专栏tendcode
双11当晚写的天猫爬虫，爬虫神器 scrapy 大法好！！！
爬虫思路 前几天我刚写了一个文章是关于安装 scrapy 的，正好装好了，于是就选择了强大的 scrapy 爬虫框架作为爬虫的工具。 确定方向 首先，在写爬虫之前，需求先确定一下爬虫的方向，也就是回答几个问题： 需要爬取什么信息？ 信息的来源是哪里？ 有没有其他来源？有的话，选择最简单的那个。 怎么爬？信息怎么存储？ ，而经过对比发现手机天猫提取信息的接口比较方便，所以选择手机天猫的接口 使用爬虫框架 scrapy，信息存放到表格中，使用 CSV 的表格即可 接口分析 写爬虫其实本质就是请求接口，所以爬虫的第一步就是找到接口并分析接口的构成 ，可以根据需要定义一些参数 spiders 目录是用来放爬虫文件的 tm_spiders.py 是自己创建的爬虫文件 scrapy.cfg 是项目的配置文件 爬虫代码展示 其实整个的爬虫爬取信息的过程都在自己定义的爬虫文件中 # -*- coding:utf-8 -*- # date:2018-11-12 import os class FileTree(object): def __init__(self, words
5.2K20编辑于 2022-09-26 - 来自专栏IT技术分享社区
电脑软件：11 款 Windows 实用办公软件，值得收藏！
今天小编给大家分享11个 Windows 超级实用办公软件，每一款都值得试一试！ 1、Pixso 支持多人协同的在线矢量设计软件 Pixso算是一款入门简单、大多数工种都能快速使用的「实用性在线设计软件」。 所有设计稿均保存在云端，再也不需要随身携带移动硬盘或者上传网盘了。 如果是运营岗位，平时很大可能会有简易作图的需求，如果需要一些手绘元素，可以借助该款软件。 3、Utools 插件神器 一个极简、插件化、跨平台的现代桌面软件。 软件和网页搜索也很好用，尤其是搜索软件，只需要输入搜索框输入汉字或者拼音缩写，比如需要搜索打开网易云、微信等软件时，直接输入wyy、wx，就可以快速找到软件。 11、ScreenToGif GIF录制编辑 一款免费开源的GIF录制软件。
3.8K30发布于 2021-10-08 - 来自专栏爬虫逆向案例
012：tkinter+爬虫设计对联软件
今天用Python设计一个小的对联软件！ 其中运用到tkinter模块： tkinter是Python下面向tk的图形界面接口库，可以方便地进行图形界面设计和交互操作编程。 先看下我们的软件效果图： 首先，程序的界面设计还是利用tkinter来进行设计。 通过tkinter的Entry类来输入我们的上联，然后通过button按钮，来启动程序进行设计。 通过绑定的函数实现了爬虫的抓取和对联的保存。 row=1, column=0, sticky=W,pady=10) root.mainloop() 界面设计完成了，而且绑定的函数也已经确定，接下来就是如何利用绑定的函数，来实现我们的后续操作，也就是爬虫抓取和保存
1.3K10发布于 2021-11-22 - 来自专栏初见Linux
爬虫小白:11.scrapy框架(六) _媒体管道
: # name = scrapy.Field() image_urls = scrapy.Field() #只要使用媒体管道，这个字段是固定设置的 2、spider.py文件：编写爬虫文件
1.2K20发布于 2020-08-05 - 来自专栏码农帮派
Python基础学习_11_网页爬虫学习总结
一.关于爬虫的一些零散知识 １．Robots协议 大多数网站的主页下会有robots.txt文件，标识了爬虫爬取该网站信息时，哪些资源是有限制的，可以使用Python的标准库robotparser （２－１）ID遍历爬虫 很多网站由于数据挺多，会采用page切换的方式展现数据，类似于： http://www......../page=1 http://www........ （２－２）链接爬虫 “百度百科”中爬取词条的时候，在每个词条网页中会包含相关的词条，我们可以使用爬虫对当前网页中其他词条信息进行抓取，这样就可以爬取得到大量的词条信息，但是我们会发现，爬取到的词条的url （２－４）下载限速 有些网站访问对访问速度进行了限制，为了不让爬虫被禁止，需要对爬虫下载网页的速度进行一定的限制： ?
71930发布于 2020-04-01 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 生成爬虫可以不加模板，不加模板的话就不会出现rules,需要自己写 起始url不写在项目中，写在redis数据库中 索引页要follow,国家内容不follow,但是有callback from scrapy_redis.spiders import RedisCrawlSpider 引入需要的模块，爬虫模块继承的类需要改成RedisCrawlSpider 如果出现填一个url才能爬取一个url 如果不指定的话默认就是相对路径的当前的目录下： 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11 utf8') as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11
52920发布于 2019-02-25 - 来自专栏FunTester
11年软件测试，求职经验分享
软件测试领域 11 年，目前在一家企业担任测试主管，在这 11 年期间我总共经历了 4 份工作，这篇文章我依据整个求职过程从下面几点展开： 一、求职状态和心情 一）第一次求职 二）第二次求职 三）第三次求职 那时学长建议我投软件测试岗位，他和我说女生做事仔细又有耐心，而且咱又是计算机相关专业，岗位上来说也比较匹配。 4、刷一刷题库 一般面试软件测试工程师都需要考算法题和逻辑题，可以在力扣或牛客网把意向公司的历年题库找出来刷一刷，这样能大大提升面试通过率。 二）体会 回顾这11年的4份工作经历，尤其是对前面3份工作中的表现不够满意，我觉得自己总是100分只做到了70分，没有拼尽全力地去工作，没有把工作当成一份事业来做。 接口功能测试专题 性能测试专题 Groovy专题 Java、Groovy、Go、Python 单测&白盒 FunTester社群风采 测试理论鸡汤 FunTester视频专题 案例分享：方案、BUG、爬虫
43630编辑于 2023-08-04 - 来自专栏啄木鸟软件测试
软件安全性测试（连载11）
insert into dbo.usersvalues('jerry','123456','xianggu625@126.com')
2.2K20发布于 2020-02-10 《软件工程》第 11 章 - 结构化软件开发
结构化软件开发是一种传统且经典的软件开发方法，它强调将软件系统分解为多个独立的模块，通过数据流和控制流来描述系统的行为。 11.2 面向数据流的设计过程 11.2.1 基本概念和设计过程 面向数据流的设计方法将数据流图转换为软件的模块结构，主要步骤包括： 确定数据流图的类型（变换型或事务型）。 映射数据流图到软件结构。 定义模块接口和控制关系。 优化软件结构。 11.2.2 变换分析 变换分析适用于具有明显输入、变换和输出三个部分的数据流图。 InterruptedException e) { e.printStackTrace(); } system.shutdown(); } } 本章全面介绍了结构化软件开发的核心内容 结构化软件开发方法虽然传统，但在许多领域仍然具有重要的应用价值。如果对某个知识点有疑问，或希望补充更多案例，欢迎随时交流！
22310编辑于 2026-01-21- 来自专栏python全栈教程专栏
爬虫学习（11）：爬取虎牙美女直播高清照片
response.content) print("下载成功" + name) time.sleep(2) 我最近才学到xpath吧，所以就用的xpath，前面我已经用过正则做过类似的爬取了，其实发现爬虫真的不难
1K20发布于 2021-10-18 - 来自专栏Linyb极客之路
软件开发管理的 11 条真理
软件项目的开发管理是一门不精确的科学，这不是什么秘密。以下是我这些年来学到的 11 条真理，它们帮助我理解了，要管理软件开发项目这个奇怪的世界，我们的能力是多么的有限。 最后，他们坐下来，写下 11 行代码，并将用户故事标记为完成。 他们符合你的“屁股时间”标准吗？不符合。他们是否为一个非常困难的问题想出了一个巧妙的解决方案？是的。 屁股时间证明不了什么。 这本书里面充满了管理软件项目和软件开发人员的智慧。它是永恒的经典之作。 快快找来读一读吧！ 11质量是一种认知，而不是缺陷数量 这一点真的让人很难接受。 接受这 11 条真理将有助于解决这一问题。 作者：Nick Hodges 来源https://medium.com/better-programming/11-things-ive-learned-about-software-development-management
60230编辑于 2022-01-07 - 来自专栏黑白天安全团队
11.反恶意软件扫描接口 (AMSI)
Windows 反恶意软件扫描接口 (AMSI) 是一种通用接口标准，可以集成在应用程序和服务与机器上存在的任何反恶意软件产品中。可以增强杀毒软件的查杀能力。 在执行之前， 防病毒软件使用以下两个 API 来扫描缓冲区和字符串以查找恶意软件的迹象。 任何应用程序都可以调用它；任何注册的反恶意软件引擎都可以处理提交给它的内容。 5.amsi从循环缓冲区取出内容传递给杀毒软件。 6.杀毒软件拿到数据后判断宏是否为恶意的。 6.如果行为是无恶意的,那么宏可以执行。否则,关闭宏会话并发出响应警报和处理恶意文件。 amsi是所有杀毒软件都可以调用吗？并不是！ amsi是在Windows 10 和 windows service之后才有的，然后并不是所有的杀毒软件都可以调用amsi接口。国内的基本不可以哈哈哈。
6.6K20发布于 2021-07-19 - 来自专栏rainbowzhou的成长足迹
11年软件测试经历，求职经验分享
大家好，我是阿常，从事软件测试领域 11 年，目前在一家企业担任测试主管，在这 11 年期间我总共经历了 4 份工作，但有些遗憾的是，我居然连一次关于求职过程的复盘总结都没有写过。 那时学长建议我投软件测试岗位，他和我说女生做事仔细又有耐心，而且咱又是计算机相关专业，岗位上来说也比较匹配。 外包公司虽说不好，但也有可圈可点的地方： 1、外包公司的流程体系成熟，在这里掌握了比较扎实的软件测试基础知识； 2、外包公司接的项目多并且经常加班，在这里一年工作经验要顶别人三年。 4、刷一刷题库 一般面试软件测试工程师都需要考算法题和逻辑题，可以在力扣或牛客网把意向公司的历年题库找出来刷一刷，这样能大大提升面试通过率。 二）体会 回顾这11年的4份工作经历，阿常尤其是对前面3份工作中的表现不够满意，阿常觉得自己总是100分只做到了70分，没有拼尽全力地去工作，没有把工作当成一份事业来做。
55920编辑于 2023-05-11 - 来自专栏啄木鸟软件测试
带着ChatGPT玩转软件开发-连载11
顾老师新作“带着ChatGPT玩转软件开发”将于今年底明年初出版 1.4 ChatGPT将用户故事进行任务分配 本节使用ChatGPT将冲刺阶段4中的用户故事生成任务，并且估算工作量。 唯一不变的是变化，知识发生了变化，人工智能软件能否及时跟进变化，可能阻碍人工智能的使用。
21510编辑于 2025-12-20 - 来自专栏超级码力
🦀️ 后羿采集器——最良心的爬虫软件
大家可以参考学习： 如何设置数据筛选[10]讲解了基础的数据清洗功能，可以避免采集过程中的无效采集（例如采集某个微博博主的数据时，可以过滤第一条置顶微博的数据，只采集正常时间流的微博） 如何设置采集范围[11 3.XPath/CSS/Regex 无论是什么爬虫软件，他们都是基于一定的规则去抓取数据的。XPath/CSS/Regex 就是几个常见的匹配规则。 定时抓取 定时抓取非常好理解，就是到了某个固定的时间爬虫软件就会自动抓取数据。市面上有一些比价软件，背后就是运行着非常多的定时爬虫，每隔几分钟爬一下价格信息，以达到价格监控的目的。 这时候爬虫软件就会自己维护一个 IP 池，用不同的 IP 发送请求，降低 IP 封锁的概率。 打码功能 这个功能就是内置了验证码识别器，可以实现机器打码 or 手动打码，也是绕过网站风控的一种方法。 type=post&pid=4157 [11] 如何设置采集范围: http://www.houyicaiji.com/?
7K21编辑于 2022-02-23 - 来自专栏武军超python专栏
11月7日python爬虫框架Scrapy基础知识
在F12的Network中抓包，使用json字符串 运行爬虫需要安装win23 ： pip install pypiwin32 爬虫名文件中的回调函数可以自定义 items文件中可以自定义items 创建爬虫项目和创建爬虫的命令如下： 以下命令中的<>在实际使用的时候不要带上 1.Scrapy创建爬虫项目的命令是： scrapy startproject <projectname> 2. Scrapy创建爬虫的命令是,在项目名称下执行：(最后那个是内置的crawl模板) scrapy genspider <爬虫名称> <目标域名> --template=crawl 3. 爬虫项目的运行命令是： win需要下载pywin32 pip install pypiwin32 scrapy crawl <爬虫名称> 创建完爬虫项目后会自动生成一个spider的文件夹，这个文件夹是用于存放爬虫的 爬虫项目可以记录停止节点，方便下次继续爬取，方法是在开始运行项目的后边加一个属性JOBDIR scrapy crawl <爬虫名称> -s LOG_LEVEL=INFO -s JOBDIR=craws
59220发布于 2019-02-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号