- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
网络爬虫必备知识之concurrent.futures库
/places/default/view/Afghanistan-1', 'http://example.webscraping.com/places/default/view /places/default/view/Afghanistan-1', 'http://example.webscraping.com/places/default/view /places/default/view/Afghanistan-1', 'http://example.webscraping.com/places/default/view 'http://example.webscraping.com/places/default/view/Algeria-4', 'http://example.webscraping.com 'http://example.webscraping.com/places/default/view/Algeria-4', 'http://example.webscraping.com
1.2K50编辑于 2021-12-31 - 来自专栏人生代码
python爬虫scrapy模拟登录demo
测试登录地址：http://example.webscraping.com/places/default/user/login 测试主页：http://example.webscraping.com/user Request class ExampleLoginSpider(scrapy.Spider): name = "login_" allowed_domains = ["example.webscraping.com "] start_urls = ['http://example.webscraping.com/user/profile'] login_url = 'http://example.webscraping.com callback=self.login) def login(self,response): formdata = { 'email':'liushuo@webscraping.com
1.7K20发布于 2019-07-24 - 来自专栏全栈程序员必看
Scrapy库安装和项目创建建议收藏
__init__.py 创建爬虫 使用genspider命令，传入爬虫模块名、域名以及可选模块参数 D:\scraptest>scrapy genspider country example.webscraping.com import scrapy class CountrySpider(scrapy.Spider): name = 'country' allowed_domains = ['example.webscraping.com '] start_urls = ['http://example.webscraping.com/'] def parse(self, response): pass import etree class CountrySpider(scrapy.Spider): name = 'country' allowed_domains = ['example.webscraping.com '] start_urls = ['http://example.webscraping.com/places/default/view/Afghanistan-1'] #该函数名不能改变
69520编辑于 2022-07-14 - 来自专栏sktj
python scrapy 模拟登录(最基础)
FormRequest class BasicloginSpider(scrapy.Spider): name = 'basiclogin' allowed_domains = ['example.webscraping.com = ['http://example.webscrping.com/'] def start_requests(self): return [Request("http://example.webscraping.com login",callback=self.login,meta={"cookiejar":1})] def login(self, response): data={"email":"liushuo@webscraping.com
63650编辑于 2022-01-10 - 来自专栏全栈程序员必看
网络爬虫之网站背景调研建议收藏
输入http://example.webscraping.com/robots.txt 我们会看到以下内容： section1：禁止用户代理为BadCrawler的爬虫爬取网站 section2 识别网站技术 import builtwith print(builtwith.parse("http://example.webscraping.com")) 5.
98120编辑于 2021-12-19 - 来自专栏py+selenium
【Download error：TOO MANY REQUESTS】&【TypeError：excepted string or buffer】
Traceback（most recent call last）: File "1.py"，line 52，in(module) link_crawler('http://example.webscraping.com href="xxx"> 这样的字符串 36 return webpage_regex.findall(html) 37 38 link_crawler('http://example.webscraping.com
75720发布于 2018-09-12 - 来自专栏全栈程序员必看
python究竟要不要使用多线程
/20100101 Firefox/63.0', 'Connection':'keep-alive', 'Host':'example.webscraping.com headers) return(response.status_code) if __name__ == '__main__': urllist = ['http://example.webscraping.com /places/default/view/Afghanistan-1', 'http://example.webscraping.com/places/default/view /Aland-Islands-2', 'http://example.webscraping.com/places/default/view/Albania-3', 'http://example.webscraping.com/places/default/view/Algeria-4', 'http://example.webscraping.com
1.1K20编辑于 2021-12-31 盘点市面上的电商数据采集软件与平台：评测与场景指南（2025版
作者：Devnullcoffee｜领域：WebScraping、电商数据工程｜云原生实践：对象存储、云函数、消息队列、数据仓库摘要：从“桌面软件、浏览器插件、云平台、专业API”四类方案出发，基于成功率 )成功率与稳定性｜2)反封与可持续性｜3)地域与语种精度｜4)结构化覆盖｜5)电商特定能力（榜单/赞助广告/地域）｜6)实时监控与自动化｜7)易用性与集成｜8)长期成本（TCO）方案类型与代表产品桌面软件 OxylabsScrapingBeeBrightData/ZyteAPI通用API良好优秀中（需验证广告与地域支持）良好中通用Web抓取、深度自定义OctoparseParseHubWebHarvy桌面软件中中中 电商数据采集#WebScraping#亚马逊#榜单监控#SponsoredAds#PangolinScrapeAPI#云原生#Serverless#对象存储#数据仓库#自动化监控#合规```
50310编辑于 2025-11-10- 来自专栏py+selenium
py+selenium 报错NameError: name 'NoSuchElementException' is not defined【已解决】
参考：https://stackoverflow.com/questions/19200497/python-selenium-webscraping-nosuchelementexception-not-recognized
2K20发布于 2018-09-12 - 来自专栏安富莱嵌入式技术分享
《安富莱嵌入式周报》第302期：芯片内部Flash读保护攻击，开源智能手表设计，超棒静电学手册中文版，65W USB电源适配器方案，历届Matlab挑战赛
ESP32 MPY-Jama，支持跨平台 https://github.com/jczic/ESP32-MPY-Jama 提供IDE，文件管理，实时仪表和高级功能 6、STM32C0的ThreadX软件包也要来了 看下面的框图介绍，STM32C0的ThreadX软件包也要来了 7、静电学手册中文版 https://www.armbbs.cn/forum.php? /requests.readthedocs.io/en/master/]https://requests.readthedocs.io/en/master/[/url] Scrapy ► webscraping [url=https://scrapy.org/]https://scrapy.org/[/url] BeautifulSoup ► parsing/webscraping [url=https
1K10编辑于 2023-02-23 - 来自专栏CDA数据分析师
如何使用python进行web抓取？
xurongzhong/python-chinese-library/downloads 源码地址：https：//bitbucket.org/wswp/code 演示站点：http：//example.webscraping.com 比如：http：//example.webscraping.com/robots.txt ? 更多关于web机器人的介绍参见 http：//www.robotstxt.org。
6.9K80发布于 2018-02-05 - 来自专栏全栈程序员必看
Scrapy组件之item
命令抓取 scrapy提供了shell命令对网页数据进行抓取 命令格式：scrapy shell web D:\Pystu\example>scrapy shell http://example.webscraping.com
1.2K20编辑于 2022-07-14 - 来自专栏仿真CAE与AI
仿真软件哪个好？ABAQUS软件、CST软件介绍
在现代科技与工业领域，仿真软件已成为工程师和设计师的标配工作平台，其价值渗透于工程设计、工业制造、教育科研等关键领域。 ABAQUS：ABAQUS是一款广泛应用于工程和科学领域的有限元分析软件，可用于模拟和分析结构等多种物理场景。 CST Studio Suite是一款用于电磁场仿真和优化的软件，适用于射频、微波、光学等领域的设计和分析。CATIA：CATIA是一款由法国达索系统公司开发的计算机辅助设计（CAD）软件。 它是一款强大的三维建模软件，被广泛应用于产品设计和建模、机械设计、航空航天、汽车工业等领域。 Simpack ：Simpack是一款专业级软件，用于机电系统运动学/动力学仿真分析。它是全球首款采用完全递归算法并利用相对坐标系来建立模型的多体动力学软件。
87000编辑于 2025-06-18 - 来自专栏谭广健的专栏
软件打包安装软件小记
最近开发了一个WinForm软件，为了更加高大尚尝试做了个打包安装的包装。 因为以前直接编译，然后交给用户使用，基本也是平平安安的；但后来这样体现不了成熟软件的高大尚，那好吧就弄个一键安装部署的。 这文章的重点来了，我这个WinForm软件自带比较强的后台服务属性，安装后需要进行服务注入和服务启动；所以如果简单的Next,Next,Finish,用户还要操作一大堆工作，那怎么办好呢？ 只好在安装时由安装软件进行自动后台安装。首先要面对的是根据安装的目前对Sqllite的数据库地址进行指引，就是说用户选择安装目录后，安装软件会自动修改软件的ini配置文件，指定相关地址，那怎么写呢？ 图片最后说一下吧，Setup Factory作为一个老牌的安装打包软件的确不错，它比较四平八稳，但就是没有太多花俏的功能。国产也有很多安装打包的软件功能也不错，但一些花俏的功能就收费了。
1.6K60编辑于 2022-11-26 - 来自专栏py+selenium
python爬虫笔记之re.match匹配，与search、findall区别
分析：可能是由于书编写时，http://example.webscraping.com/页面所带的链接都是：/index/1、/index/2……且输入匹配表达式为 【 /(index/view)
9.7K30发布于 2018-09-12 - 来自专栏超级架构师
「软件架构」软件架构概述
软件架构（architecture）是指软件系统的基本结构以及创建这种结构和系统的规程。每个结构都包含软件元素、它们之间的关系以及元素和关系的属性。[1]软件系统的架构是一个隐喻，类似于建筑物的架构。 [3] 软件架构（architecture）是指做出基本的结构选择，一旦实现，改变这些选择的代价是高昂的。软件架构（architecture）选择包括软件设计中可能出现的特定结构选项。 加州大学欧文软件研究所致力于软件架构研究，主要针对架构风格、架构描述语言和动态架构。 IEEE 1471-2000《软件密集型系统体系结构描述推荐规程》是软件体系结构领域的第一个正式标准。 软件架构知识通常是默认的，并保留在涉众的头脑中。软件架构知识管理活动是关于发现、交流和保留知识的活动。由于软件架构设计问题错综复杂且相互依存，设计推理中的知识缺口可能导致不正确的软件架构设计。 IEEE软件专门出版了一期专门讨论敏捷性和体系结构之间的交互的专刊[37]。 软件架构侵蚀 软件架构侵蚀（或称“衰退”）是指在软件系统的实现过程中，在软件系统的计划架构和实际架构之间观察到的差距。
1.9K11发布于 2020-07-20 - 来自专栏运维小路
Linux基础软件-软件安装
讲的那些东西都算是系统自带的，但是Linux作为一个服务器操作系统，肯定是要安装运行软件来满足我们的业务需要，本章基础软件部分，将从下面几个部分来讲解： Linux基础软件-软件安装(本章节) Linux 基础软件-yum(一) Linux基础软件-yum(二) Linux基础软件-ntp Linux基础软件-chrony Linux基础软件-dns(一） Linux基础软件-dns(二) Linux基础软件 -nfs Linux基础软件-lvm Linux基础软件-Selinux&库文件&swap 前面的操作都是基于默认自带的软件，而且我们讲过很多命令，默认最小安装的情况下，都是不自带的，都需要额外安装，那我们应该如何安装这些软件呢 一般卸载用的基本不用，因为它会卸载一些依赖软件，可能导致其他软件不能正常使用。 升级：输入yum update packagename，其中 packagename 是你想要升级的软件包的名称。 如果你想更新所有的软件包，只要输入 yum update即可。 无论是安装，升级，都必须是基于服务器仓库里面有这个软件才可以的，如果没有则无法安装或升级的。
4.1K00编辑于 2024-11-01 - 来自专栏达达前端
软件测试-开始软件测试
前言 大家好，我是 Vic，今天给大家带来开始软件测试的概述，希望你们喜欢 软件测试 软件测试的基本概念、方法、常用测试工具的使用 常用测试工具的使用 性能自动化测试工具：jmeter、loadrunner http://www.51testing.com/html/index.html 开始软件测试 测试一个软件 测试的目的 开发的过程 软件质量的保证 理解软件测试 软件测试的分类 测试的目的 1.测试的目的 ：在于发现错误（缺陷），保证整个软件开的质量，但软件的质量不能以软件测试为依据 2.成功的测试：是发现了未曾发现的软件错误（缺陷） 3.好的测试用例：是能有效地发现别的测试用例未发现的软件错误 开发的过程 在软件开发的过程中，我们要明确软件开发的目标以及软件的需求，进行制定各种软件开发过程中的计划，并进行编写文档测试，软件测试，进行有效地测试和修复，然后提交测试完成的软件。 生存周期 定义->计划->实现->稳定化->部署->运行与维护 软件质量的定义 软件质量的定义：满足用户的需求，满足软件测试的需求，保持合理的进度和成本 软件错误的定义 软件错误的定义：没有实现其最终的软件需求
3K62发布于 2019-07-03 - 来自专栏与技术
软件必备模块-软件设计
我想设计一个安卓，iOS或者Web应用的时候，开始做软件的步骤是什么，有个想法，做个需求分析，然后开始设计软件。这篇讲的是设计软件这一步。 当自己需要设计一个自己的软件的时候，自然需要这么一份图纸。 有其形无其实，有其实无其形 当时印象比较深，时常很纠结UML该用那个箭头，用圆的还是用方块。 UML其实从另一个方面告诉我们如何开始设计自己的软件。 物理图 Physical View:该视图关注软件构件在硬件上的top结构，以及构件之间的通信。典型的视图为部署视图(deployment diagram)
1.2K20发布于 2018-05-23 - 来自专栏令仔很忙
软件工程---软件需求分析
需求分析是软件定义时期的最后一个阶段，它的基本任务是准确回答“系统必须做什么？” ? 用思维导图对需求分析进行了简单的总结 ? 3、还有一点需要注意的是，在需求分析阶段结束之前，系统分析员应该写出软件 需求规格说明书，以书面形式准确的描述软件需求。
2.2K20发布于 2018-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号