- 综合排序
- 最热优先
- 最新优先
- 来自专栏极客慕白的成长之路
数据采集：如何自动化采集数据？
数据源适用于绝大部分的网页，网页中能看到的内容都可以通过采集规则进行抓取。 八爪鱼 八爪鱼也是知名的采集工具，它有两个版本，一个就是免费的采集模板，还有一个就是云采集（付费）。 免费的采集模板实际上就是内容采集规则，包括了电商类、生活服务类、社交媒体类和论坛类的网站都可以采集，用起来非常方便。当然你也可以自己来自定义任务。 那什么是云采集呢？ 就是当你配置好采集任务，就可以交给八爪鱼的云端进行采集。八爪鱼一共有5000台服务器，通过云端多节点并发采集，采集速度远远超过本地采集。此外还可以自动切换多个 IP，避免IP被封，影响采集。 做过工程项目的同学应该能体会到，云采集这个功能太方便了，很多时候自动切换IP以及云采集才是自动化采集的关键。 下一篇文章我会给你详细介绍八爪鱼的使用。 但是集搜客的缺点是没有云采集功能，所有爬虫都是在用户自己电脑上跑的。 如何使用日志采集工具 传感器采集基本上是基于特定的设备，将设备采集的信息进行收集即可，这里我们就不重点讲解了。
4.9K10发布于 2020-01-02 - 来自专栏测吧测试开发
iOS 测试 | iOS 自动化性能采集
今天小编跟大家分享一篇来自学院内部学员的技术分享，本文主要介绍了作者在进行 iOS 自动化性能采集的一些经验，希望对大家在进行 iOS 自动化测试时有一些启发。 所以需要借助一些自动化工具来减轻手工采集性能指标的工作量. 性能采集项 app中基本性能采集项,内存、cpu、fps、电量等,因为自动化采集中手机设备是插着电脑充电的,所以不能采集电量数据. 已有工具 instruments是官方提供的,不能做到自动化采集 腾讯gt,需要在app中集成sdk,有一定的接入成本 第三sdk,类似腾讯gt需要在app集成,可能会有数据泄漏风险 脚本开发 上述的已有工具都不满足 ,在持续集成中做到自动化采集性能数据,期望的性能测试工具有一下几点: 方便接入 可生成性能报告 可持续化 数据收集精准 所以基于这几点,需要自己开发一套性能采集脚本. 用Higcharts或者echarts绘制性能走势图 如何在持续集成中使用 monkey和UI自动化中使用,最终会发送一份性能报告.
2.8K31发布于 2020-07-15 - 来自专栏爬虫逆向案例
magical_spider 远程自动化采集框架
https://github.com/lixi5338619/magical_spider
89040编辑于 2022-08-22 使用 DrissionPage 实现网页内容自动化采集
使用 DrissionPage 实现网页内容自动化采集引言在当今数字化时代，网页内容的自动化采集和处理变得越来越重要。 本文将介绍如何使用 DrissionPage 这个强大的 Python 库来实现网页内容的自动化采集。 DrissionPage 简介DrissionPage 是一个基于 Chrome/Chromium 的自动化测试和网页操作工具，它提供了简单易用的 API，能够帮助我们快速实现网页自动化操作。 通过合理使用其提供的功能，我们可以轻松实现网页内容的采集和处理。在实际应用中，建议根据具体需求调整代码结构，添加必要的错误处理机制，以提高程序的健壮性。 参考资源DrissionPage 官方文档：http://drissionpage.cn/Python 文件操作文档Web 自动化最佳实践指南
1.1K10编辑于 2025-03-17- 来自专栏全栈开发工程师
使用 DrissionPage 实现网页内容自动化采集
使用 DrissionPage 实现网页内容自动化采集 引言 在当今数字化时代，网页内容的自动化采集和处理变得越来越重要。 本文将介绍如何使用 DrissionPage 这个强大的 Python 库来实现网页内容的自动化采集。 DrissionPage 简介 DrissionPage 是一个基于 Chrome/Chromium 的自动化测试和网页操作工具，它提供了简单易用的 API，能够帮助我们快速实现网页自动化操作。 标签页管理 支持多标签页操作 可以方便地关闭不需要的标签页 元素查找与操作 支持多种选择器（CSS、XPath等） 提供显式等待机制 简单的元素点击和内容提取 实战示例 以下是一个完整的网页内容采集示例 通过合理使用其提供的功能，我们可以轻松实现网页内容的采集和处理。在实际应用中，建议根据具体需求调整代码结构，添加必要的错误处理机制，以提高程序的健壮性。
89210编辑于 2025-03-18 - 来自专栏物联网智慧生活
远程测控终端 数据采集工控自动化
丰富的行业应用接口，可兼容采集多种工业传感器 计讯物联TG511远程测控终端支持各种串口数据采集，如流量、压力、电表、液位等数采集传感器。支持模拟量、开关量数据采集及继电器输出控制。 2.jpg 专业的接口设计 丰富的行业应用接口，可兼容采集多种前端传感器，适用于各种行业应用场景! 3.jpg 应用领域 适用于能源监控、供热管网、智慧燃气、智慧环保、智慧水利、智慧农业等工业级应用现场监测数据的采集、存储和传输。 7.jpg 集存储、采集、数据传输、远程控制于一体! 计讯物联TG511远程测控终端实现前端数据的采集、存储、显示、控制、报警及传输等综合功能。 提供16MB的数据存储空间，可存储10年以上的采集数据，海量空间，可在本机循环存储监测数据，掉电不丢失。同时支持TF卡存储，长期保存设定参数及历史数据!
91940发布于 2021-04-20 - 来自专栏爬虫0126
Python爬虫实战：自动化数据采集与分析
在大数据时代，数据采集与分析已经成为了许多行业的核心竞争力。Python作为一门广泛应用的编程语言，拥有丰富的爬虫库，使得我们能够轻松实现自动化数据采集与分析。 例如，计算各个产品的平均价格和评分： 通过本文的示例，我们了解了如何使用Python进行爬虫实战，实现自动化数据采集与分析。当然，实际应用中可能会遇到更复杂的情况，例如反爬虫策略、动态加载等。
47030编辑于 2023-08-29 - 来自专栏小徐学爬虫
自动化采集脚本与隧道防封设计
最近群里讨论问如何编写一个自动化采集脚本，要求使用隧道IP（代理IP池）来防止IP被封。这样的脚本通常用于爬虫或数据采集任务，其中目标网站可能会因为频繁的请求而封禁IP。对于这些我还是有些经验的。 2、自动化采集脚本需要能够处理请求失败的情况（比如IP失效、请求超时等），并自动切换代理重试。3、设置合理的请求间隔，避免过于频繁的请求。 要设计一个结合隧道IP实现防封的自动化采集脚本，需从IP管理、请求策略、异常处理等维度进行系统设计。 以下是完整解决方案：一、核心架构设计采集脚本隧道IP管理器代理IP池请求控制模块异常处理数据存储二、关键组件实现1. _simulate_human(random.choice(actions))分布式架构调度中心采集节点1采集节点2隧道集群1隧道集群2四、隧道服务推荐专业服务商Luminati（高端）Oxylabs（
36910编辑于 2025-06-03 - 来自专栏云原生生态圈
Ansible自动化采集数据并生成巡检报告
1Ansible自动化实现巡检 思路：通过使用Ansible Role的方式对Linux系统进行资源巡检，生成巡检报告后通过邮件发送给接收人。 5oss-check Roles采集的指标信息 Hostname Main IP OS Version CPU Used CPU LoadAvg Mem Used Swap Used Disk Size Used Disk Inode Used Tcp Connection Used Timestamp 6Oss-check Roles数据阈值的分组 采集出的数据，会通过设置好的阈值分为三个档次, OK 使用率 < 90, Critical评判条件: 使用率 >= 90 7定期执行扫描 集群节点扫描一般都是主动查看集群运行状态，主观判断的集群节点运行的状态，一般都会在节假日之前进行扫描一次，当然也可以通过自动化工具进行定期扫描
3.2K30编辑于 2022-04-08 - 来自专栏爬虫资料
使用 Puppeteer 绕过 Captcha：实现商家数据自动化采集
对于技术从业者，采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而，大众点评的控制机制（如 Captcha 验证）使自动化采集变得困难重重。 为应对这些挑战，本文将介绍如何使用 Puppeteer，通过代理 IP、用户伪装等技术，轻松绕过 Captcha，实现对商家信息的高效采集。技术实现1. 工具与技术概述Puppeteer：一个强大的无头浏览器自动化工具，支持模拟用户操作，轻松处理动态页面和复杂交互。代理 IP：通过隐藏真实 IP，规避访问限制，提升爬虫稳定性。 实例代码以下是完整实现代码，以采集大众点评商家信息为例，结合爬虫代理实现稳定的网络访问。 需要注意的是，数据采集必须遵循合法合规的原则，并尊重目标网站的使用政策。在实际应用中，可根据需求调整采集逻辑和伪装策略，将爬虫技术应用于更多业务场景中，为数据驱动的决策提供技术支持。
56110编辑于 2024-11-25 - 来自专栏爬虫资料
如何隐藏Selenium特征实现自动化网页采集
Selenium是一个流行的自动化网页测试工具，可以通过模拟用户在Chrome浏览器中的操作来完成网站的测试。 综上所述，隐藏Selenium特征是实现自动化网页测试的关键。通过以上三种方法，我们可以让浏览器看起来更像正常的用户，避免被网站检测到并拒绝访问。 综合上面的几种selenium特征隐藏方式，以采集大众点评的评论为案例，结合实际爬虫采集过程中需要使用的代理IP池，提供如下demo： from selenium import webdriver from
2.1K50编辑于 2023-04-17 - 来自专栏前端杂货铺
关于首屏时间采集自动化的解决方案
已经有太多的关于首屏时间的计算，在本文中并不重复阐述这些已经被提出或者实现的方案，而旨在探索与讨论更多的首屏自动化采集方案，扩大思考范围，你我思想之间互相碰撞往往可以激起更多的稀奇古怪的解决方案，这也正是 首屏计算 原则1 首屏计算模块不应该耦合业务线 一般而言，首屏计算作为一个抽离出的js脚本单独引用，这个模块尽量不暴露API给开发者使用，所有的采集端任务都由该模块完成。 实现 再次强调，由开发者打点首屏DOM渲染完毕进行首屏时间计算的方式是相对准确的方式，因此我们后续讨论的自动化计算首屏时间的准确性都是基于此标准进行对比说明，因为自动化计算肯定是没有人工干预准确的， Date.now(), imgsLoadedCount: imgsLoadedCount }; totalCounter += timeout; } watch dog采集 另外，对比这三种实现（开发者手动打点、轮训、watch dog采集），针对一个复杂的电商首屏做了性能测试，该页面首屏部分有7个非常复杂的子组件，得到如下结果： ? ? ? 结果也符合我们的预期。
3.1K80发布于 2018-03-15 - 来自专栏程序那些事儿
数据采集，从未如此简单：体验ParseHub的自动化魔法
API 支持：提供 REST API，允许开发者将 ParseHub 集成到自己的应用程序中，实现自动化的数据抓取和处理。 无论是对于需要快速获取数据的分析师，还是希望自动化数据收集过程的开发者，ParseHub 都能提供有效的解决方案。
3.7K10编辑于 2024-06-17 - 来自专栏测试游记
19.UI自动化测试框架搭建-性能数据采集
目的 统计运行APP自动化过程中设备的信息数据情况 方案 使用mobileperf来进行性能数据的采集 Android 性能稳定性测试工具 mobileperf 开源 (天猫精灵 Android 性能测试 -线下篇) 数据采集实现 将mobileperf中各个采集类放到代码中/src/utils/perf,对其中的配置读取部分进行适当的修改，适配当前框架中的配置读取 启动数据采集 编写一个session级别的
70830编辑于 2022-12-01 - 来自专栏国内互联网大数据
iCloud和Shortcuts，实现跨设备同步与自动化数据采集
在我们日常工作中，经常需要将数据从一个设备传输到另一个设备，并且希望能够自动化地进行数据采集。为了满足这一需求，苹果公司提供了两个强大的工具——iCloud和Shortcuts。 3.填入要采集的地址，然后设置保存文件路径和命名规则等相关参数（可选）。 4.最后，在Shortcut的设置页面勾选上iCloud Sync功能以确保跨设备同步！ 现在你已经准备就绪了！ 运行该Shortcut即可自动化地将指定网页数据进行采集，并通过iCloud实现跨设备同步。无论是从iPhone、iPad还是Mac电脑访问您所需信息都变得轻而易举!
97920编辑于 2023-09-04 自动化数据采集：Lua爬虫与JSON解析的深度整合
在互联网数据采集领域，自动化技术的应用日益广泛。Lua语言以其轻量级和灵活性，成为开发高效爬虫的理想选择。而JSON作为Web数据交换的标准格式，其解析技术在Lua爬虫开发中占据了核心地位。 本文将探讨如何将Lua爬虫与JSON解析深度整合，以实现自动化数据采集。爬虫技术概述爬虫是一种自动化程序，用于访问网页并提取所需信息。它可以模拟浏览器行为，获取网页内容，并从中解析出有价值的数据。 提高效率：自动化解析JSON数据可以显著提高数据采集的效率。Lua爬虫与JSON解析的深度整合技术选型Lua HTTP库：用于发送网络请求。 自动化数据采集的优势提高效率：自动化采集可以大幅减少人工干预，提高数据采集的速度。降低成本：减少人力投入，降低数据采集的成本。准确性：自动化处理减少了人为错误，提高了数据的准确性。 结论Lua爬虫与JSON解析的深度整合为自动化数据采集提供了强大的技术支持。通过本文的探讨和示例代码，我们可以看到，合理利用Lua语言和相关库，可以高效地实现自动化数据采集。
48510编辑于 2024-08-13- 来自专栏岛哥的质量效能笔记
【精准测试】iOS 代码覆盖率数据采集自动化实践
（最新最全版）》介绍了如何实现Android端的代码覆盖率接入，基于同样的背景我们也需要实现iOS端的代码覆盖率数据采集。 实践 这里我是基于XcodeCoverage这个工具实现的，目前这个工具只支持Objective-C的覆盖率数据采集，暂时不支持Swift。 提取.gcda文件 在手机上运行应用，然后执行手工测试或者自动化测试用例，完成后退出应用 .gcda文件就会自动生成到我们应用的沙盒中，那么接下来就是怎么提取这个文件了，有两种方式： 1、手动提取，
1.6K10发布于 2021-10-08 - 来自专栏工程监测
VS-BOX型无线自动化采集站振弦温度传感多通道无线采集仪工程监测
VS-Box振弦温度传感多接口无线采集仪.jpg VS-Box是以振弦、温度传感信号为主的多通道无线采集仪，并可扩展其它模拟（电流、电压、电阻）信号和数字信号（RS485、RS232）传感器通道， 最多可实现32通道的全自动采集存储和无线发送，支持内部及外部U盘数据存储；1路程控电源输出可为其它传感器供电；RS232/RS485数据接口，工业MODBUS或AABB简单通讯协议可直接接入已有测控系统 VS-Box振弦温度传感多通道无线采集仪安装图.png 主要特性 外形尺寸：340mmx235mmx77mm 外壳材质：铸铝 防护等级：IP66 供电：DC10~24V宽电压@3A（内置蓄电池+充电管理器 频率采集范围400Hz—5000Hz，精度0.1Hz。 2k、3k热电偶温度采集，精度0.5℃。 通道选择使用汇科继电器，具有无火花、寿命长、环保的优点。 16个振弦传感器连接通道，以及8个温度采集通道。 基于GSM/GPRS移动网络的无线数据传输。 多数据中心及本地数据存储，数据安全可靠。 应用领域 地质灾害监测，土木工程监测，自动化监测。
49120编辑于 2022-05-19 - 来自专栏州的先生
来聊聊桌面图形界面的自动化和采集
对于这些桌面客户端软件，其实我们也会有自动化操作和数据采集的需求。 如何使用 Python 来对桌面客户端进行呢？州的先生结合实际的使用经验，介绍两个库供大家参考使用。 PyWinAuto 是一组用于自动化Microsoft Windows GUI的python模块，所以 PyWinAuto 只能用于 Windows 环境下的桌面客户端程序。 最后 上述两个库最主要的应用场景在于自动化操作，对数据采集的功能很弱。 如果客户端提供了报表下载或导出功能，则可以先用这两个库自动化把文件导出到本地，再用另外的 Python 代码对文件数据进行读取、解析和存储。 关于桌面客户端程序的自动化，你还有什么心得和经验？欢迎留言讨论！
2.9K20发布于 2021-07-20 - 来自专栏爬虫资料
GraphQL接口采集：自动化发现和提取隐藏数据字段
本文将围绕 GraphQL接口采集 展开，重点介绍如何自动化发现和提取隐藏数据字段，使用 requests + Session 来构造 GraphQL 请求，配合爬虫代理、Cookie 和 User-Agent 的最佳实践步骤和示例代码 原因解释：解析 GraphQL 抓取相比传统抓取的优势 陷阱提示：讲解可能遇到的反爬与限流陷阱 模板推荐：提供可复用的代码模板，方便中高级用户快速上手通过本文，你将掌握从调试网络请求到高效采集隐藏字段的全流程技巧
40110编辑于 2025-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号