- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 采集策略的核心就在于规则库Rule。 会调用分析函数ParsePage去处理上次获得的页面内容； 5,先到Rule中取所有FromTypeID为当前网址TypeID； 6,如果没有取到任何规则Rule，则将本页内容写入到CjPage中； 7, 采集器工作时，如果采集的是详细页的内容，将会直接写入到CjPage中，因为没有FromTypeID=2的规则；而采集的是列表页的内容时，就要做两件事了，因为有两条FromTypeID=1的规则，一件事是识别当前列表页中所有文章的链接并存入 由于规则具有递归性，使得采集器能递归采集到所有的文章。
1.1K80发布于 2018-01-15 - 来自专栏工业4.0
智能工厂数据采集方案
，实现产品生命周期和备品备件管理，提升制造工厂的智能化程度，降低运行维护成本， 促进企业产业升级。 image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。 实现客户对产品的智能化使用、智能化管控。提高 了工作效率，降低了非智能设备使用过程中的操作风险和成本风险。
1.3K30编辑于 2022-03-03 - 来自专栏物联网wtblnet.com
S7-200 SMART采集网关
S7-200 SMART智能CPU模块直接供给三轴100kHz高速脉冲输出，S7-200智能CPU模块经过强大灵活的设置导游直接供给三轴100kHz高速脉冲输出。 2019120210.jpg S7-200 SMART采集网关: 一、进入物通博联的MQTT网关的WEB界面，依据网关表树立MQTT网关信息（主要是填入MQTT网关序列号） 二、装备收集西门子smart200 设备具有相同的变量表），增加设备信息（界说相关的MQTT网关，界说相关的收集西门子smart200数据变量模板，界说通信参数和收集周期等），部署设备和变量信息到MQTT网关 1477559252.jpg S7- 200智能CPU供给三种开环运动操控方法： •脉冲串输出（动力输出）：内置于CPU中的速度和方位操控。 脉宽调制和运动操控导游设置 为了简化应用程序中方位操控功用的运用，步骤7-micro/winsmart供给的方位操控导游能够协助您在几分钟内完成PWM和PTO的装备。
1K30发布于 2019-12-02 - 来自专栏科控自动化
地热数据采集项目7 配置记录
[C#] 地热数据采集项目6 提供规范化接口文档 1.安装 .Net6 Ubuntu18.04 二进制文件方式安装.net6.09,并建立快捷方 tar -zxvf *.tar.gz #解压tar
32340编辑于 2022-12-01 - 来自专栏数据化管理
源头数据采集与智能设备投资
人力资源部门会接触到：（1）猎头公司，（2）社保机构，（3）保险机构，（4）招聘网站，（5）大学或者各种技校培训机构，（6）潜在人才对象，（7）人才市场等。 智能穿戴设备也在快速发展，包括智能手环、智能手表、智能鞋子等智能穿戴设备已经上市，它们能够随时采集人体的各种信息，包括体温、血压、脉率等。 随着智能设备的普及，数据采集可以越来越自动化和智能化。 智能化采集则不会有这样的问题，只要保持智能采集设备的正常运转，数据就会源源不断地被采集、存储和应用。 智能化数据采集也是未来实现智能生产，包括工业4.0以及中国制造2025目标的基础。 智能化数据采集为智能化管理提供了基础的数据源，并通过自动化控制来实现智能生产，这是未来的发展趋势，在这方面投资能够帮助企业更早地实现智能化生产—尤其是对生产制造企业来说。 1.5 智能设备投资回报核算方法 智能设备自动采集数据是很有好处的，但对智能设备的投资是企业需要承担的。
76820发布于 2020-05-27 - 来自专栏爬虫资料
生成式AI驱动的智能采集实战
本项目以“今日头条”站内搜索为目标，设计一套结合生成式AI策略 + 爬虫代理 + 用户模拟行为 + 自动摘要生成的智能采集方案，实现对指定关键词的前10条新闻标题、作者、发布时间、正文内容的提取与分类存储 ，并生成AI摘要，帮助开发者构建更鲁棒的采集系统。 "Mozilla/5.0 (Windows NT 10.0; Win64; x64)", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AI工具如LangChain识别文章段落结构，提高内容抽取质量❌ 接口被改版避免依赖API，直接从页面HTML结构中提取❌ 摘要无效/空为异常情况准备默认摘要或启用重试机制，避免摘要流程中断模板推荐：智能采集架构 ──────────────┘总结提升本文以“今日头条关键词搜索”为例，展示了如何结合生成式AI与反爬技术（代理、cookie、User-Agent）构建一个具备稳定访问、结构化提取与AI摘要能力的“智能采集
39310编辑于 2025-06-04 - 来自专栏Qt项目实战
Qt编写控件属性设计器7-串口采集
打通了串口采集、网络采集、数据库采集三种方式设置数据。 代码极其精简，注释非常详细，可以作为组态的雏形，自行拓展更多的功能。 纯Qt编写，支持任意Qt版本+任意编译器+任意系统。 this); connect(tcpServer, SIGNAL(newConnection()), this, SLOT(newConnection())); //开启定时器读取数据库采集数据
2.5K00发布于 2019-09-14 - 来自专栏Python大数据分析
数据采集必备的7个低代码爬虫工具
下面是7个我常用的爬虫软件，分三大类，零代码工具、半自动化工具、低代码工具，都很好操作。 零代码工具 八爪鱼爬虫 八爪鱼算是非常出名的数据采集软件了，很早就流传开来。 点击采集 → 导出Excel/CSV文件。 亮数据爬虫 亮数据是一种专门应对反爬的数据采集工具，很适合亚马逊、Shopee等电商网站的数据采集和监测。 Scraper APIs是亮数据专门为批量采集数据而开发的接口，支持上百个网站，200多个专门API采集器，例如Linkedin的职位、公司、人员数据采集器，Tiktok的商品、短视频数据采集器，当然这些数据都是公开可抓取的 运行代码 → 自动采集并存储数据。 后羿采集器 后羿采集器也是一款无代码的图形爬虫软件，只需要配置url相关信息便可以自动识别网页中的表格、列表、图片等内容，非常的傻瓜式。 它通过AI智能识别网页中的表格或列表数据（如商品价格、评论），支持一键抓取并导出为Excel/CSV文件，尤其适合亚马逊等电商平台的分页采集。
1.5K10编辑于 2025-08-06 - 来自专栏物联网智慧生活
数据采集网关 工业物联网智能化
随着工业互联网行业的快速发展，智能工业技术广泛应用于智能化生产、网络化协同、服务化延伸、个性化定制，包括商业模式、应用场景等等。 计讯物联工业数据采集网关，解决多协议设备互连以及现场物理信号采集转化成数字通信的技术。 工业数据采集网关TG463具备数据采集、边缘计算、协议转换、断网续传等功能，实现工业互联网体系中前端设备与云端的互联，满足大接入量、高速率、低延时、安全稳定的数据处理需求，节约生产成本提升经济效益。 脚本支持二次开发 4、支持串口DTU功能 5、兼容RS232\RS485\RS422\以太网等各种接口PLC，远程升级，PLC协议解析，PLC数据采集传输 6、支持本地配置，或云配置工具软件 7 、导轨安装 8、金属外壳，外壳与系统安全隔离，适用于工控现场 图片2.png 工业互联网数据采集网关TG463场景应用 工业生产、智能工厂、工业机器人、物流园区、5G物联网等场景的数据采集、
1.3K10发布于 2021-09-09 - 来自专栏geekfly
Java数据采集-7.Ajax无刷新请求(翻页-3)
本篇继上述博客，介绍Ajax无刷新加载数据的方式，抓取阿里巴巴矢量图库。 技术重点：
1.1K10编辑于 2022-05-06 - 来自专栏工程监测
振弦采集仪：工程安全监测的“智能助手”
振弦采集仪：工程安全监测的“智能助手”振弦采集仪是一种用于工程安全监测的设备，它可以被视为工程安全监测的“智能助手”。 振弦采集仪通过测量结构物振动的频率和振幅来判断结构物的安全性，并实时监测结构物的变化。振弦采集仪可以广泛应用于桥梁、建筑物、隧道等工程项目的监测中。 它可以通过将振弦传感器安装在结构物上，实时采集结构物的振动数据，并通过数据分析和处理来判断结构物的安全状况。振弦采集仪具有以下几个优点：1. 数据分析：振弦采集仪可以将采集到的数据进行分析和处理，提供结构物的安全评估报告，帮助工程人员进行维护和修复工作。 总结，振弦采集仪作为工程安全监测的“智能助手”，可以提供准确、实时的数据，帮助工程人员及时发现和解决结构物的安全问题，保障工程项目的安全运行。
25910编辑于 2023-12-14 - 来自专栏智能家居学习
智能家居之旅（13）：传感器采集主板
但是想要做更加智能化的功能的话，就需要用传感器。 比如小夜灯要智能化起来时，需要光照传感器检测光强度来决定是否开启，或者还需要人体传感器检测有人才开启。 比如空调控制时，可以利用温度传感器，检测室温来决定制冷还是制热 等等诸如此类智能控制，都需要传感器的参与才能实现智能化。 所以今天这个项目就是一个：基于 Ai-WB2 模组实现的 HomeAssistant 传感器采集器 目标传感器 针对目前的传感器类型，根据接口类型分类，大致有这么几个品类： 串口：RS485 传感器 I2C 传感器采集器只能接入 I2C、IO、单总线接口的传感器了，而且充电接口的话，就用 Type-C 吧！ 从而就要衍生出一些电路： 电池供电电路 充电电路采用的 IC 是 IP3506。 电池电量采集电路 一般是读取电池的电压来实现电池的容量检测，使用 ADC 就行： 低功耗稳压电路 因为用了电池供电，所以稳压电路的稳压器不能用太高功耗的，1mA 的静态电流都很大了。
25300编辑于 2024-09-05 - 来自专栏国内互联网大数据
提高批量爬虫采集效率的7个实用技巧
批量爬虫采集是数据获取的重要手段，但如何提高其效率却是让很多程序员头疼的问题。本文将分享七个实用技巧，帮助你优化批量爬虫采集工作，提高效率和产出。 2.多线程并发：利用多线程技术可以同时处理多个任务，提高采集速度。合理划分任务，充分利用计算机的多核能力，确保线程之间的数据隔离和安全性，提高采集效率。 3.智能反爬应对：许多网站采取了反爬虫措施，如验证码、登录限制等。为了应对这些反爬虫机制，可以采用模拟登录、使用代理IP、操纵Cookies等方式，绕过限制，确保采集的顺利进行。 通过缓存页面内容或请求结果，减轻服务器压力，并加快数据处理速度，提高批量爬虫采集效率。7.数据流水线处理：通过构建数据流水线，将采集、处理、存储等环节相互解耦，提高工作流程的效率和可维护性。 以上是七个提高批量爬虫采集效率的实用技巧。通过优化请求频率、利用多线程并发、智能反爬应对、有效去重策略、异常处理机制、合理利用缓存和数据流水线处理，你可以明显提升批量爬虫采集的效率和专业度。
37740编辑于 2023-08-18 - 来自专栏WalkingCloud
CentOS7下搭建开源日志采集分析系统LogAnalyzer
CentOS7下搭建日志采集分析系统LogAnalyzer LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。 /bin/bash wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo sed yum.repos.d/CentOS-Base.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7. Connectors Community baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-connectors-community-el7- MySQL Tools Community baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-tools-community-el7-
5.9K20发布于 2021-03-16 - 来自专栏智慧物联产品＆方案
基于边缘智能网关的远程监测与数据采集方案
边缘计算智能网关，是结合工业物联网、设备远程通信、远距离控制、智能设备集中接入等典型物联网应用需求而研发的多功能网关，能够便捷实现对前端机械设备、智能设备的远程数据采集、监控和锁机等操作。 数据采集：对物联网机械设备的业务数据进行集中采集、定时采集 远程锁机：远程控制机械设备进行停机等 物联网云平台： 对设备进行远程集中监测和指令控制，同时实现数据业务展示 二．项目所需设备 前端设备：包括 3、依靠4G采集数据，单个设备出状况后可以快速定位，其它设备不受影响。而WIFI服务端出问题，现场设备都将断网。 4、4G相比WIFI会贵一点。 BMR400智能路由器：集全网通路由、高速无线通信、设备协议对接、RS485/RS232串口等功能于一体。 BMG500工业网关：具备数据智能采集、多种协议转换、5G/4G全网通无线通信、数据处理转发等功能于一体。
1.9K20发布于 2021-08-03 Rebel系列数据记录仪：智能车载数据采集专家
一、产品系列及定位1.Rebel LT 系列▪ 定位：经济型 CAN 总线数据记录仪，聚焦基础车载数据采集。▪ 核心场景：OBD 数据采集、对标试验、CCP/xCP 协议开发等。 • CT FlexRay：7 路 CAN+2 路 FlexRay+3 路 LIN，集成 GNSS 与加速度计。 ▪ 核心场景：事件记录、车队管理、极端环境数据采集（IP67 防护，-40℃~+85℃）。
24410编辑于 2025-07-07- 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。 7、触摸屏进行设备配置、维护和管理、查看数据。 8、支持远程管理、支持远程程序升级。 9、支持二次开发，标准Linux系统，集成Python开发环境和C语言开发环境。
1.6K30发布于 2021-03-22 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 ，重复判断：可以选择根据域名或者网址进行重复判断，采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP **创建爬虫任务**图片图片3： 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。
3.5K11编辑于 2022-10-17 - 来自专栏工业4.0
防水材料智能工厂数据采集监控解决方案
基于工业物联网技术，在设备数据采集的基础上进行工艺组态，进而实现工厂设备生产、运行、维护等过程的集中监控，提升制造工厂的智能化管理水平，有助于降低运行维护成本，推进企业数字化转型。 行业需求01、采集现场设备数据，上传平台，组态监控各生产设备的运行状态，设备故障及时报警02、远程监控生产过程中的各项参数并进行控制命令下发，实现设备管理现场管理、生产管理、远程控制设备启停，提高可控性 03、对数据进行实时综合统计和分析，各项数据实时生成报表，随时调取查看，提高决策智慧解决方案防水材料智能工厂数据采集监控解决方案，是基于智能网关实现防水材料工厂远程生产管理、组态监控、故障报警以及可视化管理 图片工厂现场具有PLC、温度传感器、压力传感器、烘干机、涂油机、撒沙设备、电表、计米器等设备，通过串口、网口等设备接口将现场设备连接到物通博联工业智能网关WG585，网关采集现场设备数据后通过4G/WIFI
46130编辑于 2023-04-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号