- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 采集策略的核心就在于规则库Rule。 ，本线程回到1，继续去Url表取下一个网址； 4,线程池在有空闲线程时，会调用分析函数ParsePage去处理上次获得的页面内容； 5,先到Rule中取所有FromTypeID为当前网址TypeID； 采集器工作时，如果采集的是详细页的内容，将会直接写入到CjPage中，因为没有FromTypeID=2的规则；而采集的是列表页的内容时，就要做两件事了，因为有两条FromTypeID=1的规则，一件事是识别当前列表页中所有文章的链接并存入 由于规则具有递归性，使得采集器能递归采集到所有的文章。
1.1K80发布于 2018-01-15 - 来自专栏工业4.0
智能工厂数据采集方案
，实现产品生命周期和备品备件管理，提升制造工厂的智能化程度，降低运行维护成本， 促进企业产业升级。 image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。 实现客户对产品的智能化使用、智能化管控。提高 了工作效率，降低了非智能设备使用过程中的操作风险和成本风险。
1.3K30编辑于 2022-03-03 - 来自专栏智慧物联产品＆方案
基于4G智能网关的野外光伏逆变器数据采集方案
因此，对于太阳能光伏逆变器运行数据的实时监测、快速传输、智能分析也至关重要。 这里就可以借助4G智能网关，实现光对伏逆变器数据的高效采集监测、边缘计算分析和多中心数据分发，还可面向未来碳交易市场提供准确数据。 实现原理基于BMG500系列4G无线网关采集逆变器数据，通过4G远程分发光伏电站的各项数据到中心平台，打造智慧光伏监测物联网。 2、BMG500系列4G智能网关：具有接入设备种类多、通信接口形式多、兼容通信协议多等特点。 2、逆变器通过MODBUS RTU协议进行数据通信，在网关也配置modbus协议的采集规则3、与底端设备的通信协议配置完成后，根据各个需要传送数据的服务器的IP地址，继续配置IP相关参数4、平台接获数据
1.4K10编辑于 2022-09-29 - 来自专栏数据化管理
源头数据采集与智能设备投资
梳理外部资源的时候，常使用“接触点”进行梳理，比如，销售部门会接触到：（1）渠道客户，（2）消费者，（3）竞争对手，（4）竞争对手的产品等。 采购部门会接触到：（1）供应商，（2）采购代理商，（3）海关（进出口），（4）潜在供应商，（5）物流公司，（6）质检或者安检（货物运输过程中的检查）等。 人力资源部门会接触到：（1）猎头公司，（2）社保机构，（3）保险机构，（4）招聘网站，（5）大学或者各种技校培训机构，（6）潜在人才对象，（7）人才市场等。 智能穿戴设备也在快速发展，包括智能手环、智能手表、智能鞋子等智能穿戴设备已经上市，它们能够随时采集人体的各种信息，包括体温、血压、脉率等。 随着智能设备的普及，数据采集可以越来越自动化和智能化。 智能化采集则不会有这样的问题，只要保持智能采集设备的正常运转，数据就会源源不断地被采集、存储和应用。 智能化数据采集也是未来实现智能生产，包括工业4.0以及中国制造2025目标的基础。
76820发布于 2020-05-27 - 来自专栏爬虫资料
生成式AI驱动的智能采集实战
本项目以“今日头条”站内搜索为目标，设计一套结合生成式AI策略 + 爬虫代理 + 用户模拟行为 + 自动摘要生成的智能采集方案，实现对指定关键词的前10条新闻标题、作者、发布时间、正文内容的提取与分类存储 ，并生成AI摘要，帮助开发者构建更鲁棒的采集系统。 完整代码实现（含摘要功能）import requestsfrom bs4 import BeautifulSoupimport randomimport timeimport jsonimport osfrom AI工具如LangChain识别文章段落结构，提高内容抽取质量❌ 接口被改版避免依赖API，直接从页面HTML结构中提取❌ 摘要无效/空为异常情况准备默认摘要或启用重试机制，避免摘要流程中断模板推荐：智能采集架构 ──────────────┘总结提升本文以“今日头条关键词搜索”为例，展示了如何结合生成式AI与反爬技术（代理、cookie、User-Agent）构建一个具备稳定访问、结构化提取与AI摘要能力的“智能采集
39310编辑于 2025-06-04 - 来自专栏物联网智慧生活
数据采集网关 工业物联网智能化
随着工业互联网行业的快速发展，智能工业技术广泛应用于智能化生产、网络化协同、服务化延伸、个性化定制，包括商业模式、应用场景等等。 计讯物联工业数据采集网关，解决多协议设备互连以及现场物理信号采集转化成数字通信的技术。 图片1.png 工业互联网数据采集网关TG463 1、支持蜂窝5G/4G、WIFI、NB-IoT、GPRS、以太网通信 2、支持modbus、MQTT对接主流云平台 3、Linux/C+Python 脚本支持二次开发 4、支持串口DTU功能 5、兼容RS232\RS485\RS422\以太网等各种接口PLC，远程升级，PLC协议解析，PLC数据采集传输 6、支持本地配置，或云配置工具软件 7 、导轨安装 8、金属外壳，外壳与系统安全隔离，适用于工控现场 图片2.png 工业互联网数据采集网关TG463场景应用 工业生产、智能工厂、工业机器人、物流园区、5G物联网等场景的数据采集、
1.3K10发布于 2021-09-09 - 来自专栏工程监测
振弦采集仪：工程安全监测的“智能助手”
振弦采集仪：工程安全监测的“智能助手”振弦采集仪是一种用于工程安全监测的设备，它可以被视为工程安全监测的“智能助手”。 振弦采集仪通过测量结构物振动的频率和振幅来判断结构物的安全性，并实时监测结构物的变化。振弦采集仪可以广泛应用于桥梁、建筑物、隧道等工程项目的监测中。 自动报警：振弦采集仪可以设置预警阈值，在结构物发生异常时自动发出警报，提醒相关人员采取相应的措施。4. 数据分析：振弦采集仪可以将采集到的数据进行分析和处理，提供结构物的安全评估报告，帮助工程人员进行维护和修复工作。 总结，振弦采集仪作为工程安全监测的“智能助手”，可以提供准确、实时的数据，帮助工程人员及时发现和解决结构物的安全问题，保障工程项目的安全运行。
25910编辑于 2023-12-14 - 来自专栏智能家居学习
智能家居之旅（13）：传感器采集主板
但是想要做更加智能化的功能的话，就需要用传感器。 比如小夜灯要智能化起来时，需要光照传感器检测光强度来决定是否开启，或者还需要人体传感器检测有人才开启。 比如空调控制时，可以利用温度传感器，检测室温来决定制冷还是制热 等等诸如此类智能控制，都需要传感器的参与才能实现智能化。 所以今天这个项目就是一个：基于 Ai-WB2 模组实现的 HomeAssistant 传感器采集器 目标传感器 针对目前的传感器类型，根据接口类型分类，大致有这么几个品类： 串口：RS485 传感器 I2C 传感器采集器只能接入 I2C、IO、单总线接口的传感器了，而且充电接口的话，就用 Type-C 吧！ 从而就要衍生出一些电路： 电池供电电路 充电电路采用的 IC 是 IP3506。 电池电量采集电路 一般是读取电池的电压来实现电池的容量检测，使用 ADC 就行： 低功耗稳压电路 因为用了电池供电，所以稳压电路的稳压器不能用太高功耗的，1mA 的静态电流都很大了。
25300编辑于 2024-09-05 - 来自专栏物联网智慧生活
5G4G数据采集遥测终端机
计讯物联5G/4G数据采集遥测终端机，丰富行业接口可对接视频监控、流量计水位计各种传感器、水电表压力计等仪表、以及plc等工业设备，完成数据存储、监测因子采集上传、管理中心远程实时在线监测、设备远程控制 ，异常告警提示，完成工程自动化、智能化管理运营。 图片1.png 5G/4G数据采集遥测终端机功能 数据定时采集、存储、主动上报。 预警加报。 多通讯方式，支持2.5G/3G/4G/GPRS/NB-IoT传输功能。 设备电压监测、工况监测。 5G/4G数据采集遥测终端机应用场景 一、智慧水务水利：水质、水位、水雨情、水库大坝、中小河流、城市内涝、山洪灾害等监测项目。 四、智慧城市：交通、安防、环卫等数据采集监测项目。
69220发布于 2021-08-13 - 来自专栏PLC无线
符合Modbus协议的4-20mA信号采集方案
本方案是昆仑通态触摸屏与4台DTD433FC模拟量信号无线485传输模块进行无线 Modbus 通信的实现方法。 本方案中昆仑通态触摸屏作为主站显示各从站的模拟量信号，传感器、DCS、PLC、智能仪表等4个设备作为Modbus从站输出模拟量信号。 测试参数 通讯协议：Modbus RTU协议 主从关系：1主4从 主站通讯接口：Rs485接口（两线制） 从站通讯接口：模拟量4-20mA信号输入（AI） 供电：9-24VDC 传输距离：100米，500 的B端口相连接 第二步：给无线通讯终端接入天线 第三步：全部接线结束后，分别给触摸屏与无线通讯终端供电 四、实现触摸屏与模拟量的无线Modbus通讯 给DTD433FC接入模拟量信号发生器，触发一个4- 从机（从站）可以采集开关量、模拟量信号，型号为DTD433H、DTD433F。一台主机可与256个从机配套使用。所有从机的地址都是唯一的，不会存在从机间互相干扰的情况。
1.7K41发布于 2020-07-20 - 来自专栏AIoT技术交流、分享
LabVIEW控制Arduino采集电位器电压（基础篇—4）
目录 1、实验目的 2、实验环境 3、程序设计 4、实验演示 1、实验目的 利用LIAT函数库中模拟IO的功能，通过Arduino Uno控制板上模拟输入端口实现对电压的测量，并显示在LabVIEW前面板上 4、实验演示 通过公排线将AO端依次接至Arduino Uno控制板上的3.3V和5V，测量结果分别为3.31V和5.01V。 项目资源下载请参见：LabVIEW控制Arduino采集电位器电压-嵌入式文档类资源-CSDN下载
94030编辑于 2022-05-23 - 来自专栏智慧物联产品＆方案
基于边缘智能网关的远程监测与数据采集方案
边缘计算智能网关，是结合工业物联网、设备远程通信、远距离控制、智能设备集中接入等典型物联网应用需求而研发的多功能网关，能够便捷实现对前端机械设备、智能设备的远程数据采集、监控和锁机等操作。 数据采集：对物联网机械设备的业务数据进行集中采集、定时采集 远程锁机：远程控制机械设备进行停机等 物联网云平台： 对设备进行远程集中监测和指令控制，同时实现数据业务展示 二．项目所需设备 前端设备：包括 通信网关：以佰马BMG700边缘计算智能网关为例，网关需支持MQTT 、JSON、 HTTP、OPC、Modbus、TCP、UDP等透传协议和PLC协议，具备VPN功能，支持4G/3G/2G、NB-IoT 2、4G配置更加方便，WIFI配置需要做端口映射。 3、依靠4G采集数据，单个设备出状况后可以快速定位，其它设备不受影响。而WIFI服务端出问题，现场设备都将断网。 4、4G相比WIFI会贵一点。 BMG500工业网关：具备数据智能采集、多种协议转换、5G/4G全网通无线通信、数据处理转发等功能于一体。
1.9K20发布于 2021-08-03 Rebel系列数据记录仪：智能车载数据采集专家
一、产品系列及定位1.Rebel LT 系列▪ 定位：经济型 CAN 总线数据记录仪，聚焦基础车载数据采集。▪ 核心场景：OBD 数据采集、对标试验、CCP/xCP 协议开发等。 ▪关键型号：• CT4：4 路 CAN 2.0+2 路 LIN，支持网关转发。• CT CAN FD：2 路 CAN 2.0+2 路 CAN FD，兼容高速数据传输。 ▪ 共性优势：IP65 防护、128GB SDXC 存储、电隔离设计，支持 GNSS/4G LTE/Wi-Fi 等扩展模块。 ▪ 核心场景：事件记录、车队管理、极端环境数据采集（IP67 防护，-40℃~+85℃）。 ▪ 关键特性：4 路 CAN 总线、64GB eMMC 存储、宽电压供电（6-41VDC），支持 GNSS/NB-IoT 远程管理。
24410编辑于 2025-07-07- 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。 4、通信灵活，集5G/4G网络、广域网、局域网、GPRS、WIFI（可选）等多种通信方式，可选NB-IOT通信方式。
1.6K30发布于 2021-03-22 - 来自专栏geekfly
Java数据采集-4.分析常见的翻页（加载数据）方式
共两页，列表页地址为：http://blog.csdn.net/TMaskBoy/article/list/2
74720编辑于 2022-04-24 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 ，重复判断：可以选择根据域名或者网址进行重复判断，采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP **创建爬虫任务**图片图片3： 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。
3.5K11编辑于 2022-10-17 - 来自专栏工业4.0
防水材料智能工厂数据采集监控解决方案
基于工业物联网技术，在设备数据采集的基础上进行工艺组态，进而实现工厂设备生产、运行、维护等过程的集中监控，提升制造工厂的智能化管理水平，有助于降低运行维护成本，推进企业数字化转型。 行业需求01、采集现场设备数据，上传平台，组态监控各生产设备的运行状态，设备故障及时报警02、远程监控生产过程中的各项参数并进行控制命令下发，实现设备管理现场管理、生产管理、远程控制设备启停，提高可控性 03、对数据进行实时综合统计和分析，各项数据实时生成报表，随时调取查看，提高决策智慧解决方案防水材料智能工厂数据采集监控解决方案，是基于智能网关实现防水材料工厂远程生产管理、组态监控、故障报警以及可视化管理 图片工厂现场具有PLC、温度传感器、压力传感器、烘干机、涂油机、撒沙设备、电表、计米器等设备，通过串口、网口等设备接口将现场设备连接到物通博联工业智能网关WG585，网关采集现场设备数据后通过4G/WIFI
46130编辑于 2023-04-25 - 来自专栏UE4技术专场
UE4智能指针
#UE4智能指针分析 什么是智能指针 对裸指针进行封装，行为类似裸指针，但是却能够自主管理资源的释放的指针，其实说白了就是通过类的析构和对象的生命周期来管理资源的释放 使用智能指针 为什么使用智能指针 使用的特例智能指针，不参与引用计数 两倍的裸指针大小，有一个指针指向控制块 和shared_ptr相当 为什么使用UE4的智能指针而不是用c11的（两个做具体的对比） 所有编译器和平台上有更加一致的实现 手动释放(Release)后, 该智能指针不再负责该对象的销毁. 0.6. 手动释放(Release)后, 该智能指针不再负责该对象的销毁. 0.8. FWeakReferencer() TOps::ReleaseWeakReference(ReferenceController); WeakReferenceCount为 0 时销毁FReferenceController 4.
7.3K71发布于 2018-12-18 - 来自专栏沈唁志
在ThinkPHP5框架中使用QueryList4做采集
有人会使用 Python 去做爬虫，而这个 QueryList 可以让 PHP 做采集更容易。 QueryList 的几个特点： 拥有与 jQuery 完全相同的 CSS3 DOM 选择器 拥有与 jQuery 完全相同的 DOM 操作 API 拥有通用的列表采集方案 拥有强大的 HTTP 请求套件 PHP7 以下环境无法安装和使用 QueryList4！ ThinkPHP5 代码根目录执行 Composer 命令安装 QueryList，使用 Composer 安装时强制指定版本号 composer require jaeger/querylist:4. 原创文章采用CC BY-NC-SA 4.0协议进行许可，转载请注明：转载自：在ThinkPHP5框架中使用QueryList4做采集
1.5K30发布于 2018-05-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号