- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 采集策略的核心就在于规则库Rule。 工作过程大概这样： 1,采集线程从Url表抽取一个网址，并马上在表中将其删除，为了防止冲突，这个过程需要用多线程同步解决； 2,用WebClient请求该网址的页面内容； 3,取得内容后，给线程池的线程来分析处理 采集器工作时，如果采集的是详细页的内容，将会直接写入到CjPage中，因为没有FromTypeID=2的规则；而采集的是列表页的内容时，就要做两件事了，因为有两条FromTypeID=1的规则，一件事是识别当前列表页中所有文章的链接并存入 由于规则具有递归性，使得采集器能递归采集到所有的文章。
1.1K80发布于 2018-01-15 - 来自专栏工业4.0
智能工厂数据采集方案
，实现产品生命周期和备品备件管理，提升制造工厂的智能化程度，降低运行维护成本， 促进企业产业升级。 image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。 实现客户对产品的智能化使用、智能化管控。提高 了工作效率，降低了非智能设备使用过程中的操作风险和成本风险。
1.3K30编辑于 2022-03-03 - 来自专栏数据化管理
源头数据采集与智能设备投资
梳理外部资源的时候，常使用“接触点”进行梳理，比如，销售部门会接触到：（1）渠道客户，（2）消费者，（3）竞争对手，（4）竞争对手的产品等。 3、动态数据都有时效性，需要即时采集。 一般情况下动态数据都是在资源转换活动发生时记录的数据。数据具有时效性，如果过后补充数据就容易造成数据的失真。即时发生、即时记录是动态数据的基本要求。 智能穿戴设备也在快速发展，包括智能手环、智能手表、智能鞋子等智能穿戴设备已经上市，它们能够随时采集人体的各种信息，包括体温、血压、脉率等。 随着智能设备的普及，数据采集可以越来越自动化和智能化。 智能化采集则不会有这样的问题，只要保持智能采集设备的正常运转，数据就会源源不断地被采集、存储和应用。 智能化数据采集也是未来实现智能生产，包括工业4.0以及中国制造2025目标的基础。 1.5 智能设备投资回报核算方法 智能设备自动采集数据是很有好处的，但对智能设备的投资是企业需要承担的。
76820发布于 2020-05-27 - 来自专栏爬虫资料
生成式AI驱动的智能采集实战
然而传统采集方案在面对动态结构、反爬机制和接口变动时效率低下、维护成本高。 本项目以“今日头条”站内搜索为目标，设计一套结合生成式AI策略 + 爬虫代理 + 用户模拟行为 + 自动摘要生成的智能采集方案，实现对指定关键词的前10条新闻标题、作者、发布时间、正文内容的提取与分类存储 ，并生成AI摘要，帮助开发者构建更鲁棒的采集系统。 AI工具如LangChain识别文章段落结构，提高内容抽取质量❌ 接口被改版避免依赖API，直接从页面HTML结构中提取❌ 摘要无效/空为异常情况准备默认摘要或启用重试机制，避免摘要流程中断模板推荐：智能采集架构 ──────────────┘总结提升本文以“今日头条关键词搜索”为例，展示了如何结合生成式AI与反爬技术（代理、cookie、User-Agent）构建一个具备稳定访问、结构化提取与AI摘要能力的“智能采集
39310编辑于 2025-06-04 【sqlite3】网络socket编程温度采集智能存储与上报项目技术------sqlite3数据库基础
中南民族大学通信工程专业研究生在读，研究方向无线联邦学习 擅长领域：驱动开发，嵌入式软件开发，BSP开发 作者主页：一个平凡而乐于分享的小比特的个人主页 文章收录专栏：网络socket编程之温度采集智能存储与上报项目 ，本专栏为网络socket编程之温度采集智能存储与上报项目技术简介，实现流程分析 项目源码：https://gitee.com/TJF865975/project1_ds18b20，README部分包含项目功能及实现 1.sqlite3简介 SQLite3是一种轻量级的关系型数据库，可以在本地磁盘上存储数据。 2.sqlite3安装 sudo apt-get install sqlite3 3.系统命令 .help //帮助 .quit //退出 .exit //退出 .schema //查看表的结构图 6.sqlite3函数接口 int sqlite3_open(const char *filename, sqlite3 **ppDb) /* 功能：打开一个数据库 参数：filename 数据库路径名
10110编辑于 2026-02-02- 来自专栏人工智能前沿讲习
Mars说光场（3）— 光场采集
《Mars说光场》系列文章目前已有5篇，包括： 《Mars说光场（1）— 为何巨头纷纷布局光场技术》； 《Mars说光场（2）— 光场与人眼立体成像机理》； 《Mars说光场（3）— 光场采集》； 《Mars （2）基于相机阵列（Camera Array）的光场采集[3]；（3）基于编码掩膜（Coded Mask）[4]的光场采集。 Lytro主要面向大众普通用户，而Raytrix不仅面向普通用户还面向工业和科研应用领域，如图3所示。Raytrix扩大了采集光场的深度范围[15]并开发了一套自动标定算法用于标定光场相机[16]。 图 3. 德国Raytrix基于微透镜阵列的光场相机 Adobe Systems Inc. ACM Press/Addison-Wesley Publishing Co. 2000:307-318. [3] Levoy M.
1.4K30发布于 2020-05-13 - 来自专栏物联网智慧生活
数据采集网关 工业物联网智能化
随着工业互联网行业的快速发展，智能工业技术广泛应用于智能化生产、网络化协同、服务化延伸、个性化定制，包括商业模式、应用场景等等。 计讯物联工业数据采集网关，解决多协议设备互连以及现场物理信号采集转化成数字通信的技术。 图片1.png 工业互联网数据采集网关TG463 1、支持蜂窝5G/4G、WIFI、NB-IoT、GPRS、以太网通信 2、支持modbus、MQTT对接主流云平台 3、Linux/C+Python 、导轨安装 8、金属外壳，外壳与系统安全隔离，适用于工控现场 图片2.png 工业互联网数据采集网关TG463场景应用 工业生产、智能工厂、工业机器人、物流园区、5G物联网等场景的数据采集、 图片3.png
1.3K10发布于 2021-09-09 - 来自专栏工程监测
振弦采集仪：工程安全监测的“智能助手”
振弦采集仪：工程安全监测的“智能助手”振弦采集仪是一种用于工程安全监测的设备，它可以被视为工程安全监测的“智能助手”。 振弦采集仪通过测量结构物振动的频率和振幅来判断结构物的安全性，并实时监测结构物的变化。振弦采集仪可以广泛应用于桥梁、建筑物、隧道等工程项目的监测中。 实时监测：振弦采集仪可以实时监测结构物的振动情况，及时发现结构物的异常变化。2. 高精度：振弦采集仪可以精确地测量结构物的振动频率和振幅，提供准确的监测数据。3. 数据分析：振弦采集仪可以将采集到的数据进行分析和处理，提供结构物的安全评估报告，帮助工程人员进行维护和修复工作。 总结，振弦采集仪作为工程安全监测的“智能助手”，可以提供准确、实时的数据，帮助工程人员及时发现和解决结构物的安全问题，保障工程项目的安全运行。
25910编辑于 2023-12-14 - 来自专栏智能家居学习
智能家居之旅（13）：传感器采集主板
但是想要做更加智能化的功能的话，就需要用传感器。 比如小夜灯要智能化起来时，需要光照传感器检测光强度来决定是否开启，或者还需要人体传感器检测有人才开启。 比如空调控制时，可以利用温度传感器，检测室温来决定制冷还是制热 等等诸如此类智能控制，都需要传感器的参与才能实现智能化。 所以今天这个项目就是一个：基于 Ai-WB2 模组实现的 HomeAssistant 传感器采集器 目标传感器 针对目前的传感器类型，根据接口类型分类，大致有这么几个品类： 串口：RS485 传感器 I2C 传感器采集器只能接入 I2C、IO、单总线接口的传感器了，而且充电接口的话，就用 Type-C 吧！ 从而就要衍生出一些电路： 电池供电电路 充电电路采用的 IC 是 IP3506。 电池电量采集电路 一般是读取电池的电压来实现电池的容量检测，使用 ADC 就行： 低功耗稳压电路 因为用了电池供电，所以稳压电路的稳压器不能用太高功耗的，1mA 的静态电流都很大了。
25300编辑于 2024-09-05 - 来自专栏智慧物联产品＆方案
基于边缘智能网关的远程监测与数据采集方案
边缘计算智能网关，是结合工业物联网、设备远程通信、远距离控制、智能设备集中接入等典型物联网应用需求而研发的多功能网关，能够便捷实现对前端机械设备、智能设备的远程数据采集、监控和锁机等操作。 通信网关：以佰马BMG700边缘计算智能网关为例，网关需支持MQTT 、JSON、 HTTP、OPC、Modbus、TCP、UDP等透传协议和PLC协议，具备VPN功能，支持4G/3G/2G、NB-IoT 3、依靠4G采集数据，单个设备出状况后可以快速定位，其它设备不受影响。而WIFI服务端出问题，现场设备都将断网。 4、4G相比WIFI会贵一点。 ，支持4G/3G，拥有恶劣环境适用专利。 BMG500工业网关：具备数据智能采集、多种协议转换、5G/4G全网通无线通信、数据处理转发等功能于一体。
1.9K20发布于 2021-08-03 Rebel系列数据记录仪：智能车载数据采集专家
一、产品系列及定位1.Rebel LT 系列▪ 定位：经济型 CAN 总线数据记录仪，聚焦基础车载数据采集。▪ 核心场景：OBD 数据采集、对标试验、CCP/xCP 协议开发等。 ▪ 关键特性：2 路 CAN 总线、USB 电隔离、64GB SD 存储、低功耗休眠模式（下电 < 2mA）及 CAN 唤醒功能，支持 4 路模拟量输入和 3 路数字 I/O。 • CT FlexRay：7 路 CAN+2 路 FlexRay+3 路 LIN，集成 GNSS 与加速度计。 3.Rebel 100 系列▪ 定位：工业级黑盒子记录仪，适用于非公路车辆（如工程机械、船舶）。▪ 核心场景：事件记录、车队管理、极端环境数据采集（IP67 防护，-40℃~+85℃）。
24410编辑于 2025-07-07- 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。 图片3.png 6、支持边缘计算，减轻服务器符合，实现数据高速、低延时传输。 7、触摸屏进行设备配置、维护和管理、查看数据。 8、支持远程管理、支持远程程序升级。
1.6K30发布于 2021-03-22 - 来自专栏日志服务CLS
【3月新功能速递】支持采集 Windows 文件日志
操作步骤： ⭐此处以采集单行日志的文件为例。 更多日志格式采集请见官网文档： https://cloud.tencent.com/document/product/614/17418 步骤一：创建/选择日志主题 创建新日志主题： 1. 选择采集配置页签，进行相应配置。 步骤二：配置机器组 新建或选择日志主题后，单击下一步进入机器组管理步骤，创建新机器组或选择现有机器组。 步骤三：采集配置 1. 机器组配置完成后， 单击下一步进入采集配置，填写规则名称和采集路径。 单击提交，完成采集配置。 操作手册：点击文末「阅读原文」获取 END 产品使用问题、技术咨询欢迎加入 CLS 粉丝群，跟日志专家 1v1 对话，更有超多粉丝福利，快来加入我们吧。
40110编辑于 2024-04-17 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! ；3：可从用户提供的网站列表数据中，全自动的提取出网站联系方式信息，包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 多种过滤方案灵活的过滤方案可以根据我们的业务需求，自己定制符合的过滤方案，避免获得重复冗余数据，使我们的数据更加的精确，高效系统内置了多种过滤方案：图片同时支持根据域名，IP归属，网页标题，网页内容，访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据，重复判断 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP **创建爬虫任务**图片图片3： 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。
3.5K11编辑于 2022-10-17 - 来自专栏工业4.0
防水材料智能工厂数据采集监控解决方案
基于工业物联网技术，在设备数据采集的基础上进行工艺组态，进而实现工厂设备生产、运行、维护等过程的集中监控，提升制造工厂的智能化管理水平，有助于降低运行维护成本，推进企业数字化转型。 行业需求01、采集现场设备数据，上传平台，组态监控各生产设备的运行状态，设备故障及时报警02、远程监控生产过程中的各项参数并进行控制命令下发，实现设备管理现场管理、生产管理、远程控制设备启停，提高可控性 03、对数据进行实时综合统计和分析，各项数据实时生成报表，随时调取查看，提高决策智慧解决方案防水材料智能工厂数据采集监控解决方案，是基于智能网关实现防水材料工厂远程生产管理、组态监控、故障报警以及可视化管理 图片工厂现场具有PLC、温度传感器、压力传感器、烘干机、涂油机、撒沙设备、电表、计米器等设备，通过串口、网口等设备接口将现场设备连接到物通博联工业智能网关WG585，网关采集现场设备数据后通过4G/WIFI
46130编辑于 2023-04-25 - 来自专栏geekfly
Java数据采集-7.Ajax无刷新请求(翻页-3)
result = EntityUtils.toString(entity, "utf-8"); } EntityUtils.consume(entity); return result; ---- 3.
1.1K10编辑于 2022-05-06 - 来自专栏用户6632349的专栏
采集软件-免费采集软件下载
我们可以用这款采集软件实现自动采集伪原创发布以及主动推送给搜索引擎，操作简单不需要学习更多专业的技术，只需简单几步就可以轻松采集内容数据，用户只需在采集软件上进行简单的设置，采集软件工具根据用户设置的关键词精准的采集文章 相对于其它采集软件这款采集软件基本不存在什么规则，更不用花费大量时间去学习正则表达或html标签，一分钟即可上手使用只需要输入关键词即可实现采集（采集软件同时还配备了关键词采集功能）。全程自动挂机！ 3、自动内链（让搜索引擎更深入的抓取你的链接） 4、内容或标题前后插入段落或关键词（可选择标题和标题插入同一关键词） 5、网站内容插入或随机作者、随机阅读等成“高度原创”。 3.网站关键词密度 关键词密度的意思就是字面意思，你想做的关键词在网站上的密度，也就是占据的文字比例，老张推荐一般控制在3%-6%左右，不要过多，过多会被判定为恶意堆砌关键词，也不要太少，太少的话抓取不到网站的核心主题 3、怎么制作设置404页面 首先，做一个简单的404页面， 其次，通过FTP上传到网站的根目录下 然后，进入虚拟主机管理后台，找到404页面提交的入口，添加以上404页面的地址，最后，随便输入一个错误的
3.1K40编辑于 2022-03-03 - 来自专栏yeedomliu
《Learning ELK Stack》3 使用Logstash采集、解析和转换数据
3 使用Logstash采集、解析和转换数据 理解Logstash如何采集、解析并将各种格式和类型的数据转换成通用格式，然后被用来为不同的应用构建多样的分析系统 ---- 配置Logstash 输入插件将源头数据转换成通用格式的事件 GeoIP是它们开发的智能IP产品，用于IP地址的位置跟踪。所有Logstash版本都自带一个Maxmind的GeoLite城市数据库。
2.2K20发布于 2020-07-02 - 来自专栏AIoT技术交流、分享
国产芯片WiFi物联网智能插座—电耗采集功能设计
WiFi物联网智能插座的电耗采集依托于合力为的HLW8110计量芯片实现，选取它的主要原因是精度不错，价格美丽，并且可以通过串口驱动，使用便捷。 读取通道电流，实现代码如下所示： void Read_HLW8110_IA(void) { float a; Uart_Read_HLW8110_Reg(REG_RMSIA_ADDR,3); } } 读取通道电压，实现代码如下所示： void Read_HLW8110_U(void) { float a; Uart_Read_HLW8110_Reg(REG_RMSU_ADDR,3) 24) + (unsigned long)(u8_RxBuf[1]<<16) + (unsigned long)(u8_RxBuf[2]<<8) + (unsigned long)(u8_RxBuf[3] 读取通道有功电量，实现代码如下所示： void Read_HLW8110_EA(void) { float a; Uart_Read_HLW8110_Reg(REG_ENERGY_PA_ADDR,3)
1.3K20发布于 2021-01-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号