- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 ，比如是列表页还是详细页；Rule表记录着各种规则，主要有三个字段，FromTypeID源页类型，ToTypeID目的页类型，Pattern规则；CjPage用于存储采集到的网页内容，还包含网址和页面种类 采集策略的核心就在于规则库Rule。 采集器工作时，如果采集的是详细页的内容，将会直接写入到CjPage中，因为没有FromTypeID=2的规则；而采集的是列表页的内容时，就要做两件事了，因为有两条FromTypeID=1的规则，一件事是识别当前列表页中所有文章的链接并存入 由于规则具有递归性，使得采集器能递归采集到所有的文章。
1.1K80发布于 2018-01-15 - 来自专栏工业4.0
智能工厂数据采集方案
，实现产品生命周期和备品备件管理，提升制造工厂的智能化程度，降低运行维护成本， 促进企业产业升级。 image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。 实现客户对产品的智能化使用、智能化管控。提高 了工作效率，降低了非智能设备使用过程中的操作风险和成本风险。
1.3K30编辑于 2022-03-03 - 来自专栏数据化管理
源头数据采集与智能设备投资
智能穿戴设备也在快速发展，包括智能手环、智能手表、智能鞋子等智能穿戴设备已经上市，它们能够随时采集人体的各种信息，包括体温、血压、脉率等。 随着智能设备的普及，数据采集可以越来越自动化和智能化。 数据采集的智能化是一个趋势，因为人工采集的数据会受数据采集人员的责任心、个人喜好、工作认真程度等影响，数据的准确性不高，即时性也难以保障。 智能化采集则不会有这样的问题，只要保持智能采集设备的正常运转，数据就会源源不断地被采集、存储和应用。 智能化数据采集也是未来实现智能生产，包括工业4.0以及中国制造2025目标的基础。 智能化数据采集为智能化管理提供了基础的数据源，并通过自动化控制来实现智能生产，这是未来的发展趋势，在这方面投资能够帮助企业更早地实现智能化生产—尤其是对生产制造企业来说。 1.5 智能设备投资回报核算方法 智能设备自动采集数据是很有好处的，但对智能设备的投资是企业需要承担的。
76120发布于 2020-05-27 - 来自专栏爬虫资料
生成式AI驱动的智能采集实战
然而传统采集方案在面对动态结构、反爬机制和接口变动时效率低下、维护成本高。 本项目以“今日头条”站内搜索为目标，设计一套结合生成式AI策略 + 爬虫代理 + 用户模拟行为 + 自动摘要生成的智能采集方案，实现对指定关键词的前10条新闻标题、作者、发布时间、正文内容的提取与分类存储 ，并生成AI摘要，帮助开发者构建更鲁棒的采集系统。 AI工具如LangChain识别文章段落结构，提高内容抽取质量❌ 接口被改版避免依赖API，直接从页面HTML结构中提取❌ 摘要无效/空为异常情况准备默认摘要或启用重试机制，避免摘要流程中断模板推荐：智能采集架构 ──────────────┘总结提升本文以“今日头条关键词搜索”为例，展示了如何结合生成式AI与反爬技术（代理、cookie、User-Agent）构建一个具备稳定访问、结构化提取与AI摘要能力的“智能采集
37010编辑于 2025-06-04 - 来自专栏物联网智慧生活
数据采集网关 工业物联网智能化
随着工业互联网行业的快速发展，智能工业技术广泛应用于智能化生产、网络化协同、服务化延伸、个性化定制，包括商业模式、应用场景等等。 计讯物联工业数据采集网关，解决多协议设备互连以及现场物理信号采集转化成数字通信的技术。 工业数据采集网关TG463具备数据采集、边缘计算、协议转换、断网续传等功能，实现工业互联网体系中前端设备与云端的互联，满足大接入量、高速率、低延时、安全稳定的数据处理需求，节约生产成本提升经济效益。 脚本支持二次开发 4、支持串口DTU功能 5、兼容RS232\RS485\RS422\以太网等各种接口PLC，远程升级，PLC协议解析，PLC数据采集传输 6、支持本地配置，或云配置工具软件 7 、导轨安装 8、金属外壳，外壳与系统安全隔离，适用于工控现场 图片2.png 工业互联网数据采集网关TG463场景应用 工业生产、智能工厂、工业机器人、物流园区、5G物联网等场景的数据采集、
1.3K10发布于 2021-09-09 - 来自专栏智能家居学习
智能家居之旅（13）：传感器采集主板
但是想要做更加智能化的功能的话，就需要用传感器。 比如小夜灯要智能化起来时，需要光照传感器检测光强度来决定是否开启，或者还需要人体传感器检测有人才开启。 比如空调控制时，可以利用温度传感器，检测室温来决定制冷还是制热 等等诸如此类智能控制，都需要传感器的参与才能实现智能化。 所以今天这个项目就是一个：基于 Ai-WB2 模组实现的 HomeAssistant 传感器采集器 目标传感器 针对目前的传感器类型，根据接口类型分类，大致有这么几个品类： 串口：RS485 传感器 I2C 传感器采集器只能接入 I2C、IO、单总线接口的传感器了，而且充电接口的话，就用 Type-C 吧！ 从而就要衍生出一些电路： 电池供电电路 充电电路采用的 IC 是 IP3506。 电池电量采集电路 一般是读取电池的电压来实现电池的容量检测，使用 ADC 就行： 低功耗稳压电路 因为用了电池供电，所以稳压电路的稳压器不能用太高功耗的，1mA 的静态电流都很大了。
23500编辑于 2024-09-05 - 来自专栏工程监测
振弦采集仪：工程安全监测的“智能助手”
振弦采集仪：工程安全监测的“智能助手”振弦采集仪是一种用于工程安全监测的设备，它可以被视为工程安全监测的“智能助手”。 振弦采集仪通过测量结构物振动的频率和振幅来判断结构物的安全性，并实时监测结构物的变化。振弦采集仪可以广泛应用于桥梁、建筑物、隧道等工程项目的监测中。 它可以通过将振弦传感器安装在结构物上，实时采集结构物的振动数据，并通过数据分析和处理来判断结构物的安全状况。振弦采集仪具有以下几个优点：1. 数据分析：振弦采集仪可以将采集到的数据进行分析和处理，提供结构物的安全评估报告，帮助工程人员进行维护和修复工作。 总结，振弦采集仪作为工程安全监测的“智能助手”，可以提供准确、实时的数据，帮助工程人员及时发现和解决结构物的安全问题，保障工程项目的安全运行。
25410编辑于 2023-12-14 - 来自专栏智慧物联产品＆方案
基于边缘智能网关的远程监测与数据采集方案
边缘计算智能网关，是结合工业物联网、设备远程通信、远距离控制、智能设备集中接入等典型物联网应用需求而研发的多功能网关，能够便捷实现对前端机械设备、智能设备的远程数据采集、监控和锁机等操作。 数据采集：对物联网机械设备的业务数据进行集中采集、定时采集 远程锁机：远程控制机械设备进行停机等 物联网云平台： 对设备进行远程集中监测和指令控制，同时实现数据业务展示 二．项目所需设备 前端设备：包括 3、依靠4G采集数据，单个设备出状况后可以快速定位，其它设备不受影响。而WIFI服务端出问题，现场设备都将断网。 4、4G相比WIFI会贵一点。 BMR400智能路由器：集全网通路由、高速无线通信、设备协议对接、RS485/RS232串口等功能于一体。 BMG500工业网关：具备数据智能采集、多种协议转换、5G/4G全网通无线通信、数据处理转发等功能于一体。
1.9K20发布于 2021-08-03 Rebel系列数据记录仪：智能车载数据采集专家
一、产品系列及定位1.Rebel LT 系列▪ 定位：经济型 CAN 总线数据记录仪，聚焦基础车载数据采集。▪ 核心场景：OBD 数据采集、对标试验、CCP/xCP 协议开发等。 ▪ 核心场景：事件记录、车队管理、极端环境数据采集（IP67 防护，-40℃~+85℃）。
23710编辑于 2025-07-07- 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。
1.6K30发布于 2021-03-22 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 ，重复判断：可以选择根据域名或者网址进行重复判断，采集字段包括域名，网址，IP地址，IP所属国家，标题，描述，访问状态等。 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP **创建爬虫任务**图片图片3： 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。
3.4K11编辑于 2022-10-17 - 来自专栏工业4.0
防水材料智能工厂数据采集监控解决方案
基于工业物联网技术，在设备数据采集的基础上进行工艺组态，进而实现工厂设备生产、运行、维护等过程的集中监控，提升制造工厂的智能化管理水平，有助于降低运行维护成本，推进企业数字化转型。 行业需求01、采集现场设备数据，上传平台，组态监控各生产设备的运行状态，设备故障及时报警02、远程监控生产过程中的各项参数并进行控制命令下发，实现设备管理现场管理、生产管理、远程控制设备启停，提高可控性 03、对数据进行实时综合统计和分析，各项数据实时生成报表，随时调取查看，提高决策智慧解决方案防水材料智能工厂数据采集监控解决方案，是基于智能网关实现防水材料工厂远程生产管理、组态监控、故障报警以及可视化管理 图片工厂现场具有PLC、温度传感器、压力传感器、烘干机、涂油机、撒沙设备、电表、计米器等设备，通过串口、网口等设备接口将现场设备连接到物通博联工业智能网关WG585，网关采集现场设备数据后通过4G/WIFI
44830编辑于 2023-04-25 - 来自专栏用户6632349的专栏
采集软件-免费采集软件下载
怎么用免费采集软件让网站快速收录以及关键词排名，网站优化效果主要取决于各个页面权重高低，各个页面权重汇集在一起，网站优化效果才会更加明显，那么各个页面具体权重取决于哪些因素呢？ 我们可以用这款采集软件实现自动采集伪原创发布以及主动推送给搜索引擎，操作简单不需要学习更多专业的技术，只需简单几步就可以轻松采集内容数据，用户只需在采集软件上进行简单的设置，采集软件工具根据用户设置的关键词精准的采集文章 采集来的文章可选择本地化保存，亦可选择自动伪原创后发布，提供了方便快捷的内容收集以及快速打造内容伪原创。 相对于其它采集软件这款采集软件基本不存在什么规则，更不用花费大量时间去学习正则表达或html标签，一分钟即可上手使用只需要输入关键词即可实现采集（采集软件同时还配备了关键词采集功能）。全程自动挂机！ 这款采集软件还配置了很多SEO功能，通过软件采集伪原创发布的同时还能提升很多SEO方面的优化。
3K40编辑于 2022-03-03 - 来自专栏AIoT技术交流、分享
国产芯片WiFi物联网智能插座—电耗采集功能设计
WiFi物联网智能插座的电耗采集依托于合力为的HLW8110计量芯片实现，选取它的主要原因是精度不错，价格美丽，并且可以通过串口驱动，使用便捷。
1.3K20发布于 2021-01-23 - 来自专栏全栈程序员必看
API数据采集_数据采集接口
大家好，又见面了，我是你们的朋友全栈君。 1 API使用简介 实例： 使用音乐排行榜详情API如下：https://api.apiopen.top/musicRankingsDetails?type=
3.1K50编辑于 2022-09-28 - 来自专栏物联网wtblnet.com
数据采集网关|工业数据采集网关
数据采集网关|工业数据采集网关 随着数据量的不断增速，数据价值也逐步被许多公司所关注，尤其是偏重于业务型的企业，许多数据的发生，在未被挖掘整合的进程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估计 数据采集网关，物通博联数据采集网关相关产品： 1477559252.jpg 1480315233.jpg 一、业务流程整理 在业务流程整理的进程中，咱们先预设个场景，如： 当公司运营人员提出一个订单转化率的需求
2.4K40发布于 2019-12-03 - 来自专栏msray
搜索引擎关键词采集，联系任务采集，网址采集
使用搜索引擎进行关键词的采集，可以让我们获得更多的信息并准确地找到我们所需要的内容。通过使用搜索引擎，我们可以快速搜索全球各地的网页、文章、资料以及其他文档。 在工作场景下，使用搜索引擎进行关键词的采集可以帮助用户更快速地找到需要的信息，并使其变得更加高效和有针对性。 图片Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 关键词：搜索引擎结果采集、域名采集、URL采集、网址采集、全网域名采集、CMS采集、联系信息采集支持亿级数据存储、导入、重复判断等。 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑
1.1K20编辑于 2023-04-04 - 来自专栏Android点滴分享
CameraX 采集
(); } } }, ContextCompat.getMainExecutor(this)); 这就是打开Camera，并且将采集数据渲染出来的全部代码了
1.1K10编辑于 2022-10-25 - 来自专栏工程监测
智能振弦传感器的读取工具——振弦采集仪
智能振弦传感器的读取工具——振弦采集仪为了解决振弦传感器间接测量物理量时繁琐的问题，我们结合微处理器和振弦传感器信号电路，开发出了智能振弦模块。 经过数百只智能钢筋计、智能应变计、智能压力盒的实验验证，智能振弦传感器的测量结果直观简单，易于应用高精度数学模型，可以大大提高振弦传感器在岩土工程监测中的测量准确度和工作效率。 图片通过远距离无电源电子标签技术，我们将电子标签嵌入到振弦传感器中，使四线制振弦传感器具有了ID识别、温度读取和自动获取物理参数等智能功能。 在传感器测量时，我们可以读取存储芯片内的传感器编号和K\B值，通过振弦采集仪器的读取模块，根据K\B值计算物理量。 这个工具可以免费提供给传感器生产商，以便制作属于自己的智能型传感器。为了更好地使用智能振弦传感器，我们开发了专用的读数仪VH03（手持振弦采集仪），它可以循环检测是否已经连接了电子标签。
39820编辑于 2023-10-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号