- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大石头
多线程带智能采集策略的采集系统
去年年底的时候曾经发过一个数据采集器《网页数据采集器》，那是专门针对某一个网站来进行采集的，如果需要采集新的网站内容，就需要修改代码并重新编译。 昨晚完成了一个带智能策略的采集系统。 采集策略的核心就在于规则库Rule。 Rule中取所有FromTypeID为当前网址TypeID； 6,如果没有取到任何规则Rule，则将本页内容写入到CjPage中； 7,如果取到规则，那么遍历规则，为每条规则执行ParseUrl方法； 8, 由于规则具有递归性，使得采集器能递归采集到所有的文章。 { url.UrlAddress = u.UrlAddress.Substring(0, u.UrlAddress.IndexOf("/", 8)
1.1K80发布于 2018-01-15 - 来自专栏工业4.0
智能工厂数据采集方案
，实现产品生命周期和备品备件管理，提升制造工厂的智能化程度，降低运行维护成本， 促进企业产业升级。 image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。 实现客户对产品的智能化使用、智能化管控。提高 了工作效率，降低了非智能设备使用过程中的操作风险和成本风险。
1.3K30编辑于 2022-03-03 - 来自专栏geekfly
Java数据采集-8.模拟登录
= null) { result = EntityUtils.toString(entity, "utf-8"); } }catch =geekfly; Domain=.csdn.net; Path=/;AU=2DB; Domain=.csdn.net; Path=/;UD=%E5%94%AF%E6%9C%89%E5%89%B2%E8% 88%8D%EF%BC%8C%E6%89%8D%E8%83%BD%E4%B8%93%E6%B3%A8%E3%80%82%E5%94%AF%E6%9C%89%E6%94%BE%E5%BC%83%EF%BC %8C%E6%89%8D%E8%83%BD%E8%BF%BD%E6%B1%82%E3%80%82; Domain=.csdn.net; Path=/;UN=TMaskBoy; Domain=.csdn.net /;BT=1508058570894; Domain=.csdn.net; Expires=Mon, 15-Oct-2018 09:09:30 GMT; Path=/;access-token=65d8afcc-f6ee
87820编辑于 2022-05-06 - 来自专栏devops_k8s
k8s 日志采集最佳实践
在这阶段，日志无论从规模、种类都呈现爆炸式的增长，对日志进行数字化、智能化分析的需求也越来越高，因此统一的日志平台应运而生。 2 . 日志系统主要专注于数据的实时采集、清洗、智能分析与监控以及对接各类各样的流计算、离线系统。 3 . 在 K8s 中，应用都以 yaml 的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以 K8s 的方式进行部署? 7 日志采集方案 image.png 早在 Kubernetes 出现之前，我们就开始为容器环境开发日志采集方案，随着 K8s 的逐渐稳定，我们开始将很多业务迁移到 K8s 平台上，因此也基于之前的基础专门开发了一套 K8s 上的日志采集方案。
3K40发布于 2021-11-09 - 来自专栏科控自动化
地热数据采集项目8 部署Docker和Fuxa
Docker 的安装 Ubuntu 可以在线安装 docker，也可以通过以下网址 https://download.docker.com/linux/ubuntu/dists/bionic/pool/stable/armhf/ 下载所需版本自 行安装。 这里以在线安装为例，使用以下命令在线安装 docker apt-get install docker.io Fuxa部署 docker run -d -p 1881:1881 -v fuxa_appdata:/usr/src/app/FUXA/serv
2K20编辑于 2022-12-01 - 来自专栏数据化管理
源头数据采集与智能设备投资
智能穿戴设备也在快速发展，包括智能手环、智能手表、智能鞋子等智能穿戴设备已经上市，它们能够随时采集人体的各种信息，包括体温、血压、脉率等。 随着智能设备的普及，数据采集可以越来越自动化和智能化。 数据采集的智能化是一个趋势，因为人工采集的数据会受数据采集人员的责任心、个人喜好、工作认真程度等影响，数据的准确性不高，即时性也难以保障。 智能化采集则不会有这样的问题，只要保持智能采集设备的正常运转，数据就会源源不断地被采集、存储和应用。 智能化数据采集也是未来实现智能生产，包括工业4.0以及中国制造2025目标的基础。 智能化数据采集为智能化管理提供了基础的数据源，并通过自动化控制来实现智能生产，这是未来的发展趋势，在这方面投资能够帮助企业更早地实现智能化生产—尤其是对生产制造企业来说。 1.5 智能设备投资回报核算方法 智能设备自动采集数据是很有好处的，但对智能设备的投资是企业需要承担的。
76820发布于 2020-05-27 - 来自专栏爬虫资料
生成式AI驱动的智能采集实战
本项目以“今日头条”站内搜索为目标，设计一套结合生成式AI策略 + 爬虫代理 + 用户模拟行为 + 自动摘要生成的智能采集方案，实现对指定关键词的前10条新闻标题、作者、发布时间、正文内容的提取与分类存储 ，并生成AI摘要，帮助开发者构建更鲁棒的采集系统。 os.makedirs("output", exist_ok=True) with open(f"output/{keyword}_results.json", "w", encoding="utf-8" AI工具如LangChain识别文章段落结构，提高内容抽取质量❌ 接口被改版避免依赖API，直接从页面HTML结构中提取❌ 摘要无效/空为异常情况准备默认摘要或启用重试机制，避免摘要流程中断模板推荐：智能采集架构 ──────────────┘总结提升本文以“今日头条关键词搜索”为例，展示了如何结合生成式AI与反爬技术（代理、cookie、User-Agent）构建一个具备稳定访问、结构化提取与AI摘要能力的“智能采集
39310编辑于 2025-06-04 - 来自专栏AIoT技术交流、分享
LabVIEW控制Arduino实现模拟数据采集（基础篇—8）
目录 1、实验目的 2、硬件连接 3、程序设计 4、实验演示 1、实验目的 利用LIAT中的模拟采样函数库，通过Arduino Uno控制板上的模拟输入端口采集模拟信号，并上传至LabVIEW界面上显示波形 ，实现一个数据采集的功能。 LabVIEW程序首先通过设置的串口号与Arduino Uno控制板建立连接，然后等待事件结构，若采集键被按下，则点亮“采集中"LED灯，再调用模拟采样函数库中的GetFinite Analog Sample 函数节点以设置好的采集端口、采样速率和采样点数来实现有限采样并送入波形显示控件，完成之后熄灭"采集中”LED灯，采样点数通过采样速率和采样时间计算得到;若清除键被按下，则清除波形显示。 项目资源下载请参见：LabVIEW控制Arduino实现模拟数据采集-单片机文档类资源-CSDN下载
1.4K20编辑于 2022-05-25 - 来自专栏Qt项目实战
Qt编写控件属性设计器8-网络采集
一、前言 上一篇文章已经打通了数据源之一的串口采集，这次要说的是网络采集，网络通信目前用的最多的是三种，TCP/UDP/HTTP，其中tcp通信又包括了客户端服务端两种，tcp通信才用了多次握手机制不丢包 打通了串口采集、网络采集、数据库采集三种方式设置数据。 代码极其精简，注释非常详细，可以作为组态的雏形，自行拓展更多的功能。 纯Qt编写，支持任意Qt版本+任意编译器+任意系统。 this); connect(tcpServer, SIGNAL(newConnection()), this, SLOT(newConnection())); //开启定时器读取数据库采集数据 tcpClient->readAll(); if (data.length() <= 0) { return; } //默认取第一个字节解析,可以自行更改 quint8 tcpSocket->readAll(); if (data.length() <= 0) { return; } //默认取第一个字节解析,可以自行更改 quint8
1K00发布于 2019-09-14 - 来自专栏物联网智慧生活
数据采集网关 工业物联网智能化
随着工业互联网行业的快速发展，智能工业技术广泛应用于智能化生产、网络化协同、服务化延伸、个性化定制，包括商业模式、应用场景等等。 计讯物联工业数据采集网关，解决多协议设备互连以及现场物理信号采集转化成数字通信的技术。 工业数据采集网关TG463具备数据采集、边缘计算、协议转换、断网续传等功能，实现工业互联网体系中前端设备与云端的互联，满足大接入量、高速率、低延时、安全稳定的数据处理需求，节约生产成本提升经济效益。 脚本支持二次开发 4、支持串口DTU功能 5、兼容RS232\RS485\RS422\以太网等各种接口PLC，远程升级，PLC协议解析，PLC数据采集传输 6、支持本地配置，或云配置工具软件 7 、导轨安装 8、金属外壳，外壳与系统安全隔离，适用于工控现场 图片2.png 工业互联网数据采集网关TG463场景应用 工业生产、智能工厂、工业机器人、物流园区、5G物联网等场景的数据采集、
1.3K10发布于 2021-09-09 - 来自专栏工程监测
振弦采集仪：工程安全监测的“智能助手”
振弦采集仪：工程安全监测的“智能助手”振弦采集仪是一种用于工程安全监测的设备，它可以被视为工程安全监测的“智能助手”。 振弦采集仪通过测量结构物振动的频率和振幅来判断结构物的安全性，并实时监测结构物的变化。振弦采集仪可以广泛应用于桥梁、建筑物、隧道等工程项目的监测中。 它可以通过将振弦传感器安装在结构物上，实时采集结构物的振动数据，并通过数据分析和处理来判断结构物的安全状况。振弦采集仪具有以下几个优点：1. 数据分析：振弦采集仪可以将采集到的数据进行分析和处理，提供结构物的安全评估报告，帮助工程人员进行维护和修复工作。 总结，振弦采集仪作为工程安全监测的“智能助手”，可以提供准确、实时的数据，帮助工程人员及时发现和解决结构物的安全问题，保障工程项目的安全运行。
25910编辑于 2023-12-14 - 来自专栏智能家居学习
智能家居之旅（13）：传感器采集主板
但是想要做更加智能化的功能的话，就需要用传感器。 比如小夜灯要智能化起来时，需要光照传感器检测光强度来决定是否开启，或者还需要人体传感器检测有人才开启。 比如空调控制时，可以利用温度传感器，检测室温来决定制冷还是制热 等等诸如此类智能控制，都需要传感器的参与才能实现智能化。 传感器采集器只能接入 I2C、IO、单总线接口的传感器了，而且充电接口的话，就用 Type-C 吧！ 从而就要衍生出一些电路： 电池供电电路 充电电路采用的 IC 是 IP3506。 电池电量采集电路 一般是读取电池的电压来实现电池的容量检测，使用 ADC 就行： 低功耗稳压电路 因为用了电池供电，所以稳压电路的稳压器不能用太高功耗的，1mA 的静态电流都很大了。 所以不能用 1117 这个 LDO，我找到了一个静态电流只有 8uA 的 LDO：WL6026。 8uA 的功耗能够提供最高 250mA 的输出，满足 Ai-WB2 的日常使用了。
25300编辑于 2024-09-05 - 来自专栏瓜农老梁
k8s01# K8s日志采集与服务质量QoS
主要内容有： 日志采集三种方式 日志采集方式权衡 Pod服务质量QoS 一、日志采集三种方式 K8s日志采集方式主要有原生方式、DaemonSet采集方式、Sidecar采集方式。 DaemonSet采集方式，在k8s的node节点上运行日志代理，由日志代理将日志采集到后端服务。 SideCar采集方式，在一个POD中运行一个单独的日志采集代理容器，用于采集容器的日志。 如果想SideCar采集模式业务无感，可以使用OpenKruise提供的SidecarSet管理sidecar容器。 SidecarSet负责注入和升级k8s集群的sideCar容器，对业务无感。 小结：在日志采集代理能力能满足需求的情况下，DaemonSet模式在运维复杂性、资源节省、升级方面更好的选择。 三、Pod服务质量QoS K8s使用服务质量QoS来决定Pod的调度和驱逐策略。 K8s资源回收驱逐策略，当Node上的内存或者CPU耗尽时，为了保护Node会驱逐POD，优先级低的POD会优先被驱逐。
73120编辑于 2022-12-03 - 来自专栏我的小碗汤
fluent-bit debug调试，采集k8s podIP
有时候调试fluent-bit的配置，达到想要的输出效果，并不是件简单的事情，以下通过debug镜像调试fluent-bit采集kubernetes Pod的IP。 FLB_HAVE_PROXY_GO FLB_HAVE_JEMALLOC JEMALLOC_MANGLE FLB_HAVE_LIBBACKTRACE FLB_HAVE_REGEX FLB_HAVE_UTF8_ ENCODER FLB_HAVE_LUAJIT FLB_HAVE_C_TLS FLB_HAVE_ACCEPT4 FLB_HAVE_INOTIFY 简单配置文件 以下用一个简单的配置文件采集calico-node k8s日志格式。 podIPs 结合kubesphere Filter CR，配置采集podIPs，并去掉其他不相关的annotations。
2.2K30发布于 2021-11-02 - 来自专栏智慧物联产品＆方案
基于边缘智能网关的远程监测与数据采集方案
边缘计算智能网关，是结合工业物联网、设备远程通信、远距离控制、智能设备集中接入等典型物联网应用需求而研发的多功能网关，能够便捷实现对前端机械设备、智能设备的远程数据采集、监控和锁机等操作。 数据采集：对物联网机械设备的业务数据进行集中采集、定时采集 远程锁机：远程控制机械设备进行停机等 物联网云平台： 对设备进行远程集中监测和指令控制，同时实现数据业务展示 二．项目所需设备 前端设备：包括 3、依靠4G采集数据，单个设备出状况后可以快速定位，其它设备不受影响。而WIFI服务端出问题，现场设备都将断网。 4、4G相比WIFI会贵一点。 BMR400智能路由器：集全网通路由、高速无线通信、设备协议对接、RS485/RS232串口等功能于一体。 BMG500工业网关：具备数据智能采集、多种协议转换、5G/4G全网通无线通信、数据处理转发等功能于一体。
1.9K20发布于 2021-08-03 - 来自专栏云原生技术社区
使用fluent bit+ClickHouse 实现K8s日志采集
使用FluentBit采集K8s容器日志，需要在FluentBit的conf文件中完成以下input配置（这里配置了docker中运行的容器log文件位置，fluent会采集文件中的日志并自动完成简单的过滤清洗操作 ，fluent-Bit通过配置文件中配置的日志采集位置对日志进行采集，经过处理后采用配置的output插件将数据存储到ClickHouse中。 labels: k8s-app: k8s-log-agent data: # Configuration files: server, input, filters and output labels: k8s-app: k8s-log-agent version: v1 kubernetes.io/cluster-service: "true configMap: name: k8s-log-agent-config serviceAccountName: k8s-log-agent
3.1K50编辑于 2021-12-28 Rebel系列数据记录仪：智能车载数据采集专家
一、产品系列及定位1.Rebel LT 系列▪ 定位：经济型 CAN 总线数据记录仪，聚焦基础车载数据采集。▪ 核心场景：OBD 数据采集、对标试验、CCP/xCP 协议开发等。 ▪ 核心场景：事件记录、车队管理、极端环境数据采集（IP67 防护，-40℃~+85℃）。
24410编辑于 2025-07-07- 来自专栏物联网智慧生活
5G物联网数据采集网关-智能车间应用
智能车间 5G物联网数据采集网关 5G+物联网的来临工业制造业逐步趋向智能化，各企业工厂致力于打造具有传感设备、工控设备，利用5G无线通信，实现与远程管理平台数据采集传输的人机界面的高效交互的智能车间 智能车间 5G物联网数据采集网关 5G物联网数据采集网关，作为核心网络设备在整个智能化改造中起到承上启下的作用，连接前端海量传感设备和工控设备进行目标数据的采集与传输工作，实施协议转换、数据分析处理，对上与管理平台进行数据交互 图片2.png 5G物联网数据采集网关功能作用 1、强大的数据采集功能，可实现串口数据、模拟量和开关量信号、2路局域网数据的采集并转发至指定服务器。 3、行业接口丰富可兼容采集多种工业传感器采集需求，RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出（外设供电）等。 8、支持远程管理、支持远程程序升级。 9、支持二次开发，标准Linux系统，集成Python开发环境和C语言开发环境。
1.6K30发布于 2021-03-22 - 来自专栏CSharp编程
上位机采集8通道模拟量模块数据
模拟量模块和上位机的配合使用可以实现对模拟量数据的采集、传输和处理。下面是它们配合使用的一般步骤：1. 连接模拟量模块：将模拟量模块与上位机进行连接。 配置模拟量模块：设置模拟量模块的参数，例如采样率、量程范围、滤波方式等，以确保模块能够准确采集模拟信号。3. 采集模拟量数据：模拟量模块会持续采集模拟信号，并将其转换为数字信号。 通过模拟量模块和上位机的配合使用，可以实现对模拟量数据的实时采集、传输和处理，提供实时监测和控制功能，帮助用户更好地了解和管理模拟信号源的状态和变化。
60520编辑于 2023-08-28 - 来自专栏msray
全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集
搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手! 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 ----1:采集注意事项1：搜索引擎是根据关键词采集的，采集之前要准备好关键词（关键词可以为txt文档，一行一个）---- 2：配置流程1：上传关键词文件2：选择适合自己需求的过滤规则（可保持默认）3： 选择需要使用到的搜索引擎4：过滤方案的使用，可以保持默认，也可以自定义过滤规则，可根据域名，ip地址，国家信息进行过滤图片图片----3：对采集的数据进行 导出和数据分析软件可进行全网公开数据挖掘，大规模采集互联网公开数据 ，精准挖取采集内容。
2.3K20编辑于 2022-10-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号