- 综合排序
- 最热优先
- 最新优先
- 来自专栏马洪彪
LabVantage仪器数据采集方案
LabVantage的仪器数据采集组件为LIMS CI，是一个独立的应用程序/服务，实现仪器数据的采集（GC、LC等带有工作站的仪器）。 简单仪器，例如PH、天平等，使用串口（RS232）或网口（TCP）实现数据的采集。复杂仪器，例如GC、LC、ICP、HPLC等采集仪器输出的数据文件或报告文件。 Backup：采集时将文件拷贝到此处进行处理，此处的文件为处理中的文件。 FAIL：处理失败的文件 LOGS：日志记录 Export：导出LIMS的样品测试序列给仪器，具体格式视仪器上位机软件。
82520编辑于 2022-11-06 - 来自专栏网络爬虫
APP爬虫采集方案思路
APP数据采集常见方案：抓包、HOOK技术 抓包：大多数APP软件，都是公开数据，没有任何隐私。 APP数据分析： APP数据都可以采集，通过抓包工具抓包，获取app源码，就要对app进行反编译，进行证书认证发出HTTPS加密协议即可。 逆向环境配置： Apktool：获取资源文件和smail代码 dex2jar：将dex文件转换成jar文件 JD-GUI：查看到反编译后的dex的代码 获取app源码，就要对app进行反编译，解析使用工具采集数据
1.4K00发布于 2020-09-23 - 来自专栏工业4.0
智能工厂数据采集方案
image.png 方案需求 ● 采集工厂产线设备的运行状态、生产产量、设备稼动率以及故障报警到物联网系统 ● 数据分析：OEE 分析，能耗分析 ● 巡检维护、设备保养、报表统计等 ● 通过现场摄像设备直接查看现场情况 ● 通过工厂的数据看板，直观显示系统运行情况、排班情况、工艺流程监控等 解决方案 现场设备通过温度、压力流量计等传感器的反馈信号；摄像头现场的监测；以及智能电表的数据汇总， 通过物通博联智能网关采集传感器 image.png 方案优势 实现产品服务智能化：通过工业物联网运维系统，使原有产品和服务实现了智能化升级改造。
1.3K30编辑于 2022-03-03 - 来自专栏爬虫逆向案例
magical_spider远程采集方案
magical_spider 一个神奇的蜘蛛项目，源码架构很简单，适用于数据采集任务。
56510编辑于 2022-09-21 - 来自专栏工业物联网数据采集网关
发那科机床数据采集方案
所以需要升级管理，做机床数据采集及监控。增强企业竞争力。经过深入调研和评估，该企业选择了捷米特CNC310-WIFI/4G-JM201工业物联网关作为解决方案的核心设备。 二、分享产品方案捷米特CNC310-WIFI/4G-JM201具有以下特点和优势：1. 根据企业的实际需求，捷米特为其制定了以下具体的解决方案：1. 设备联网：将捷米特CNC310-WIFI/4G-JM201工业物联网关安装在每台数控机床旁边，通过以太网或串口与机床进行连接。 数据采集与分析：利用物联网关的多协议支持功能，实时采集机床的运行状态、加工参数、刀具寿命等关键数据，并将数据上传至企业的工业云平台或本地服务器。 四、结论捷米特CNC310-WIFI/4G-JM201工业物联网关为该机械制造企业提供了一套高效、可靠的设备互联互通和数据采集分析解决方案，帮助企业实现了生产管理的数字化、智能化升级，提高了生产效率、产品质量和企业竞争力
23000编辑于 2025-07-02 - 来自专栏网络爬虫
爬虫采集舆情数据的方案
网络爬虫支持各种数据的采集， 文件，图片。视频等等都可以采集，但是不能采集违法业务。在互联网大数据时代中，网络爬虫主要是为搜索引擎提供最全面和最新的数据，网络爬虫也是从互联网上采集数据的爬虫程序。 我们也可以通过网络爬虫采集舆情数据，可以采集新闻，社交，论坛，博客等信息数据。这也是常见的舆情数据获取的方案之一。一般就是通过爬虫程序使用爬虫代理IP对一些有意义的网站进行数据采集。 舆情数据也可以通过在数据交易市场去购买，或者找那些专业的舆情分析团队去获取，但是一般来说说，专业的舆情分析团队，也都是通过爬虫程序使用代理IP去采集的相关数据，从而进行舆情数据分析。 由于短视频的火爆，抖音，快手这两个主流短视频APP，我们也可以通过爬虫程序采集抖音，快手进行舆情数据分析。 将统计的数据生成表格，提供给大家作为数据报告，也可以参考以下采集方案代码： // 要访问的目标页面 string targetUrl = "http://httpbin.org/ip"; // 代理服务器
2.4K21发布于 2021-05-31 - 来自专栏产品笔记
如何设计产品数据采集方案？
01 数据采集方案是什么？ 数据采集方案是数据产品的需求文档，用户规划数据产品中存储什么数据，存储格式是什么？ 人们在日常生活中高频次地使用移动设备会产生大量数据点，这些看似平淡无奇的信息应该如何上报，在数据采集方案进行说明。 数据采集方案包含内容如下： 产品方案中的数据采集没有设计好会有哪些坑 产品需求文档： 内容没有明确，导致研发理解偏差，做出来的功能和预期的不一样 漏添加了几个按钮 需反复修改，加大研发人员工作量 数据采集方案 ： 数据跟后台的差异很大，数据不准 想用的时候，发现没有我要的数据 重复设计的事件太多，加大研发工作量 02 如何设计一个“规范”的数据采集方案？ 设计数据采集方案思路 明确业务目标，提出业务需求（如app帐号业务）： 总结需求场景 用户登录率 产品功能诊断和改进 建立指标体系 登录页面曝光 点击率 转化率 补充分析维度 运营商取号失败率 为什么要做用户关联
79950编辑于 2022-06-02 - 来自专栏Sun
大数据平台之binlog采集方案
1、背景 大数据平台的采集功能是从外部数据源采集数据存储到hive，采集方式分为全量采集、增量采集，增量采集适用于数据规模较大情况，有很多使用场景，但是在增量采集时，平台只能感知数据新增、更新 ，无法感知到数据删除，为了解决这个问题，本文选用了常用的外部数据源mysql为例进行binlog采集方案介绍。 2、方案 针对mysql数据源，可以通过拉取binlog来回放每条SQL语句，这样不管是新增、更新、删除都能进行处理，但是前提条件是需要mysql服务开启binlog，并且模式为row，因为 大数据平台针对mysql的处理方案流程如图1所示。 222.drawio (2).png 方案整体流程主要是通过记录binlog水位，从水位处拉取binlog数据并提取出对应的SQL，然后将SQL应用到存量hive数据上，首次采集时因为水位不存在会通过
1.8K30发布于 2021-11-23 - 来自专栏民工哥技术之路
SpringCloud 分布式日志采集方案
由于微服务架构中每个服务可能分散在不同的服务器上，因此需要一套分布式日志的解决方案。spring-cloud提供了一个用来trace服务的组件sleuth。它可以通过日志获得服务的依赖关系。 基于sleuth，可以通过现有的日志工具实现分布式日志的采集。 这里使用的是ELK，也就是elasticsearch、logstash、kibana。 到此为止，整个日志采集就搭建完成了。系统上线后只需要在elasticsearch中就能搜索到各个服务器上，各个微服务的日志内容了。
78920编辑于 2021-12-06 - 来自专栏工业4.0
PLC 远程监控与数据采集方案
基于手机微信小程序或PC 终端的PLC 远程监控和数据采集方案的优势和特点： 1. 远程监控系统可以使异地的智力之源得到充分利用。 远程监控系统的应用，可以实现现场运行数据的快速集中和实时采集，获得现场的监控数据，提供了远程故障诊断技术物质基础。 边缘计算：通过解析PLC 协议，采集PLC 数据到网关节点进行数据运算、数据处理，这样能够减少请求响应时间、减少网络带宽同时保证数据的安全性和私密性。信息技术发展使得远程监控技术得以快速发展。 image.png 智能网关 WG285 智能网关是一款支持4G/3G/WIFI/PPPOE/ethernet 等各种网络接入方式、支持各种工控协议解析，支持MQTT 上行协议，支持网关信息采集管理 ，支持设备和变量的定义和远程部署、支持自定义方式的数据采集和数据控制和支持 防火墙等功能为一体的嵌入式工业级智能网关。
1.9K20编辑于 2022-05-30 - 来自专栏大数据，java，Python和前端
Canal采集MySQL Binlog——数据同步方案
简介： 针对业务库MySQL Binlog日志数据进行数据同步，从MySQL到Kafka，最终实现实时（准实时）数据采集。 产品目标完成实时数据采集，拉取业务数据库数据。版本选择Canal-1.1.3JDK-1.8MySQL-5.7Kafka-2.1.0概述canal是阿里巴巴旗下的一款开源项目，纯Java开发。
59510编辑于 2025-07-21 - 来自专栏后端系统和架构
Istio采集指标prometheus+grafana方案
TOC Istio采集指标prometheus+grafana方案 Istio的prometheus支持 prometheus在Istio中的现状 prometheus这个后端组件涉及到数据存储问题（levleDB 接入外部prometheus集群的方案 prometheus需要采用自己的服务，因此需要禁用，然后配置好相应的，注意服务要打通，可以采用NodePort方式，也可以采用ClusterIP（prometheus 需要将自己的prometheus集群里面的配置（scrape_config）的数据采集配置上mixer的地址和采集的端口（共三个端口），然后接口API是/metrics，这样自己的集群就能够采集到mixer 然后可以通过各自的 /metrics 接口查看数据 如何处理prometheus服务发现 上述的方案都是通过NodePort的方式，这样的话，需要手动配置要采集的目标地址（ip:port/URI），但是线上应用应该要采用 prometheus+grafana方案，运维配套、权限管理、组织管理等比较成熟，并且运维还需要兼顾容器内的服务和容器外的服务，因此Istio中，更适合采用外部已有的grafana服务。
2.4K11发布于 2020-01-16 - 来自专栏用户4624600的专栏
使用filebeta采集nginx后端服务日志方案
所以需要有一种方案自动把多台副本容器的日志统一发送给某个地方存储，然后通过某种语法搜索展示。 本文会介绍使用filebeta采集nginx后端服务日志的方案，最终通过Kibana实时展示后端服务日志，这种架构方案在一般运维架构体系中使用的比较常见，实际生成环境比本文讲述的会复杂一些，但是大体的架构方案是类似的 整体架构 采集nginx日志的整体架构分为 生产端: nginx及nginx链接的后端的应用日志。 采集端: 主要是持续采集ngix产生的日志。 如果想采集nginx的日志，需要额外安装Openresty模块。 结语 回顾下本文主要介绍如何使用filebeta采集nginx后端服务日志的整个架构和思路，虽然本片文章和测试技术关联性不大，但是如果想扩展自己的技术深度和广度也要了解开发和运维的架构技术栈，开阔自己的技术视野和架构思维
1.7K30编辑于 2022-12-05 - 来自专栏工业4.0
机房空调数据采集监控解决方案
机房空调数据采集监控解决方案行业背景随着企业数字化和信息化水平的不断提高，许多企业都建立了独立的计算机机房，承担越来越重要的作用。 通过接入工业物联网系统，实现数据采集和云组态，从而远程监控实时数据和远程控制指令下发，能够有效监控机房环境和设备运行状态，及时远程控制设备，维护机房环境安全稳定，提升管理效率。 行业需求01、采集机房空调数据并上传到物联网云平台，实现云组态监控设备运行状态，故障及时报警。02、通过手机或电脑远程查看可控制设备及参数，远程控制设备启停，提高设备管理效率。 解决方案空调数据采集方案，是基于物通博联工业智能网关WG583和物通博联IOT云平台，实现机房空调数据采集、云端组态、故障报警和远程控制，并在微信小程序进行管理和查看，有效提升设备管理效率。 图片机房现场的恒温加湿精密空调设备通过RS485串口连接到工业智能网关WG583，网关实时采集设备数据并通过4G/WIFI/以太网等方式上传到IOT云平台。
64720编辑于 2023-05-19 - 来自专栏工业4.0
仓库温湿度物联网采集方案
一、项目介绍U型地下仓库，采集点30个，每个采集点采集温度湿度，最远约100米，常温20~30度。需要物联网采集系统将温湿度上传至第三方系统数据库。 二、解决方案方案一：系统拓扑图图片U型地下仓库，每个采集点的温度湿度传感器，通过RS485总线并联接到WG585 MQTT网关的串口上。 由于地下室的信号很弱，建议采用有线的方式让MQTT网关上网，MQTT网关将采集到的温湿度传感器的数据，以json串的格式上传到第三方系统数据库，通过物通博联提供的接口文档，将数据插到数据库，云平台软件调用数据库的数据进行数据监控 方案二：系统拓扑图图片U型地下仓库，每个采集点的温度湿度传感器，通过LORA无线数据传输，将个站点的数据汇总到一个采集器上，WG585 MQTT网关与采集器通过RS485连接。 由于地下室的信号很弱，建议采用有线的方式让MQTT网关上网，MQTT网关将采集到的温湿度传感器的数据，以json串的格式上传到第三方系统数据库，通过物通博联提供的接口文档，将数据插到数据库，云平台软件调用数据库的数据进行数据监控
59810编辑于 2023-06-01 - 来自专栏运维监控日志分析
可视化日志采集分析平台建设方案
网站用户行为分析，对Nginx 访问的 URL 、地区分布 、终端类型、延迟等参数进行采集分析展示。 通常，业界把这套方案简称为ELK，取三个系统的首字母。 2.架构分析 第一层、数据采集层，数据缓存层 在业务应用服务器安装 filebeat 做日志采集，同时filebeat将采集的日志转送至kafka/zookeeper集群。 ZABBIX Zabbix 是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 四、实施方案 1、日志类型 ◆ Nginx日志：Nginx访问日志以及Nginx错误日志。 ◆ 网络设备日志：网路设备硬件告警信息 端口UP/Down 等日志。
5.4K44发布于 2020-05-15 - 来自专栏杂烩
一个简单的日志采集方案 原
二、搭建 这里的搭建是为了演示采集方案，未考虑HA、安全等。
79030发布于 2018-08-17 - 来自专栏Gnep's_Technology_Blog
NI采集卡USB-6361多通道模拟输入采集报错解决方案
前言 折腾一块 USB-6361 采集卡很久了，之前都是单通道采集模拟信号，突然接到要使用双通道采集模拟信号，本想着就新增加一路 Analog Input task 即可，但事情总没有想象的那么简单，因此记录一下解决的方法 1、单通道采集 这里我使用测试面板输出幅值为3V的正弦波，使用射频线将AO1和AI0进行连接，单通道采集没问题 2、多通道采集 ①、错误的做法 将程序框图再复制一份，改个输入通道，这里使用AI0和AI1 这个方式来采集已经属于2个Analog Input tasks，所以出现报错。 针对串扰问题的解决方案可以参考以下相关资料： <1>、如何消除测量和数据采集时出现的鬼影效应？ https://knowledge.ni.com/KnowledgeArticleDetails? 因此解决串扰问题可以按照如下两种方案尝试： <1>、方案1：在输入端增加一个下拉电阻 <2>、方案2：不让通道保持悬空，使其连接任意设备 总结 以上就是全部内容，本文实现了多通道模拟输入同时采集的功能
1.6K10编辑于 2023-08-10 - 来自专栏大数据，java，Python和前端
Maxwell采集MySQL Binlog业务库数据同步方案
简介： 针对业务库MySQL Binlog日志数据进行数据同步，从MySQL到Kafka，最终实现实时（准实时）数据采集。 产品目标完成实时数据采集，拉取业务数据库数据。 常用的场景有：ETL、维护缓存、收集表级别的DML指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。
59710编辑于 2025-07-21 - 来自专栏工业4.0
城市地下管廊数据采集监测方案
随着社会的发展，管廊建设受到了越来越多的重视，但是管廊管理和监控工作却面临着建设时间过长、数据采集不及时、监控不到位等种种问题，地下管廊数据采集监控是一项繁重而技术复杂的任务，传统的手动采集方法过于缓慢 地下管廊数据采集监控解决方案可以采用物联网技术，实现对管廊内各种仪表的实时监测，并收集采集仪表数据，并将其发送至上位机或云端，实现远程监控和分析。 有效改善地下管廊仪表数据采集监控的状况，降低成本，提高采集数据的准确性和及时性，为地下管廊的管理和监测提供有力的技术支撑。 城市地下管廊数据采集监测方案： 1、在管廊关键位置部署仪器仪表、传感器，如温度变送器、压力变送器、现场流量计，监控现场情况 2、通过工业智能网关与仪器仪表和传感器连接，采集这些设备的数据实时通过有线/4G 城市地下管廊数据采集监测方案对地下管廊使用的设备及环境进行远程监控并实现远程控制，保障地下管廊设备运维安全，实现现场无人值守，让地下管廊能够长久稳定的运行。
45520编辑于 2023-03-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号