- 综合排序
- 最热优先
- 最新优先
- 来自专栏物联网智慧生活
水利工程数据监测采集设备选择
水利工程数据监测采集设备如何选择?水利遥测终端机，即水利rtu，实现数据采集、存储、控制、报警及传输等综合功能，实现数据的实时准确采集与安全可靠的数据传输。水利工程数据监测采集设备如何选择? 水利工程数据监测采集设备选择 1、了解项目所需的传感器接口选择，比如485接口，4-20mA接口等等。 2、设备选择并非功能越多越好，只要满足项目需求即可，功能越多故障点越多，而且还费电,价格也会更高，大材小用造成成本损失。 计讯物联水利RTU TY511集数据采集与2G/3G/4G数据传输功能于一体，具有数据采集、存储、控制、报警及传输等综合功能，实现数据的实时准确采集与安全可靠的数据传输。 同时提供翻斗式雨量计接口、RS232、RS485、模拟量输入、开关量输入和开关量输出,支持视频图像采集传输，可满足各种不同水文/水资源及其它应用需求。
67020发布于 2021-11-12 - 来自专栏物联网智慧生活
遥测终端RTU_遥测采集终端_水利遥测终端机
计讯物联遥测终端RTU遵循水利行业规约标准，广泛应用于智慧水利、水利、水资源监测管理场景，遥测采集终端RTU对接管理平台及省市级管理中心平台，实现液位、压力、流量、雨水情、水质等数据采集、存储 图片6.png 水利遥测终端-TY511 支持国家《水文监测数据通信规约》(ASCII和HEX全项)、《水资源监测数据传输规约》和其他省市特殊规约、SL180-2015水文自动测报系统设备遥测终端机 ;通信方式多样不受限，支持GPRS/4G无线蜂窝网络、短信、RS232/RS485，可选NB-IOT、北斗等通信方式;对接主流云，数据采集自动上报，远程控制现场设备，支持供电状态检测;网络故障自动恢复、 ADSL、GPRS、 4G、WIFI(可选)、GPS(可选)，有线宽带和无线网络可互为备份;支持高级路由器功能，支持常用VPN和内网穿透功能，准Linux 智能操作系统，可以开放二次开发功能;支持视频数据采集上传 ，支持数据字符与视频叠加功能;广泛应用于水文、水资源、智慧排水、智慧供水、地灾监测、智慧农业等综合测控领域。
1.5K10发布于 2021-11-05 - 来自专栏物联网wtblnet.com
数据采集网关|工业数据采集网关
数据采集网关|工业数据采集网关 随着数据量的不断增速，数据价值也逐步被许多公司所关注，尤其是偏重于业务型的企业，许多数据的发生，在未被挖掘整合的进程中通常被看作是一堆无效且占用资源的；但一旦被发掘，数据的价值将无可估计 数据采集网关，物通博联数据采集网关相关产品： 1477559252.jpg 1480315233.jpg 一、业务流程整理 在业务流程整理的进程中，咱们先预设个场景，如： 当公司运营人员提出一个订单转化率的需求 ，第一点主题模型咱们今日不做过多的介绍，侧重从2~4点剖析能够将收集体系划分为数据源装备、表结构的办理、源表办理、映射装备和收集使命办理几大模块。 添加数据源时，对于所填写内容的校验一般会依据需求来决议，需求填写的字段大致包含源称号，服务器，端口，用户名，暗码等。 2. 2. 交互方面 由所以B端的后台体系，一般会选用一套共用的的体系框架，因而在出具需求的进程中，只侧重说明晰需求留意的交互方法，一些共用的交互方法并未做过多的说明；因而在交互这多了许多的沟通成本。
2.7K40发布于 2019-12-03 - 来自专栏Android点滴分享
Camera2 采集
本篇介绍 Camera2相比Camera1，使用起来要复杂一些，不过也节省了一些逻辑，比如可以自动处理角度问题。本篇就按照流程介绍下Camera2的简单使用，更多细节会后续介绍。 使用Camera2 申请权限 静态申请: <uses-permission android:name="android.permission.CAMERA" /> 动态申请: if (ContextCompat.checkSelfPermission
97330编辑于 2022-10-25 - 来自专栏物联网智慧生活
数据采集器 数据采集终端
TS511系列采集终端是集数据采集与2G/3G/4G/5G数据传输功能于一体的环保数据采集终端，完全符合《污染物在线自动监控(监测)系统数据传输标准》(HJ 212-2017) 和(HJ 212-2005 0.jpg 集视频图像监控、数据采集、数据存储、无线通信传输于一体 TS511环保数采仪，集视频图像监控、数据采集、数据存储、无线通信传输于一体;实现环保数据的采集、存储、显示、控制、报警及加密传输等综合功能 ;智能采集上报实时采集数据、设备监控数据等数据信息;接口丰富，可扩展性强、功能强大，组网灵活。 2个RS232接口、2个RS485接口、2路脉冲接口、8路模拟量输入接口(16位AD、支持4-20mA电流或0-5V电压信号)、8路开关量输入接口、2路开关量输出接口、8路继电器输出(标配2路)、1个12 位格雷码接口(预留) 1.jpg 采集控制 兼容各种类型的各类水、气在线分析仪表和流量计等仪器;包含：浊度传感器、PH值传感器、COD、电导率、颗粒物、SO2、氨氮、PM2.5/10、噪声等
3.3K00发布于 2021-05-18 - 来自专栏数据社
浅谈数据治理之主数据识别（水利水电行业）
这篇文章紧贴水利行业，聊了作者自己的一些思考，欢迎大家评论区留言~ 作者：斯同 目前在水利水电行业某公司从事大数据架构相关工作，具有10多年的数据从业经验。 1.主数据治理的重要性 水利水电做为传统行业，水利水电信息化发展方面存在滞后性，以及业务信息系统建设的孤岛情况，数据方面的建设更是重灾区。 2.主数据 2.1主数据概念 DAMA中关于主数据的定义：主数据是有关业务实体(如雇员、客户、产品、金融结构、资产和位置等)的数据，这些实体为业务交易和分析提供了语境信息。 3.水利水电行业主数据 根据DAMA中主数据定义是有关业务实体(如雇员、客户、产品、金融结构、资产和位置等)的数据，类推到在水利工程行业中，主数据是关于业务实体的数据，这些实体可能包括（包含但不限于）项目 我们尝试仅从水利水电行业：水利工程、发电运行、库区管理三大类简单的列举主数据范围，以供数据治理人员进行参考分析。
70710编辑于 2024-05-01 - 来自专栏薪火数据
数据采集来源有哪些？数据采集方式有哪些？数据采集怎么做？
数据采集是指获取和收集数据的过程。数据采集来源多种多样，包括以下几个主要方面：1. 内部系统：企业内部各类系统和应用程序产生的数据，如企业资源计划（ERP）系统、客户关系管理（CRM）系统、人力资源管理系统（HRM）等。2. 数据采集方式有多种，根据数据来源和采集需求的不同，可以采用以下几种常见的数据采集方式：1. 手动输入：人工手动输入数据，适用于数据量较小、频次较低，且无法自动获取的情况。2. 针对数据采集的具体步骤，可以按照以下几个阶段进行：1. 规划阶段：明确数据采集目标和需求，确定数据源和采集方式，制定采集计划和时间表。2. 在进行数据采集时，需要明确采集目标、选择合适的数据源和采集方式，进行数据准备和清洗，进行有效的数据采集和质量控制，并确保数据的安全和隐私保护。
10K10编辑于 2023-12-29 - 来自专栏极客慕白的成长之路
数据采集：如何自动化采集数据？
上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。 那么，从数据采集角度来说，都有哪些数据源呢？我将数据源分成了以下的四类。 ? 这四类数据源包括了：开放数据源、爬虫抓取、传感器和日志采集。它们各有特点。 开放数据源一般是针对行业的数据库。 火车采集器 火车采集器已经有13年历史了，是老牌的采集工具。它不仅可以做抓取工具，也可以做数据清洗、数据分析、数据挖掘和可视化等工作。 总结 数据采集是数据分析的关键，很多时候我们会想到Python网络爬虫，实际上数据采集的方法、渠道很广，有些可以直接使用开放的数据源，比如想获取比特币历史的价格及交易数据，可以直接从Kaggle上下载， 另一方面根据我们的需求，需要采集的数据也不同，比如交通行业，数据采集会和摄像头或者测速仪有关。对于运维人员，日志采集和分析则是关键。所以我们需要针对特定的业务场景，选择适合的采集工具。
5.3K10发布于 2020-01-02 - 来自专栏短信接收服务
爬虫数据采集
这都是爬虫数据采集的功劳。 这篇文章我总结了爬虫数据采集的说有流程，从最开始的最简单的基本爬虫，到爬虫所采集到的数据如何存储，以及我们如何绕过一些反爬措施，来获取我们需要的数据，进行爬虫的数据采集： 爬虫介绍：主要介绍了什么是爬虫 爬虫所带来的道德风险与法律责任：这篇文章主要介绍了我们在做数据采集的时候，什么可以采集，什么不能采集，由于不当采集给我们带来的法律风险，我们需要注意的一些问题。 使用 API：我们在进行数据采集的时候，另外的一种方法，可以大大简化我们数据采集的难度，同时有些网站只提供 API 我们应该如何去获取数据。 数据清洗：这篇文章主要介绍了我们采集的数据，如何清洗大做进一步的处理，来达到项目的要求。 数据标准化：这篇文章主要介绍了数据清洗之后如何标准化，来达到可以做数据分析的要求。
2.9K10编辑于 2022-04-28 - 来自专栏geekfly
Java数据采集--2.使用Jsoup抓取开源中国
本节使用Jsoup获取网页源码，并且解析数据。 2.导入Jsoup所依赖的jar包。官网下载地址如下： http://jsoup.org/packages/jsoup-1.8.1.jar 3.创建JsoupDemo类。 2.分析网页源码 在目标网页上点击右键，火狐有使用FireBug查看元素，谷歌有审查元素，然后可以看到相应的源码和网页的对应情况。 如下图（以后都以谷歌浏览器为例）： 可以看到我们所需要的数据都在id="RecentNewsList "的div下的class="List"的ul下，并且每一条都对应一个li标签，那么我们只需要找到 "); for (Element element : elements) { Elements titleElement = element.select("h2
96910编辑于 2022-05-06 - 来自专栏物联网wtblnet.com
数据采集网关
数据采集网关是一种低功耗、高可靠性的无风扇配置。它具有内置的工业标准Modbus协议通信模块、主流数据库的数据采集接口和数据采集接收软件。协议模块可以扩展以支持更广泛的第三方设备、仪器和收集器。 网关在采集和接收相关变量的数据时，还可以通过配置进行复杂的业务逻辑操作，实现数据的标准化，为数据在上层管理系统中的直接应用提供了条件。 数据采集网关是一种安全稳定的工业数据采集和转换设备。 •管道传输和数据聚合 •WDCP是嵌入式对象通信和Bo-Lian管道协议，实现了对现场复杂机型的标准化访问，并将数据采集到数据中心进行计算和存储。 2）设备故障自愈设计：嵌入式硬件看门狗和软件看门狗技术，设备运行故障自愈，保证设备的高可用性。 强大的安全功能 1）数据传输安全：支持L2TP、PPTP、IPSec V**、开放V**、CA证书，确保数据传输安全。
2.9K00发布于 2019-12-07 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
（一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 2、Source Source 是负责接收数据到 Flume Agent 的组件。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。 2、编写Spark程序使用Flume数据源 （1）创建python文件 [root@bigdata flume]# cd /home/zhc/mycode/flume [root@bigdata flume
3.6K10编辑于 2025-01-22 注塑机数据采集网关能采集什么数据？
注塑机数据采集网关作为连接注塑机与上层管理系统（如MES、ERP、工业互联网平台）的关键设备，能够实时采集注塑机运行过程中的各类核心数据，涵盖设备状态、生产参数、工艺指标、能耗信息等多个维度，主要包括以下几类 生产过程核心参数：包括周期数据（总周期及合模、射胶等阶段时间）、模具与产品信息（模具编号、产品型号、产量及不良品数据），以及核心工艺参数（射胶/保压的速度、压力、位置，料筒及模具温度，锁模力等）。 辅助与扩展数据：如设备运行时长、停机分类统计等；此外，部分网关还能通过外接传感器获取冷却水参数、机械手状态、车间环境温湿度等扩展数据。 总而言之，注塑机数据采集网关采集可以采集的数据多种多样，但其核心都在于帮助企业实现生产过程透明化、质量追溯、能耗管控及效率提升。 如果你是有相关项目需求，可以了解一下矩形科技的π-EBOX数据采集网关，该网关功能强大，兼容90%以上的注塑机品牌和协议，只需将产品与注塑机连接，即可自动采集注塑机数据，实现真正的即插即用。
46010编辑于 2025-10-31- 来自专栏京东电商平台API接口开发系列
【京东】商品评价数据采集+商品评论数据采集+买家评论内容数据+行业评论数据采集
采集场景京东商品详情页中的评价，有多个分类：【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现，其他需点击后展现。本文以按【差评】筛选采集为例讲解。 采集字段用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。图片采集结果采集结果可导出为Excel、CSV、HTML、数据库等多种格式。 导出为Excel示例：图片 JD.item_review - 获得 JD 商品评论数据接口代码展示1. 请求方式：HTTPS POST GET 2. ，速度比较快result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读langString IDpage:页数4.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...） # coding:utf-8"""Compatible for python2.
2.5K20编辑于 2023-04-24 - 来自专栏解决方案
智慧水利数字孪生全生命周期交付体系最佳实践：穿透数据迷雾赋能水利新基建
通过构建物理水利工程的数字化镜像，数字孪生实现了从数据采集、模型构建到智能决策的全链路闭环，为防洪减灾、水资源调度、工程运维等场景提供了精准化、动态化的解决方案。 公司依托多源数据融合、高精度建模与智能仿真技术，构建从数据采集、模型开发到场景应用的闭环服务，为流域管理、水库调度、防洪减灾等提供精准化数字孪生支撑。 此阶段的关键是建立统一的数据标准与模型规范，确保后续各阶段数据的可继承性与一致性，避免“数据烟囱”。2、建设阶段：虚实融合，过程可控工程建设是数据采集与模型校准的黄金期。 此阶段应强调数据采集的自动化与模型更新的实时化，确保虚拟模型与物理实体同步演进。3、运维阶段：智能诊断，精准调度进入运行期，数字孪生的价值集中体现于“智慧运维”与“智能调度”。 数据融合，打破孤岛：制定水利数据资源目录与共享标准，打通水文、气象、工程、生态等部门数据壁垒。利用数据中台技术，实现多源数据的清洗、融合与服务化。
64200编辑于 2025-08-11 - 来自专栏Java架构师必看
数据运营平台-数据采集
目录 行为数据采集 业务数据采集与转换 第三方系统API对接 用户数据关联 人工数据采集 数据输出 ---- 行为数据采集 1.埋点采集 ①跨平台打通 确定性方法识别 利用用户帐号体系中，可以是系统生成的 Event要素 要素说明 采集的数据 示例 Who 参与事件的用户 用户唯一ID H522a3bd525a2af When 事件发生的时间 自动获取事件当时时间 11月11日00:02:03 Where 业务数据采集与转换 大数据平台的数据来源广泛，根据来源，大致分为两类： 1)内部 a)手工填报 b)流+实时数据采集 c)批量 2)外部 a)文件导入 b)网络爬虫 c)对外接口服务 根据以上分类提供以下方案 2、批量数据采集转换 批量数据采集有多种方案，比如通过开源组件sqoop、kettle等，或者通过阿里的DataX离线同步服务完成。批量数据的执行周期可自写定时任务，也可利用工具自带定时机制完成。 2)Kettle Kettle作为开源的ETL工具，具有比较完备的功能，同样支持多种数据源的采集转换功能，同时自带任务机制，无需自行手动编写定时任务；kettle提供Spoon可视化组件，可以视图形式完成转换任务及作业的创建
6.4K31编辑于 2022-07-06 - 来自专栏不止思考
大数据之数据采集
大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 事实上，统计JS在采集到数据之后，可以立即发送到数据中心，也可以进行适当的汇聚之后，延迟发送到数据中心，这个策略取决于不同场景的需求来定。 比如 清洗假流量数据、识别攻击、数据的正常补全、无效数据的剔除、数据格式化、数据隔离等。 客户端日志采集： 一般会开发专用统计SDK用于APP客户端的数据采集。 客户端数据的采集，因为具有高度的业务特征，自定义要求比较高，因此除应用环境的一些基本数据以外，更多的是从 “按事件”的角度来采集数据，比如 点击事件、登陆事件、业务操作事件 等等。 数据采集本身不是目的，只有采集到的数据是可用、能用，且能服务于最终应用分析的数据采集才是根本。
1.9K20发布于 2018-08-31 - 来自专栏万能的小草
网站及APP坑位流量归因分析-（2）数据采集篇
今天这一节，结合具体的业务场景来看看流量归因分析如何在数据采集方案上落地的。 弹幕量、投币量、次日留存率流量入口交叉对比分析 有多少用户来过此入口 观看时长、弹幕量、投币量、次日留存率 流量入口交叉对比分析 三、准备工作 为了实现流量的快速归因，需要依赖于我们有完善的数据采集 业内常用的是session_id Session_id：将用户（设备ID）访问一次APP内的所有路径记做行为路径的最小单元，而访问的定义是由埋点数据采集的session_id来界定的 Web端： 用户打开网站 2. 计算路径去重：统计页面跳转记为有效路径，不同层级跳转记为无效路径，剔除异常数据。 数据采集需要的信息如下： 字段顺序 字段名称 字段类型 字段注释 1 bili_code STRING 埋点点位编码 2 app_key STRING APP编码 3 app_name STRING APP
1.8K20编辑于 2022-09-21 - 来自专栏速入大数据
数据采集：从何开始？
数据采集：从何开始？作为大数据领域的自媒体创作者Echo_Wish，今天我想和大家聊一聊数据采集的起点。 一、明确数据采集的目标在开始数据采集之前，我们首先要明确一个问题：我们需要什么样的数据？这一步至关重要，因为它决定了后续的数据源选择、采集方法和数据处理方式。 三、数据采集工具与方法选择合适的数据源后，我们需要选用合适的数据采集工具和方法。下面以Python为例，介绍几种常见的数据采集方式：1. data = soup.find_all('div', class_='data_class')# 打印数据for item in data: print(item.text)2. SQL语句sql = "INSERT INTO table_name (column1, column2) VALUES (%s, %s)"val = ("value1", "value2")# 执行SQL
77110编辑于 2025-02-24 - 来自专栏数据库相关
prometheus 采集 snmp 数据
因为工作需要，需要采集下交换机的网络流量情况。 查了下google，发现几个好文章。 1、snmp_exporter的部署 https://blog.csdn.net/YUKEKECHEN/article/details/85960248 2、 告警表达式： https://
2K20发布于 2019-09-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号