- 综合排序
- 最热优先
- 最新优先
- 来自专栏工程监测
水库大坝实时安全监测特点分析
河北稳控科技水库大坝实时安全监测特点分析一、水库大坝实时监测系统简介水库大坝实时监测的主要任务是实时监测各个监测点水库水位、水压、渗流、流量、扬压力等，用无线传感网络完成数据传输，在计算机上用数据模式或图形模式反映出来 水库在线监测具有自动采集、分析和报告水库水位、降雨、图像、渗流等运行数据的功能，自组织网络和数据终端具有采集和通信各要素的功能，水库安全监测预警系统的云平台具有监测数据的智能分析和预警功能，实现了水库运行状态的感知和监测 、运行情况分析、安全管理、巡检在线管理等综合运行支撑，有效辅助相关部门制定防汛抗旱调度方案和应急预案，实现水库的信息化管理。 图片二、水库管理以及大坝安全监测方面采取的方法和大坝监测的特点分析针对目前我国在水库管理和大坝的安全监测方面采取的方法，主要分为两种，第一种就是人工巡视的方法，而第二种就是运用仪器进行监测的方法。 图片云平台：管理云平台（SLU闸坝监测预警系统 ）和（WMWS在线监测管理系统）数据的存储、计算、分析与监控，异常数据告警，设备远程控制与配置。
1.3K30编辑于 2022-08-11 - 来自专栏ts流分析
hysAnalyser --- 支持UDP实时TS流分析和录制功能
摘要 本文主要介绍 hysAnalyser 支持TS over UDP实时流分析和录制功能，满足用户分析实时流码率，PSI/SI，时间戳PCR等基本指标。 该功能和 hysAnalyser --- 支持文件转播UDP/RTP实时流功能 类似，辅助流媒体从业人员解决实时流的实际问题。 Windows上找不到一款能快速接入流、直观看到问题波形、还能顺手把问题流录下来的工具……这种“无从下手”的无力感，我们深有体会。 hysAnalyser 新版本的UDP实时流分析正是为此而生。 实时流分析和录制功能介绍 1.1. 功能入口 1.2. 基本界面 录流说明 主要操控和信息 主要支持（PCR曲线和TR101290在开发中） 码率实时曲线，统计周期可设置，有效范围 50,200,500,1000 单位毫秒 日志，提供基本状态和数据呈现，满足观察码率
39800编辑于 2025-11-04 - 来自专栏ts流分析
hysAnalyser --- UDP实时流分析使用指南
摘要 本文主要介绍 hysAnalyser 支持UDP实时流分析使用方法，并提供了图示说明。 注释：本文是 hysAnalyser --- 支持UDP实时TS流分析和录制功能 补充和完善。 、OTT、互联网流媒体等领域，协助用户跟踪和分析查错和定位TS数据、DVB业务数据表问题，并且还可以支持定制化的MPEG-TS素材制作和转存。 UDP实时流分析介绍 主要功能 码率实时曲线，统计周期可设置，有效范围 50,200,500,1000 单位毫秒，支持整体码率和有效码率； PCR间隔曲线，抖动曲线 TR101290 指标统计 PSI/ SI 各种数据表的统计和分析 日志，提供基本状态和数据呈现，满足观察码率，PCR异常变化等关键信息 便捷的录流方法 历史记录的导出（主要支持码率和PCR记录导出） PID数据统计等 1.1. PSI/SI功能增强 UDP流分析时，PSI/SI信息是必备指标。已将该功能扩展到文件分析，下面是样例抓图。
37420编辑于 2025-11-26 - 来自专栏喔家ArchiSelf
实时流分析：一个案例
【引子】本文根据《实时分析实战》一书的第3章提炼而成，旨在通过一个具体案例来了解实时流分析面对的具体场景以及潜在的技术实现。 一旦验证无误，订单便会被推送至事件流处理平台，以便进一步的处理和分析。 图 3-3. ，已被众多组织采纳，以高效地处理大规模实时数据流。 现有架构 既然我们已经完成了现有架构的配置，那么是时候考虑如何基于这些数据实现实时分析应用程序了。 3.4 实时分析的应用 接下来，我们将探索如何集成实时分析功能。 以AATD为业务案例，我们打算实施实时分析，同时针对第9页所述的“实时分析应用分类”中的各个象限进行具体阐述。
30510编辑于 2024-11-07 - 来自专栏机器学习AI算法工程
智慧课堂实时监测系统
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 项目简介 本项目基于PaddlePaddle和EasyDL平台，以教务处和学工为一级用户，高校教师为二级用户，针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统 本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感，以及语言的用词方面。项目中语音的模型均采用EasyDL平台进行训练，调用在线API进行预测分析。 而图像模型由于在线API无法达到实时性的要求，采用本地训练Paddle模型库中的模型并使用。 数据集 从互联网中查找在课堂场景中的语言文本，分为积极、消极两类 功能介绍 实时监测线程 本项目中的所有监测功能均采用线程的方式进行识别 对于GPU的调用、UI的刷新都用线程锁进行控制 总监控界面 在本页面中首先展示教室内学生状态的检测，对于玩手机的学生以用红色圈出，睡觉的学生用黄色圈出，站立的学生用蓝色圈出，同时描绘柱状图 下面展示教师的监控视频，检测教师的语速、情感，用折线图显示 右边显示识别出来的教师语音，有情感分析和敏感词识别
2.8K20编辑于 2022-08-26 Java实时流
本篇博客将带你深入了解Java实时流数据处理，并介绍一个具体的案例分析，展示如何通过精心编写的Java代码来构建高性能的数据处理应用程序。 分析： 在这个案例中，我们使用Apache Kafka作为消息队列，Apache Flink作为流处理框架。通过Kafka，我们可以接收到用户行为数据，并将其发送给Flink进行实时处理。 结论： 通过本案例的分析和代码示例，我们可以看到Java在实时流数据处理方面的强大能力。通过合理地利用Java的工具和库，我们可以构建高性能的实时数据处理应用程序，为用户提供更好的体验和服务。 参考图像： 同时，为了更好地理解整个数据处理流程，上面还提供了一个参考图像，展示了数据在实时流处理应用中的流动和处理过程。 希望本篇博客能够为您提供有关Java实时流数据处理的深入理解，以及构建高性能数据处理应用的技巧和示例。如果您对具体实现有任何问题或疑惑，请随时提问。谢谢阅读！
24410编辑于 2025-08-29- 来自专栏吴生的专栏
基于Flink流处理的动态实时电商实时分析系统
开始学习前建议大家认真阅读下文： 随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。 在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。 因此，用户通常需要写两套代码。 毫无疑问，这带来了一些额外的负担和成本。 这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持，这就是阿里选择Flink的背景和初衷。 随着互联网不断发展，数据量不断的增加，大数据也是快速的发展起来了。 本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。
1.9K00发布于 2018-11-16 - 来自专栏腾讯云流计算 Oceanus
实时数仓：基于流计算 Oceanus 实现 MySQL 和 HBase 维表到 ClickHouse 的实时分析
实时即未来，最近在腾讯云流计算 Oceanus（Flink) 进行实时计算服务分享给大家~ 项目背景 本文介绍了结合 MySQL 数据库、流计算 Oceanus（Flink)、HBase 以及云数据仓库 ClickHouse 来构建实时数仓，并通过流计算 Oceanus 读取 MySQL 数据、关联 HBase 中的维表，最终将数据存入云数据仓库 ClickHouse 进行指标分析，实现完整实时数仓的全流程操作指导 环境搭建 1.1 创建流计算 Oceanus 集群 在流计算 Oceanus 产品活动页面 1 元购买 Oceanus 集群。 数据清洗和运算加工 2.1 数据准备 2.1.1 MySQL-CDC 数据和 HBase 维表数据 按照上面操作中创建表，并向MySQL和HBase表中插入数据。 详细运算逻辑可参考： 流计算 Oceanus 运算符和内置函数 或者Flink官网Flink SQL开发章节 INSERT INTO student_school SELECT student.id
2.6K30编辑于 2021-12-21 - 来自专栏燧机科技-视频AI智能分析
河道采砂实时监测系统
河道采砂实时监测系统通过python+yolov5网络模型技术，河道采砂实时监测系统能够对河道两岸非法采砂船进行7*24小时自动检测识别，河道采砂实时监测系统发现违规采砂行为（采砂船），不需人为干预自动抓拍告警 Python是一种由Guido van Rossum开发的通用编程语言，它很快就变得非常流行，主要是因为它的简单性和代码可读性。它使程序员能够用更少的代码行表达思想，而不会降低可读性。 ，而one-stage直接从图片生成位置和类别。 在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；并提出了一种自适应锚框计算与自适应图片缩放方法。 针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。YOLOv4利用GIOU_Loss来代替Smooth L1 Loss函数，从而进一步提升算法的检测精度。 图片
50920编辑于 2023-03-14 - 来自专栏智慧农业
苗情监测站：用于实时监测作物生长状况
苗情监测站：用于实时监测作物生长状况【TH-MQ1】苗情监测站作为现代农业科技的重要组成部分，通过集成多种传感器和先进技术，能够实时、精准地监测作物生长状况，为农业生产提供科学依据和决策支持。 光合速率：利用光合作用测定仪或气体交换分析系统，实时监测作物光合速率，了解作物对光照、二氧化碳和温度的响应。光合速率异常可能反映环境胁迫或作物生理障碍。 环境参数土壤水分：采用时域反射仪（TDR）或频域反射仪（FDR）传感器，实时监测土壤水分含量，指导精准灌溉。土壤水分过多或过少都会影响作物根系生长和养分吸收。 光照不足会影响作物光合产物积累，导致生长缓慢和产量降低。核心技术传感器技术：集成多种高精度传感器，实现对作物形态、生理和环境参数的实时、精准监测。 大数据分析与人工智能技术：利用大数据分析算法和人工智能模型，对海量监测数据进行深度挖掘和分析，提取有价值的信息和规律。
35210编辑于 2025-07-31 - 来自专栏文鹃阁
用Shell脚本实时监测进程
之前在网上复制的脚本根本就是假的，害我检查了好久，最后还是自己修修改改才成功了，下面就是整个脚本文件，只需要把名字和路径替换一下就行了。 #! /$name;exec bash;"这句话非常棒，是我在网上搜到的一个命令，新开一个命令行执行你的脚本，不跟看门狗冲突，让我们可以实时看到看门狗的输出。
1.1K20编辑于 2022-09-01 - 来自专栏大数据知识
实时流处理Kafka
在大数据学习中，实战演练是必不可少的，下面就以实战项目技术构架体系中实时流处理kafka为例做一个详细讲解。流处理就是介于请求应答和批处理之间的一种新型计算模型或者编程模型。 第一个选项就是 DIY，Kafka 提供了两个客户端 —— 一个简单的发布者和一个简单的消费者，我们可以使用这两个客户端进行简单的流处理操作。 举个简单的例子，利用消息消费者来实时消费数据，每当得到新的消费数据时，可做一些计算的结果，再通过数据发布者发布到 Kafka 上，或者将它存储到第三方存储系统中。DIY 的流处理需要成本。 以上这些都说明，利用 DIY 做流处理任务、或者做流处理业务的应用都不是非常简单的一件事情。第二个选项是进行开源、闭源的流处理平台。比如，spark。 在 Kafka 0.10 当中已发布轻量级流处理内容平台，我们可以设想，跟其他客户端发布者和消费者一样，它也是一个客户端，不同之处在于它是一个计算者客户端，一个好用的、功能强大的客户端，并且支持 state
96720编辑于 2023-04-06 - 来自专栏软件研发
远程控制和监控：实时管理和监测物联网设备的状态
远程控制和监控：实时管理和监测物联网设备的状态物联网（IoT）技术正逐渐渗透到我们的日常生活中，带来了许多方便和智能化。然而，随着物联网设备数量的增加，如何高效地管理和监测这些设备的状态成为一个挑战。 在本文中，我们将探讨一种解决方案，即远程控制和监控，它允许我们实时管理和监测物联网设备的状态。什么是远程控制和监控？远程控制和监控是一种通过网络连接实现的远程管理和监测物联网设备的技术。 远程控制和监控的优势远程控制和监控技术为物联网设备管理和监测提供了许多优势，包括以下几点：实时性：远程控制和监控系统可以提供实时的数据更新和设备状态反馈。 状态监测：远程控制和监控系统可以实时监测物联网设备的状态。它可以提供设备的当前状态、历史数据和报警信息。 以下是一个示例代码，展示了如何使用Python和Flask框架搭建一个简单的实时管理系统，可以实时监控和管理用户提交的数据。
1.5K20编辑于 2023-11-22 - 来自专栏大数据成神之路
Spark Streaming + Canal + Kafka打造Mysql增量数据实时进行监测分析
Spark中的Spark Streaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时分析处理MySQL中的增量数据。 假设Mysql中 canal_test 库下有一张表 policy_cred ，需要统计实时统计 policy_status 状态为1的 mor_rate 的的变化趋势，并标注比率的风险预警等级。 =canal_test # enable druid Decrypt database password canal.instance.enableDruid=false # 配置过滤的正则表达式，监测 Spark 通过上一步我们已经能够获取到 canal_test 库的变化数据，并且已经可将将变化的数据实时推送到Kafka中，Kafka中接收到的数据是一条Json格式的数据，我们需要对 INSERT 和 UPDATE 类型的数据处理，并且只处理状态为1的数据，然后需要计算 mor_rate 的变化，并判断 mor_rate 的风险等级，0-75%为G1等级，75%-80%为R1等级，80%-100%
1.8K20发布于 2021-04-21 - 来自专栏数据科学
股票实时流计算
df.to_msgpack()) time.sleep(10) In [2]: q1 = quotation_engine.all df = pd.DataFrame(q1).T 定义数据流¶ c8f2c3fae6ae'); {"model_id": "8629bab4ae2a42fe908a3fe8b82354c0", "version_major": 2, "version_minor": 0} 定义流算法 bootstrap.servers': 'localhost:9092','message.max.bytes': 5242880}) p.produce('test-quant',df.to_msgpack()) 流计算过程的可视化
2.9K40发布于 2018-12-20 - 来自专栏全栈程序员必看
舆情监测分析系统_舆情监测系统
如此海量的信息可以得到爆炸式的传播，如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。 我们的舆情分析系统的目的是通过大数据技术实时获取民众舆论并分析舆论变化情况，同时能够提供舆情预警使得可以引导舆情向好的方向发展。 2.3 舆情分析系统功能架构 下图为舆情分析系统整体功能架构图: 2.4 系统数据描述 系统的数据来源于微博博文与今日头条新闻文章舆情数据的实时爬取，爬取的数据包括文章内容、文章作者、文章点赞量 ），表格可根据事件负面评论占比和环比增长率进行排序，其中正增长用红色字体和增长箭头标识，负增长由绿色字体和下降箭头标识，点击事件名称可跳转至对应事件详情页。 3.6.2 事件评论情感走势 折线图展示当前事件下所有评论的情感趋势变化，图像中标识出最大值和最小值，横坐标为事件，纵坐标分别为负面评论和正面评论的占比，点击折现右边显示当前横坐标时间之前的所有评论
6.1K30编辑于 2022-09-29 - 来自专栏运维自动化脚本
运维脚本：实时监测登录日志
通过实时监控登录日志，运维人员可以发现潜在的异常登录行为，防止系统被非法访问。 问题引入：如何实现实时监控登录日志，并及时响应潜在的安全风险？ 实时监控登录日志的意义 安全性：通过监控登录日志，可以迅速发现恶意登录、暴力破解等异常行为。 合规性：确保满足各种合规要求，记录所有用户的登录行为。 技术选型：通过编写 Bash 脚本，结合inotify、awk、grep 等工具，来实现对日志文件的实时监控与分析。 脚本实现原理 实时监控：利用 inotify 命令动态监控日志文件的变动，并结合 sed 命令实时提取和输出新增的登录日志。 日志筛选：通过 grep 等工具过滤出登录失败、异常登录等相关信息。 /bin/bash # 作者: 阿杰 # 用途: 实时检测登录日志,统计异常登录 # 脚本名称: watch_secure.sh # 用法: bash watch_seacure.sh # 日志记录
58131编辑于 2024-11-28 - 来自专栏腾讯云流计算 Oceanus
实时监控：基于流计算 Oceanus（Flink) 实现系统和应用级实时监控
本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其 App 应用的 CPU和内存等资源消耗数据，以短信、电话、微信消息等方式实时反馈监控告警信息， 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Prometheus 等，通过 Filebeat 实时采集系统和应用监控数据 实时监控场景.png 1.2 方案架构 [架构图] 2 前置准备 在使用前，请确保已购买并创建相应的大数据组件。 2.2 创建 Ckafka 实例 注意私有网络和子网选择之前创建的网络和子网。Kafka建议选择最新的2.4.1版本，和Filebeat采集工具兼容性较好。 [编辑Dashboard] 展现效果如下: 总数据量写入实时监控：对写入数据源的总数据量进行监控； 数据来源实时监控：对来源于某个特定log的数据写入量进行监控； 字段平均值监控：对某个字段的平均值进行监控
7.3K254发布于 2021-09-09 - 来自专栏腾讯技术工程官方号的专栏
实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控
---- 作者：吴云涛，腾讯 CSIG 高级工程师 本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其 App 应用的 CPU和内存等资源消耗数据 一、解决方案描述 （一）概述 本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Prometheus 等，通过 Filebeat 实时采集系统和应用监控数据 购买完成后，再创建 Kafka topic: topic-app-info （三）创建流计算 Oceanus 集群 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。 流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。
2.9K30发布于 2021-10-14 - 来自专栏腾讯云大数据
实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控
---- 作者：吴云涛，腾讯 CSIG 高级工程师 本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其 App 应用的 CPU和内存等资源消耗数据 一、解决方案描述 （一）概述 本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Prometheus 等，通过 Filebeat 实时采集系统和应用监控数据 购买完成后，再创建 Kafka topic: topic-app-info （三）创建流计算 Oceanus 集群 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。 流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。
1.7K20发布于 2021-10-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号