- 综合排序
- 最热优先
- 最新优先
- 来自专栏音视频咖
4K8K 超高清实时处理与分发
4K/8K超高清时代的来临对于原有系统带来很多新的挑战，存储、带宽、算力成本的大幅增长也是阻碍超高清推广普及的重要原因。 在LiveVideoStackCon 2023上海站，腾讯云专家工程师刘兆瑞为我们分享了4K/8K超高清视频在实时编码的过程中遇到的困难以及解决方案。 通常4K/1080P解码并不需要耗费很多资源，瓶颈往往都在编码。但在8K场景，解码成为了新的瓶颈。 处理速度快的设备是8×16G的内存，处理慢的设备是4×32G的内存。 内存带宽限制在低分辨率的情况下表现正常，但对于8K高分辨率会造成很大的影响。 通过视频增强、AI增强算法等操作可以实现4K实时超分，但是目前还很难支持实时超分8K。在这个背景下，我们利用分布式增强能力，支持直播过程中从4K到8K的超分。
1.2K20编辑于 2023-08-23 - 来自专栏AI技术体系搭建过程
中间件系列：4 探索 Flink：大数据实时处理的得力框架
4. 事件时间语义：支持多种时间概念，通过 Watermark 机制管理延迟。 5. 灵活的状态管理：状态类型丰富，存储可内存或 RocksDB。 6. 丰富的窗口机制：窗口类型多样，触发条件灵活。
48310编辑于 2025-07-01 - 来自专栏CSDN技术头条
大数据实时处理实战
从大数据实时处理架构开发到上线，耗时近2个月时间，经过大量优化，我们的系统才趋于稳定。 对于实时性要求高的应用，如用户即时详单查询，业务量监控等，需要应用实时处理架构。 目前大数据开源实时处理架构最常见的是Storm和Spark Streaming，相比Spark Streaming准实时批处理系统，Strom是更纯粹的实时处理系统，即来一条事件就处理一条，具有更高的实时性 属性，则每个Supervisor默认提供4个slot），因此共有4*6=24个slot，已使用22个，还有2个空闲。 根据实时处理数据量大小按需配置 conf.setNumWorkers(4); StormSubmitter.submitTopologyWithProgressBar(
2.6K100发布于 2018-02-12 - 来自专栏实时流式计算
大数据实时处理的王者-Flink
不熟悉流处理的同学可以关注下这两篇文章，什么是实时流式计算？https://mp.weixin.qq.com/s/1-rE6aayiDIK0dA0j_EG9w
2K10发布于 2019-08-27 - 来自专栏xingoo, 一个梦想做发明家的程序员
Flink基础：实时处理管道与ETL
value -> value.f0) // .keyBy(value -> value.startCell) .maxBy(1) // duration .print(); 可以得到输出结果： 4> (64549,5M) 4> (46298,18M) 1> (51549,14M) 1> (53043,13M) 1> (56031,22M) 1> (50797,6M) ... 1> (50797,8M 4 连接流 大部分场景中Flink都是接收一个数据流输出一个数据流，类似管道式的处理数据： ?
1.8K20发布于 2020-11-13 流数据架构：实时处理与挑战
流数据详解：优势、架构与挑战数据流是指数据从源端持续流向目标端，以便进行近实时处理和分析。什么是数据流？企业可能拥有数千个数据源，这些数据被输送到不同的目的地。 数据流使组织能够实时处理数据，让公司有能力监控其业务的方方面面。监控的实时性使得管理层能够比使用任何其他数据处理方法更快地对危机事件做出反应和响应。 流数据架构支持实时处理和分析，因此用户无需等待批处理提供所需信息即可做出决策。一个成功的流数据架构确保其组件能够高效协同工作。它必须能够扩展以处理高速、高容量的数据，且不产生延迟或故障。
12810编辑于 2026-04-05- 来自专栏Jed的技术阶梯
Flink入门案例-WordCount实时处理
初始化数据 DataStreamSource<String> source = env.socketTextStream(host, port); // 4. (3) 运行程序 (4) 在服务器上输出一些单词，在程序控制台查看结果 ? ? Flink WordCount 程序Java版就完成咯。 4.
6.1K30发布于 2019-07-25 - 来自专栏架构师之路
快速，实时处理大量数据，架构如何解？
先领资料预习，学习效果更好） DAY1 (8.18) （1）离线计算和实时计算的应用场景 （2）大数据离线计算框架MapReduce的编程模型 （3）MapReduce实现共同好友推荐的编程思路 （4） 如何解决计算过程中遇到的数据倾斜 DAY2 (8.19) （1）基于内存的大数据计算引擎Spark特性详解 （2）Spark最核心概念弹性分布式数据集RDD （3）使用Scala编程语言实现网页浏览量统计 （4） 从MR到Spark看大数据计算框架的演变 DAY3 (8.20) （1）大数据实时计算框架Storm的体系架构 （2）Storm编程拓扑图与编程案例 （3）Mapreduce和Spark有哪些不足 （4）
1.5K30发布于 2020-08-21 - 来自专栏大数据成神之路
使用Kafka+Spark+Cassandra构建实时处理引擎
Apache Kafka 是一个可扩展，高性能，低延迟的平台，允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。
1.5K60发布于 2019-11-07 实时处理、批处理与流处理技术解析
实时处理 vs. 批处理 vs. 流处理随着创新速度的持续加快，开发人员需要在任意给定时间段内分析太字节甚至拍字节的数据。这当然带来了诸多优势。但如何处置所有这些数据？ 对于数字化优先的企业而言，如何最优地使用实时处理、批处理和流处理已成为日益重要的问题。本文将解释这些数据处理类型的基本差异。实时数据处理与操作系统实时操作系统通常指对数据的反应。 越来越多的软件系统开始采用一种实时处理的变体，其中截止时间不再是绝对要求，而是概率性的。这种称为软实时系统，通常或一般能够满足截止时间，但如果错过太多截止时间，性能将开始下降。 实时处理应用场景当您持续输入和处理数据，并处理稳定的数据输出流时，就需要实时处理。 以下是一些需要实时处理的实际场景：自动柜员机(ATMs)：为提升客户体验、增强后台效率和分析能力，并减少欺诈，银行正在采用实时处理。
23910编辑于 2025-10-30- 来自专栏EDI电子数据交换知识分享
如何提高企业实时处理数据的自动化程度？
本文主要围绕当前我国数据自动化传输发展现状和发展前景等方面展开，分析当前国内外企业的数据自动化处理程度，以及如何提高自动化处理程度。
62210发布于 2021-01-07 - 来自专栏全栈程序员必看
opencv 视频实时处理_opencv 控制摄像头
的主要函数如下： （1）capCreateCaptureWindow():：创建视频窗体 （2）capDriverConnect()： 连接驱动 （3）capGetStatus()：获得视频状态 （4）
1.7K31编辑于 2022-11-01 - 来自专栏1001482的专栏
大数据实时处理利器 storm 的 ui 解剖
summary： 展示所有的 nimbus 节点，包含主机名称、端口号、是否 leader、版本号、在线时间、启动时间 [1500360752990_252_1500360752981.png] 4、 4、 写的 topology 加了很多 debug 级别日志输出，但是发现 storm 的日志级别是 error 级别的，自己想看的日志无法输出啊，怎么办？好捉急啊！！
4.4K10发布于 2017-07-20 - 来自专栏ATYUN订阅号
AI系统DeepRay实时处理视频，重建模糊的镜头帧
雨，烟雾，污垢等往往会干扰到摄影师，导致拍摄的景象失真。研发公司Cambridge Consultants的研究人员表示，他们利用AI可以实时重建镜头中受损或模糊的帧。在一次关于机场的视频测试中，它能够准确地再现跑道上的飞机。
1.2K10发布于 2018-12-24 - 来自专栏日志服务CLS
CLS「数据加工」：实时处理腾讯会议千亿级日志
2021年Q4重磅推出「数据加工」，2022.3.15前免费，欢迎大家使用该功能！ 数据加工—海量日志实时处理 截屏2022-01-04 17.27.44.png 首先，数据加工是什么呢？ 客户案例 腾讯会议——千亿日志实时处理 腾讯会议的数据服务团队需要从客户端的海量日志数据(千亿条/天) 上报中, 实时从中获取需要的部分数据, 按照规则提取和处理后进行回流分析和业务判断。 fields_set("loglevel",regex_select(v("content"),regex="\[[A-Z]{4}\]",index=0,group=0))。 新建一个字段 logtime，使用正则d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3}匹配2021-11-24 11:11:08。 ([a-z]{3}):([0-9]{4})",index=0,group=0)) 丢弃 content 字段。
1.1K20编辑于 2022-01-04 - 来自专栏互联网技术栈
Druid：实时处理时序数据的OLAP数据库
Druid：实时处理时序数据的OLAP数据库 整个数据分析的基础架构通常分为以下几类。 （1）使用Hadoop/Spark 的MR 分析。 （4）将数据源进行流式处理，对接流式计算框架，如Storm，结果落在RDBMS/NoSQL 中。 （5）将数据源进行流式处理，对接分析数据库，例如Druid、Vertica 等。
1.9K20发布于 2018-12-12 如何在YashanDB上实现数据的实时处理与分析
在现代数据库技术领域，实现数据的实时处理与分析面临诸多挑战，诸如性能瓶颈、数据一致性维护、事务处理效率和系统可扩展性等。 YashanDB的多样部署架构与实时处理能力YashanDB支持三种部署形态：单机（主备）部署、分布式集群部署和共享集群部署。 这种MPP架构结合异步网络通讯和数据交换机制，确保了分布式系统下的数据实时处理能力。 技术建议根据业务实时处理需求选择部署架构。对高并发实时分析业务，推荐分布式部署以获得线性扩展和并行计算能力；对核心在线交易，优先考虑共享集群部署保障高可用与强一致性。合理使用列式存储结构。 随着数据规模和业务复杂性的提升，数据库的实时处理能力和优化技术将成为核心竞争力。持续深入理解和合理应用YashanDB的技术能力，将推动企业数据资产的高效价值实现和智能决策支持。
23910编辑于 2025-10-06- 来自专栏Python项目实战
边缘计算：让数据不再“绕远路”，实时处理能力这样提升！
边缘计算：让数据不再“绕远路”，实时处理能力这样提升！今天咱聊个看似高大上、其实和生活息息相关的技术——边缘计算（Edge Computing）。 为什么实时处理这么难？ 具体点说：边缘设备负责实时处理、过滤、预警，比如只上传“异常数据”；云端平台负责复杂建模、大规模训练、全局调度。这就像工厂流水线：边缘节点是工人，先挑掉明显的坏货；云端是质检中心，做更深层的分析。 假设我们在工厂边缘网关上，需要实时处理传感器数据（温度+震动），一旦发现异常就立刻告警，而不是把所有数据都丢到云端。 4. 边缘计算的几个关键优势我总结了三个最核心的点：延迟低数据在本地处理，毫秒级响应。适合无人驾驶、工业机器人这种“耽误一秒可能就出事故”的场景。
41810编辑于 2025-09-14 - 来自专栏大数据
Flink vs Spark Streaming：谁更适合你的实时处理需求？
在大数据实时处理领域，Apache Flink和Apache Spark Streaming是两大主流框架。它们都能处理实时数据流，但设计理念和适用场景却大不相同。 event_type, COUNT(*) FROM events GROUP BY TUMBLE(event_time, INTERVAL '10' MINUTE), event_type""")4.
54220编辑于 2025-10-21 - 来自专栏云计算与大数据技术
大数据实时处理框架之flink win10快速部署
4、WEB页面上传jar包执行 点击 Add New 上传本地 jar 包 ? 上传之后点击 submit 提交 ?
1.8K30发布于 2021-04-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号