- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据进阶
flink系列(6)-流分区器partition分析
流分区器，在流进行转换后，flink通过分区器精确控制数据的流向，下图是flink提供的所有的所有的分区器 ?
1.6K20发布于 2019-09-17 - 来自专栏全栈程序员必看
视音频数据处理入门：UDP-RTP协议解析「建议收藏」
* (3)H.264码流分析程序。可以分离并解析NALU。 * (4)AAC码流分析程序。可以分离并解析ADTS帧。 * (5)FLV封装格式分析程序。 可以将FLV中的MP3音频码流分离出来。 * (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。 ffmpeg -re -i sintel.ts -f mpegts udp://127.0.0.1:8880 下面的命令可以推流首先经过RTP封装，然后经过UDP封装的MPEG-TS。 (3)H.264码流分析程序。可以分离并解析NALU。 (4)AAC码流分析程序。可以分离并解析ADTS帧。 (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。 (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。
1.9K30编辑于 2022-09-13 - 来自专栏音视频开发技术
FFmpeg封装格式处理
概述 1.1 封装格式简介 封装格式(container format)可以看作是编码流(音频流、视频流等)数据的一层外壳，将编码后的数据存储于此封装格式的文件之内。 -1/MPEG-2/MPEG-4/H.264 MPEG-1 Layers I,II,III/AAC IPTV，数字电视 Flash Video(.flv) Adobe公司 支持 Sorenson/VP6/ MPEG-TS (MPEG-2 Transport Stream) 1.2.2 h264/aac裸流封装格式 h264裸流封装格式和aac裸流封装格式在后面的解复用和复用例程中会用到 h264本来是编码格式，当作封装格式时表示的是H.264裸流格式，所谓裸流就是不含封装信息也流，也就是没穿衣服的流。aac等封装格式类似。 6.
3.5K20发布于 2019-04-02 - 来自专栏实战docker
Golang流媒体实战之七：hls拉流服务源码阅读
在《体验开源项目lal》一文中，咱们先是用rtmp协议推流，然后就行了拉流操作，尽管只用rtmp推流，然而拉流的时候却可以使用多种协议：rtmp、flv、hls，这就有意思了，想必lal在处理推流数据时有特殊处理吧 ，所以才能用各种协议来拉流 为了弄明白其中原因，本篇咱们就来阅读hls相关源码，看看rtmp推流时为hls做了什么，以及hls拉流时lal的详细逻辑 关于hls和m3u8的细节，就在本篇展开了，这个仅给出一些关键信息作为参考 ) 推流，初始阶段 首先看推流处理，关于rtmp推流的源码，其实已在 《Golang流媒体实战之五：lal推流服务源码阅读》有详细分析，所以这里就不从头说起了，只挑出hls有关代码来看 处理推流时，publish #FeedRtmpMessage -> rtmp2mpegts_filter_.go#Push -> rtmp2mpegts.go#onPop -> feedVideo (这段代码比较复杂，值得细看) m.getFragmentId() filename := PathStrategy.GetTsFileName(m.streamName, id, int(Clock.Now().UnixNano()/1e6)
1.7K20编辑于 2023-04-24 - 来自专栏实战docker
Golang流媒体实战之三：转推和录制
，录制节点负责录制flv文件，源站作为媒体源，接受外部拉流（源站->拉流->VLC这个链路已在前文《Golang流媒体实战之二：回源》详细说明） 如果把FFmpeg换成主播，VLC换成观众，是不是有直播内味了 /lal_record/flv/", "enable_mpegts": false, "mpegts_out_path": ". /lal_record/flv/", "enable_mpegts": false, "mpegts_out_path": ". /lal_record/mpegts" }, 将修改后的配置存盘，执行以下命令启动 . /sample.mp4 \ -c copy \ -f flv \ 'rtmp://127.0.0.1:1935/live/test110' 推流成功后，先用VLC直接从源站拉流试试，如下图，能正常播放，
1.6K20编辑于 2023-03-27 - 来自专栏狗哥的专栏
【ZStack】6.工作流引擎
通过一个工作流引擎，ZStack的每一个步骤，包裹在独立的工作流中，可以在出错的时候回滚。此外，通过在配置文件中组装工作流的方式，关键的执行路径可以被配置，这使得架构的耦合度进一步降低。 工作流引擎 工作流是一种方法，把一些繁琐的方法调用分解为一个个专注于一件事情的、细粒度的步骤，它由序列或状态机驱动，最终完成一个完整的任务。 配置好回滚处理程序后，当错误或未处理的异常在某一步骤发生时，一个工作流可以中止执行并回滚所有之前的执行步骤。 以创建虚拟机为例，主要工作流程看起来像： 顺序工作流，来源于链式设计模式（Chain Pattern），有着可以预见的执行顺序，这是ZStack工作流的基础。 通常当要创建的工作流是琐碎的、流程不可复用的时候，使用这种方法。
42610编辑于 2024-01-09 - 来自专栏后台技术底层理解
Oozie工作流分析
oozie基本架构 是一个工作流调度系统 工作流的调度是DAG（有向无环图）-Directed Acyclical Graphs Coordinator job可以通过时间和数据集的可用性触发 集成了Hadoop Coordinator： 协调器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。 Bundle： 捆，束。将一堆的coordinator进行汇总处理。 <switch> 6. 操作工作流：Azkaban使用Web操作。Oozie支持Web，RestApi，Java API操作。 出现失败的情况：Azkaban会丢失所有的工作流，但是Oozie可以在继续失败的工作流运行。
1.5K10发布于 2020-08-04 - 来自专栏原创分享
nodejs可读流源码分析
我们通过源码去了解一下可读流实现的一些逻辑。因为实现的代码比较多，逻辑也比较绕，本文只分析一些主要的逻辑，有兴趣的可以参考文档或者自行深入看源码了解细节。 nodejs只是抽象了流的逻辑，具体的操作（比如可读流就是读取数据）是由用户自己实现的，因为读取操作是业务相关的。下面我们分析一下可读流的操作。 _destroy = function(err, cb) { this.push(null); cb(err); }; 刚才分析push函数时已经看到this.push(null)表示流结束了。 销毁流意味着关闭流对应的底层资源，不再提供数据服务。 总结：本文就分析到这里，流的实现代码不算很难，但是非常绕，有兴趣的可以详细看源码，最后分享很久之前画的一个图（链接https://www.processon.com/view/link/5cc7e9e5e4b09eb4ac2e0688
1.1K30发布于 2020-07-22 - 来自专栏山河木马
脱离文档流分析（转）
脱离文档流，也就是将元素从普通的布局排版中拿走，其他盒子在定位的时候，会当做脱离文档流的元素不存在而进行定位。 只有绝对定位absolute和浮动float才会脱离文档流。 分别分析一下position的几个值 （1）static 默认值，无定位，不能当作绝对定位的参照物，并且设置标签对象的left、top等值是不起作用的的。 （2）relative 相对定位。 相对定位是相对于该元素在文档流中的原始位置，即以自己原始位置为参照物。有趣的是，即使设定了元素的相对定位以及偏移值，元素还占有着原来的位置，即占据文档流空间。 元素原先在正常文档流中所占的空间会关闭，就好像该元素原来不存在一样。元素定位后生成一个块级框，而不论原来它在正常流中生成何种类型的框。 另外要注意：仅使用margin属性布局绝对定位元素的情况 此情况，margin-bottom 和margin-right的值不再对文档流中的元素产生影响，因为该元素已经脱离了文档流。
1.9K20发布于 2019-03-05 - 来自专栏SRS开源服务器
SRS6.0: 七年长跑，全面支持H.265
第三部分，浏览器H5播放流，MSE支持，但也需要上层播放器库支持： • 原生支持：使用Chrome播放HTTP-TS流，需要硬解支持，SRS使用mpegts.js。 • 原生支持：使用Chrome播放HTTP-FLV流，需要硬解支持，SRS使用mpegts.js。 • 配置支持：使用Safari拉WebRTC流，需要手动点下菜单栏开启。 -vcodec libx265 \ -pes_payload_size 0 -f mpegts 'srt://127.0.0.1:10080? ffplay是不支持HEVC over RTMP/HTTP-FLV，当然一般用FFmpeg的朋友都是有自己改代码的能力，下面是一些相关的Patch： • 施维(runner365)，支持FFmpeg 4/5/6版本的 H5播放器目前mpegts.js支持，hls.js和dash.js还没有支持。 在某些场景下，HEVC的应用完全成熟了，具体就需要各位开发者自己评估了。
3.8K40编辑于 2023-04-02 - 来自专栏全栈程序员必看
使用FFmpeg命令行进行UDP、RTP推流（H264、TS），ffplay接收
大家可以根据自己需要使用这两个工具进行推流或接收，下面就以传输协议UDP、RTP为基础，介绍几种最常见的推流场景下两个工具的用法。 1. 使用UDP发送TS流 FFmpeg的推流命令： ffmpeg -re -i d:\videos\1080P.264 -vcodec copy -f mpegts udp://127.0.0.1:1234 使用RTP发送TS流 很多人以为这种情况跟上面差不多，使用如下的推流命令（错误）： ffmpeg -re -i d:\videos\1080P.264 -vcodec copy -f mpegts rtp 实际上，正确的命令是： ffmpeg -re -i d:\videos\1080P.264 -vcodec copy -f rtp_mpegts rtp://127.0.0.1:1234 ffplay接收的命令 RTP PayloadType不是96而是33） 还有一个问题：早期的ffmpeg版本是不支持rtp_mpegts输出协议的，你可以使用命令ffmpeg -formats查看ffmpeg是否支持这种输出协议
6.7K20编辑于 2022-07-02 - 来自专栏流媒体
RTMP服务器搭建(crtmpserver和nginx)简介
2.png rtmp流拉取 这里使用VLC播放器,下载VLC 开始播放,点击[媒体]->[流]->[网络] 输入刚刚推流的地址。然后选在下方的播放。 ? 6.png 编译安装nginx cd nginx-1.12.1 . 7.png live就是我们推流和拉流的名字。然后重启nginx。 一般都是按时间戳读取文件， 格式： h264: 表示输出的是h264的视频裸流 mp4: 表示输出的是mp4的视频 mpegts: 表示ts视频流 命令行加入-re，表示按时间戳读取文件 示例 H264 ffmpeg -re -i 1.ts -c copy -f mpegts udp://192.168.0.106:1234```
3.6K20发布于 2018-08-23 - 来自专栏原创分享
nodejs流基类源码分析
流是对数据生产，消费的一种抽象，今天先分析一下流基类的实现 const EE = require('events'); const util = require('util'); // 流的基类 function pause方法，那就暂停可读流的读取操作，等待目的流触发drain事件 if (false === dest.write(chunk) && source.pause) { (); } } // 监听drain事件，目的流可以消费数据了就会触发该事件 dest.on('drain', ondrain); 这是管道化时流控实现的地方，主要是利用了write 流关闭/结束处理 // 目的流不是标准输出或标准错误，并且end不等于false if (!dest._isStdio && (!options || options.end ! 这就是流基类的所有逻辑。
87530发布于 2020-07-22 - 来自专栏大数据杂货铺
Cloudera流分析中引入FlinkSQL
将SQL推广到流处理和流分析用例提出了一系列挑战：我们必须解决表达无限流和记录的及时性的问题。 我们认为，今天编写的大多数流查询都可以通过FlinkSQL表示，以提供有根据的猜测，我们希望它能达到今天遇到的流查询的80％左右，这很适合通过此SQL实现API。 数据分析人员通常是特定领域知识的专家，他们倾向于使用标准MPP或OLAP系统中存储的这些流的快照，例如通过Apache Impala查询存储在Kudu中的数据。 这从本质上引入了寻找以流的方式对其进行洞察和生产化。分析师在证实其假设之后，必须与几个数据工程师确保数周甚至数月的项目资金投入，以细致地重新实现已经用另一种语言（通常是SQL）制定的业务逻辑。 FlinkSQL使分析人员可以直接与流进行交互，并单击按钮即可部署流作业。
77730发布于 2020-07-14 - 来自专栏大数据杂货铺
Cloudera中的流分析概览
Cloudera流分析（CSA）提供由Apache Flink支持的实时流处理和流分析。在CDP上的Flink提供了具有低延迟的灵活流解决方案，可以扩展到较大的吞吐量和状态。 除Flink之外，CSA还包括SQL Stream Builder，可使用对数据流的SQL查询来提供数据分析经验。 Cloudera流分析的主要功能 SQL流生成器 SQL Stream Builder是一个作业管理界面，用于在流上编写和执行Streaming SQL，以及为结果创建持久的数据API。 流媒体平台 对于流分析，CSA可以集成到一个完整的流平台中，该平台由Cloudera Runtime堆栈中的Apache Kafka、Schema Registry、Streams Messaging Flink是一个分布式处理引擎和一个可伸缩的数据分析框架。您可以使用Flink大规模处理数据流，并通过流式应用程序提供有关已处理数据的实时分析见解。
1.5K20发布于 2021-05-20 - 来自专栏QQ音乐技术团队的专栏
ExoPlayer 自适应流切换分析
一、前言 自适应流切换属于多路流切换的方式中的一种，ExoPlayer作为MediaCodec使用的集大成者，不仅具备通过MergingMediaSource实现不同流的组合切换，同样也具备基于MGEG-DASH 三、自适应流切换分析 3.1 原理图 在不同网速时自动切换为兼容当前bitrate的媒体流，匹配条件一般在自适应流的清单文件中就已经提前设定了，保证当前网络的bitrate大于清单协议中媒体流的最低bandWidth ExoPlayer中支持DASH、HLS、Smoothing-Stream协议，我们这里以HLS和DASH协议进行流程分析，毕竟目前使用Smoothing-Stream也就微软自己为主。 com.google.android.exoplayer2.trackselection.AdaptiveTrackSelection.Factory#createTrackSelections要做必要的分析 return evaluation; } 3.2.6 完成切换 通过上述必要的逻辑，就能实现分片的切换，当然，每个部分代码量实在太多包括，资源加载部分也是一个核心环节，这里就不在继续分析了
2.8K31编辑于 2023-10-23 - 来自专栏Java架构师必看
spring源码分析6
spring源码分析6 强烈推介IDEA2020.2破解激活，IntelliJ
31020发布于 2021-04-13 - 来自专栏Vehicle攻城狮
AUTOSAR PNC数据流分析
从站获取PNC信息的数据流 AUTOSAR_EXP_LayeredSoftwareArchitecture（V4.2.2）p159 我们看下数据流的流向。 Internal Request Array）这个信息，我们在Ecu Config中设置了三个Global PDU，即PDU_CanIf_CanNm(8bytes)，PDU_EIRA_CanNm_PduR(6bytes )，PDU_EIRA_PduR_Com(6bytes)。 再向上是CanNm，8个字节去掉了Node ID和CBV，变成了6个字节。检查CBV中PNI bit的值，若为1则向上层传递User Data。
3.3K31编辑于 2022-04-19 - 来自专栏SRS开源服务器
感谢大家支持，SRS成为20k Star开源项目
2021年6月，SRS进入 木兰开源社区[2] 孵化，感谢导师阿里云陈绪、周明辉教授、腾讯单致豪，感谢木兰社区杨丽蕴主任的大力支持。 #2799[6] • Apple M1，支持Apple M1芯片，新的MacPro编译和调试。#2747[7] • RISCV架构支持，修改ST汇编支持RISCV CPU架构。 srs-unity[14] • 支持WHIP协议，推流和拉流，#2324[15] • 支持HTTP API、HTTP Stream、HTTP Server、WebRTC TCP端口复用。 #2532: https://github.com/ossrs/srs/issues/2532 [5] #2852: https://github.com/ossrs/srs/issues/2852 [6] [27] mpegts.js: https://github.com/xqq/mpegts.js [28] v6.0.1: https://github.com/ossrs/srs/commit/7e02d972ea74faad9f4f96ae881d5ece0b89f33b
1.6K20编辑于 2022-11-24 - 来自专栏进阶高级前端工程师
React源码分析6-hooks源码6
要理解 hooks 的执行过程，首先想要大家对 hooks 相关的数据结构有所了解，便于后面大家顺畅地阅读代码。
80250编辑于 2023-01-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号