帧同步小记 刚问了公司另一个写服务器的大牛,赶紧记录下。 首先我们的游戏是强联网的格斗游戏。网络同步采用是帧同步技术。 帧同步的背景介绍:就是一个对于一个f(x) 函数,对于同一输入,输出结果一定相同。 依然接上个例子,服务器从某0时刻算起,到33ms 算第一帧 ,这个区间中间a玩家上传的挥刀 ,b玩家上传下蹲,服务器收到之后,在33ms这个点上就同步信息给玩家(这里所谓的同步具体代码层度上就是广播信息给玩家啦 上面说的这些就是帧同步核心的思想玩法,听完也没那么神秘的。回到这里的问题,就是指这个模块(或者说是函数),只负责这个帧同步消息的操作。 另外还有延迟的考虑,就是客户端一般收到的帧会有俩帧的延迟,作为服务器是收集输入信息到点就下发同步的。
今天介绍下音频帧、视频帧的主要参数和分析方法,以及音视频的同步等,主要内容如下: 音频帧 视频帧 PTS与DTS 音视频同步 音频帧 音频帧的概念没有视频帧那么清晰,几乎所有视频编码格式都可以简单的认为一帧就是编码后的一副图像 3FrameLengthInBytes = 48 * BitRate / SampleRate + Padding * 4 4// Layer II & III(SampleSize = 1152) 单位:byte 5FrameLengthInBytes 上图中显示的顺序为: 1I1、B2、B3、B4、P5、B6、B7、B8、P9、B10、B11、B12、I13 编解码顺序为: 1I1、P5、B2、B3、B4、P9、B6、B7、B8、I13、B10、B11 ,则音视频可以看做是同步的。 实际情况是因为各种原因导致音视频不同步,如每帧解码和渲染的时长有差别,色彩丰富的视频帧可能就比色彩单一的视频帧解码渲染更慢以及计算的误差等,音视频同步方式主要有三种: 视频同步到音频 音频同步到视频 音视频同步到外部时钟
本博客总结自网络公开课 开发工具:Unity/服务器 开发语言C#/(C++ Lua) ---- 目录 帧同步如何同步 帧同步使用TCP还是UDP 帧同步的流程详解 如何克服UDP的时序和丢包问题 帧同步如何同步 带宽承受能力如何计算:假设为一个5V5对战游戏 1秒—->平均每帧,每人6个字节,摇杆—>角度(0, 360,2个字节),1个字节(256种不同技能) 16* 10* 15 * 500 = 1,200,000 服务器上启动一个定时器,每隔66MS触发一次on_logic_frame; (5)保存我们当前的操作,到match_frames (6)遍历每个玩家,每个玩家发送我们的帧操作; (7)服务器进入下一帧: (14)如果上一帧的操作不为null,那么这个时候,我们处理下一帧之前一定要先同步上一帧的结果; 确保处理下一帧之前也都是同步的:在播放动画的帧与帧之间,我们会出现时间的差异,会导致位置等不同步;logic_pos : 66ms —>迭代计算出新的位置和结果;同一都以66ms来迭代; 帧同步:每帧都同步,处理下一帧之前,每帧都要同步;—>同样的输入—》同样的输出; (15)跳帧:快速的同步完过时的帧(即直接进行逻辑计算
什么游戏适合帧同步这种技术? 在现代多人游戏中,多个客户端之间的通讯,多以同步多方状态为主要目标。 帧同步这种同步方式,主要依靠客户端的能力,服务器仅仅是做一个转发,甚至客户端可以无需服务器,仅仅通过P2P方式来转发数据。 反过来说,如果游戏里是大量玩家聚集起来进行游戏的,那么帧同步和状态同步的差异就不明显了。反而状态同步能得到更多安全性上的好处,因为游戏运算在服务器上,比较容易防止外挂。 帧同步的技术要点 帧同步游戏中,由于需要“每一帧”都要广播数据,所以广播的频率非常高,这就要求每次广播的数据要足够的小。最好每一个网络帧,能在一个MTU以下,这样才能有效降低底层网络的延迟。 我们做帧同步的目标是各个客户端都能看到一致的显示。
两种帧同步方式 1.状态同步:客户端发送游戏到服务器,服务器计算游戏行为的结果,然后通过广播下发各种状态,客户端收到状态后进行显示。 两种方式的比较: 帧同步方式广播的数据量比同步状态要小很多,当游戏中的对象特别多的时候,这种方式优势比较明显。相反状态同步能得到更多安全性上的好处,比较容易防止外挂。 帧同步 一般的帧同步系统中,有一个RelayServer负责广播(转发 )所有客户端的数据。为了让客户端持续运行,需要定时下发“网络帧”来驱动客户端。 帧同步技术要点 1.由于每一帧都要进行广播,广播效率要高,这样要求广播数据足够的小。最好每一个网络帧能在一个MTU以下,这样才能有效降低底层网络延迟。 加速播放 —— 受到网络数据处理完游戏逻辑在同一个渲染帧又接受处理,加速赶上服务器广播的最新游戏进度。 5.客户端渲染帧率大于网络接受帧率,所以我们并不是每个渲染帧都发送玩家操作。
基于帧同步的游戏框架说明 一,关于帧同步和状态同步的比较 帧同步 状态同步 安全性 比较差,计算都在客户端,服务器只做转发;有服务器校验的方案,比较繁琐 计算都在服务器 可以将重要的判定都由服务器决定 网络流量 比较小,每一帧只同步玩家的操作指令 如果单位数量多,需要同步的数据量会比较大 技能实现 比较容易,只用客户端实现即可,开发周期短 需要服务器和客户端实现相同的运算逻辑,如果是不同的语言相当于要开发两次 ,那么经过相同的指令计算后,状态也应该是一致的;这就是帧同步的核心原理。 6,关于作弊检查 客户端每一帧会将关键状态序列化计算md5发送给战斗服务器,战斗服务器每一帧会收集到每个客户端的md5;如果md5不一致即可知道有客户端状态不一致; 如果是2v2,我们可以用其中三个md5 如果是1v1,我们不能通过md5的方式知道正确的客户端。
由于现在4g手机网络越来越普及,绝大多数用户的时延都可以在150ms以内,所以一些快节奏的帧同步网络游戏开始大行其道,现在最火的帧同步游戏无疑是某农药了。 帧同步技术除了可以用来做MOBA类游戏,同样可以用来做需要大量快速操作的格斗类游戏,本文就是尝试提出一些解决帧同步方案下格斗游戏的优化措施。 一般采用的策略有两个:一是定时同步。预渲染的角色,每隔200ms(可以设置成其他值),就停止运行,等待逻辑角色的状态和自己同步。 [1510297241073_8858_1510297285746.jpg] 总结 使用预渲染技术的最重要策略,还是坚持帧同步的原则:相同的输入,得到相同的输出。 而预渲染的方案,是把那些严格同步的游戏逻辑、与其表现区分开来,这样可以专门的去让画面看起来更流畅,同时不影响帧同步游戏的“一致性”。
5、针对多次收到同一包的时候可以放弃它 三、同步方案 游戏中常见的同步方案,有状态同步和帧同步,一般大型的MMOARPG都是采用的是状态同步,比如魔兽世界,状态同步采用C/S架构,所有的状态由服务器来控制 王者荣耀采用的就是帧同步,那么具体帧同步是什么,如何实现的,我们从两个地方来分解: 1、帧率 什么是帧率,可能没有做过client同学并不是很清楚这个术语,我们从一个小李子来讲解一下。 2、Lockstep—帧同步 帧同步可以说是通过帧率延伸过来的,你可以把一个游戏看成一个巨大的状态机,所有的参与者都采用同一个逻辑帧率来不断的向前推进。 我们来看看具体的执行流程: 上图中我们可以明显看到,这种囚徒模式的帧同步,在第二帧的时候,因为玩家1有延迟,而导致第二帧的同步时间发生延迟,从而导致所有玩家都在等待,出现卡顿现象。 不过这个还是无法解决帧同步的问题,因为严格的帧同步,是要等到所有玩家都输入之后,再去通知广播client更新,如果A服务器一直没有输入同步过来,大家是要等着的,那么如何解决这个问题?
本篇介绍 本篇介绍下汇编中的函数,栈帧内容。 栈帧 对于intel处理器,在调用函数的时候需要保证rsp是16字节对齐的,这样设计是为了更好的支持SIMD。那体现到代码上是怎样呢?
图4.1 OFDM符号长度计算 无线帧结构 虽然5GNR支持多种子载波间隔,但是不同子载波间隔配置下,无线帧和子帧的长度是相同的。无线帧长度为10ms,子帧长度为1ms。 那么不同子载波间隔配置下,无线帧的结构有哪些不同呢?答案是每个子帧中包含的时隙数不同。在正常CP情况下,每个时隙包含的符号数相同,且都为14个。 子载波间隔=15Khz(正常CP) 在这个配置中,一个子帧仅有1个时隙,所以无线帧包含10个时隙。一个时隙包 含的OFDM符号数为14。 ? 图5.1 子载波间隔=15Khz(正常CP) 子载波间隔=30Khz(正常CP) 在这个配置中,一个子帧有2个时隙,所以无线帧包含20个时隙。1个时隙包 含的OFDM符号数为14。 ? 这种概念与传统的LTE TDD子帧配置相类似,但是又有很多不同点: 1、在NR时隙格式中,上下行业务是以符号作为转换点(在LTE TDD中,上下行业务是以子帧作为转换点) 2、与LTE TDD上下行子帧配置相比
视频帧绘制的间隔 XIV . 获取视频当前播放时间 XV . 视频帧绘制的间隔控制 XVI . 视频帧丢弃方案 XVII . 音视频同步代码示例 I . ; ② 以以视频为基准进行同步 : 控制视频帧按照指定的帧率 ( FPS ) 播放 , 音频与视频同步 ; ③ 以一个外部时钟为基准 : 定义一个外部的开始时间 t , 音频 和 视频 都基于该时间进行同步 单位 AVRational time_base = stream->time_base; 5 . * - muxing: May be set by the caller before avformat_write_header(). */ AVRational avg_frame_rate; 5 降低视频速度的实现 : 如果视频比音频快 , 那么在帧率间隔基础上 , 增加该差值 , 多等待一会 ; 5 .
一、游戏帧同步 1.简介 ·现代多人游戏中,多个客户端之间的通讯大多以同步多方状态为主要目标,为了实现这一目标,主要有两个技术方向:状态同步、帧同步。 5.帧同步 ·终于来到这一步了,如果玩家已经成功加入房间,就可以通过帧同步功能进行游戏对战。 5.1.开启帧同步 ·使用 room.startFrameSync 接口就可以开启帧广播。 该接口会修改房间帧同步状态为“已开始帧同步”。 中才是我们拿到帧同步内容的地方,见下文 }; 5.2.发送帧消息 ·玩家收到帧同步开始广播后,才可以发送帧消息,后台会将每个玩家的帧消息组合后再广播给每个玩家。 该接口会修改房间帧同步状态为“已停止帧同步”。
1 什么是错帧同步? 一般 Android 系统相机的最高帧率在 30 FPS 左右,当帧率低于 20 FPS 时,用户可以明显感觉到相机画面卡顿和延迟。 我们在做相机预览和视频流处理时,对每帧图像处理时间过长(超过 30 ms)就很容易造成画面卡顿,这个场景就需要用到错帧同步方法去提升画面的流畅度。 错帧同步,简单来说就是把当前的几帧缓冲到子线程中处理,主线程直接返回子线程之前的处理结果,属于典型的以空间换时间策略。 错帧同步策略也有不足之处,它不能在子线程中缓冲太多的帧,否则造成画面延迟。 错帧同步的原理 错帧同步的原理如上图所示,我们开启三个线程:一个主线程,两个工作线程,每一帧图像的处理任务分为 2 步,第一个工作线程完成第一步处理,第二个工作线程完成第二步处理,每一帧都要经过这两步的处理 2 错帧同步的简单实现 错帧同步在实现上类似于“生产者-消费者”模式,我们借助于 C 语言信号量 #include <semaphore.h> 可以很方便的实现错帧同步模型。
5)视频流中的PTS和DTS又是什么?什么是I帧、P帧、B帧?I帧:intra picture,帧内编码帧。 I帧或P帧;4)P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;5)由于是差值传送,P帧的压缩比较高。 ,预测比较准确;5)B帧不是参考帧,不会造成解码错误的扩散。 比如在对同一个视频进行多码率转码时,如果指定 IDR 帧对齐(IDR Frame Alignment),则意味着所有输出视频的 IDR 帧在时间点、帧内容方面都保持精确同步,此时播放器便可实现多码率视频平滑切换 PTS主要用于解码阶段进行视频的同步和输出,全称是Presentation Time Stamp,为显示时间戳。在没有B帧的情况下,DTS和PTS的输出顺序是一样的。
2、英雄的设计包括整个技能的感觉 3、一些非常有特色的英雄,它的技能、反馈、体验上面都是做的不错(这是基于帧同步技术方案的优势) 1.1 术语 打击感:(反馈、特效、音效、准确性) PVP 指玩家对战玩家 比如30帧/s,你所看到的画面就比较流畅了。而帧率越高你所看到的越流畅。 这也就是为什么电影胶片是一格一格拍摄出来,然后快速播放的 游戏中的所有动画也是采用这种方式来渲染,只不过帧率是由GPU来控制,一帧帧地渲染 帧同步 帧同步可以说是通过帧率延伸过来的,你可以把一个游戏看成一个巨大的状态机 在两三周你就可以做出 Demo,易上手是一个非常大的优势 1.2 涉及的技术(游戏同步方案) 同步的本质是一致性的问题,目的是:在同一局多人游戏的过程中,玩家A看到玩家B的状态,应该跟玩家B自身看到自己的状态相一致 造成不一致的本质原因:延迟 假设理想情况下双方的网络时延都为0,那两者应该是同步的,但是在现实情况中,往往是不可能的, 1.2.1 同步机制:cs状态同步 1.2.1.1 什么是状态同步?
在视频压缩编码中,所有的帧被分成了三个种类,I帧,B帧和P帧,其实就是Intra-Prediction帧,Bi-prediction帧和Prediction帧。 顾名思义,就是帧内预测帧,双向预测帧以及(单向)预测帧。 (inter prediction),帧内预测的话就是在找参照块的时候,只在当前帧内寻找;而帧间预测的话,找参照块的时候会在相邻的帧之间去找相似块。 因此,基于上述所说, 如果说当前帧是只在当前帧内寻找参照块的话,那么该帧就是I帧 如果在已经编码的帧里面寻找参照块的话,那么它是P帧 如果既在已编码的帧里去寻找参照块,又在未来将要被编码的帧里去寻找参照块的话 ,那么该帧就是B帧。
由于压缩处理的方式不同,视频中的画面帧就分为了不同的类别,其中包括:I 帧、P 帧、B 帧。I 帧是内部编码帧(也称为关键帧),P 帧是前向预测帧(前向参考帧),B 帧是双向内插帧(双向参考帧)。 简单地讲,I 帧是一个完整的画面,而 P 帧和 B 帧记录的是相对于 I 帧的变化。如果没有 I 帧,P 帧和 B 帧就无法解码。 I 帧 I 帧(Intra coded frames):I 帧图像采用帧内编码方式,即只利用了单帧图像内的空间相关性,而没有利用时间相关性。 由于 I 帧不依赖其它帧,所以是随机存取的入点,同时是解码的基准帧。 I 帧主要用于视频播放的初始化,I 帧图像的压缩倍数相对较低。I 帧图像是周期性出现在图像序列中的,出现频率可由编码器选择。 P 帧是差别帧,P 帧没有完整画面数据,只有与前一帧的画面差别的数据。 若 P 帧丢失了,则视频画面会出现花屏、马赛克等现象。
“帧”这个词在中文里通常是“frame”的翻译,出现在计算机网络、音视频处理、操作系统等多个技术领域。它之所以叫“帧”,是因为它有“一整块结构化数据”的含义,像一张照片、一张画框,代表某个完整的单位。 在网络通信中:帧(Frame) 是数据链路层传输的基本单位,通常包括: 帧头(Header):比如目标地址、源地址 数据(Payload):实际传输的内容 帧尾(Trailer):比如校验信息(CRC ) 为什么叫帧? 在音视频中: 视频帧(Video Frame):一张静止图像,多个帧连在一起就是视频。 音频帧(Audio Frame):一小段音频数据。 同样的原因叫“帧”,因为每一帧是一个可以单独处理、播放的完整单元。总结一句话: 帧(Frame)是指一组结构完整、边界清晰、可以独立传输或处理的数据单位。
I帧、P帧和B帧 Easy-Tech #002# 在本篇文章中,我们将学习I帧、P帧和B帧的工作原理以及它们的用途。 好,我们先从现代视频压缩中最基本的概念开始——帧内预测和帧间预测。 现在,看完对帧内预测和帧间预测的快速介绍,让我们来学习I帧、P帧和B帧吧! 什么是I帧? 想要理解B帧的作用,我们需要先理解呈现/显示顺序和解码顺序的概念。 以I帧和P帧为例。如果你只使用这两种类型的帧,那么每一帧要么参考自身(I 帧),要么参考前一帧(P 帧)。 参考B帧和非参考B帧 我们在上文中学过,B帧可以参考两帧或者多帧,通常,(根据其位置)一帧在前,一帧在后。我们也已知道,I帧不参考任何帧,P帧只参考前面的帧。 那么问题来了——任何帧都能使用B帧作为它的参考帧吗? 答案是肯定的。 如果B帧可以作为参考帧,它就被称为参考B帧。 如果B帧不用作参考帧,它便被称为非参考B帧。
: 212kb/s , 这是 视频文件 的 视频信息 在 单位时间内的 数据流量 , 码率越大 , 单位时间内采样率越大 , 数据流精度越高 , 视频质量越高 ; 视频帧率 : 5fps , 1 秒中有 5 帧的信息 , 帧率越高 , 视频越流畅 ; 视频分辨率 : 1364*788 , 该视频 宽度 1364 像素 , 高度 788 像素 , 分辨率越高显示效果越好 , 占用的码率也就越高 ; 二、 ( Group of Pictures ) 的 第一帧 , 画面组 内 还有 P 帧 和 B 帧 ; I 帧 是 P 帧 和 B 帧 的 参考帧 ; I 帧 的 质量 决定了 同组 P 帧 和 B 帧 Frames ) " , 是 视频编码 中的一种 帧类型 , P 帧 采用 前向预测编码方式 , 根据 本帧 ( P 帧 ) 与 相邻的 前一帧 ( I 帧 或 P 帧 ) 的 不同点来压缩本帧数据 I 帧 才能完成解码 ; P 帧 只记录了 与 I 帧 不同的内容 , 也就是 只有 与 I 帧的 差异部分 , 相同的部分没有 ; 解码 P 帧 , 必须 先解码 I 帧 ; I 帧 解码完成后 ,