帧同步小记 刚问了公司另一个写服务器的大牛,赶紧记录下。 首先我们的游戏是强联网的格斗游戏。网络同步采用是帧同步技术。 帧同步的背景介绍:就是一个对于一个f(x) 函数,对于同一输入,输出结果一定相同。 拿格斗游戏举例,a挥刀,b下蹲作为输入的参数,x1,x2 ,函数f(x1,x2) 输出固定的一个结果(相对俩个对战玩家来说,叫同一个输出结果这样才比较好理解吧) 原来经常说的30帧意思就是,一秒30帧, 上面说的这些就是帧同步核心的思想玩法,听完也没那么神秘的。回到这里的问题,就是指这个模块(或者说是函数),只负责这个帧同步消息的操作。 另外还有延迟的考虑,就是客户端一般收到的帧会有俩帧的延迟,作为服务器是收集输入信息到点就下发同步的。
今天介绍下音频帧、视频帧的主要参数和分析方法,以及音视频的同步等,主要内容如下: 音频帧 视频帧 PTS与DTS 音视频同步 音频帧 音频帧的概念没有视频帧那么清晰,几乎所有视频编码格式都可以简单的认为一帧就是编码后的一副图像 Bitrate 针对表格中的说明: V1:MPEG Version 1 V2:MPEG Version 2 and Version 2.5 L1:Layer Ⅰ L2:Layer Ⅱ L3:Layer 上图中显示的顺序为: 1I1、B2、B3、B4、P5、B6、B7、B8、P9、B10、B11、B12、I13 编解码顺序为: 1I1、P5、B2、B3、B4、P9、B6、B7、B8、I13、B10、B11 ,则音视频可以看做是同步的。 实际情况是因为各种原因导致音视频不同步,如每帧解码和渲染的时长有差别,色彩丰富的视频帧可能就比色彩单一的视频帧解码渲染更慢以及计算的误差等,音视频同步方式主要有三种: 视频同步到音频 音频同步到视频 音视频同步到外部时钟
本博客总结自网络公开课 开发工具:Unity/服务器 开发语言C#/(C++ Lua) ---- 目录 帧同步如何同步 帧同步使用TCP还是UDP 帧同步的流程详解 如何克服UDP的时序和丢包问题 帧同步如何同步 2、客户端:收到服务器操作,计算游戏逻辑,上报下一帧操作给服务器 帧同步:服务器每隔多少时间,向客户端发送一次操作比较合适? 带宽承受能力如何计算:假设为一个5V5对战游戏 1秒—->平均每帧,每人6个字节,摇杆—>角度(0, 360,2个字节),1个字节(256种不同技能) 16* 10* 15 * 500 = 1,200,000 帧同步的流程详解 服务器: —>比赛对象—>房间内; (1)服务器上每个比赛对象,都又一个成员frameid,保存了当前比赛,下一帧要进的id; frameid = 1; (2)我们在服务器上定一一个数据结构 : 66ms —>迭代计算出新的位置和结果;同一都以66ms来迭代; 帧同步:每帧都同步,处理下一帧之前,每帧都要同步;—>同样的输入—》同样的输出; (15)跳帧:快速的同步完过时的帧(即直接进行逻辑计算
什么游戏适合帧同步这种技术? 在现代多人游戏中,多个客户端之间的通讯,多以同步多方状态为主要目标。 最早的mud,以及后来大量的国产网游,特别是回合制游戏,都是这种方式; 另外一种叫帧同步:客户端发送游戏动作到服务器,服务器广播转发所有客户端的动作(或者客户端直接通过P2P技术发送),客户端根据收到的所有游戏动作来做游戏运算和显示 帧同步这种同步方式,主要依靠客户端的能力,服务器仅仅是做一个转发,甚至客户端可以无需服务器,仅仅通过P2P方式来转发数据。 帧同步的技术要点 帧同步游戏中,由于需要“每一帧”都要广播数据,所以广播的频率非常高,这就要求每次广播的数据要足够的小。最好每一个网络帧,能在一个MTU以下,这样才能有效降低底层网络的延迟。 因此我们常常会以冗余的方式——比如每个帧数据包,实际上是包含了过去2帧的数据,也就是每次发3帧的数据,来对抗丢包。也就是说三个包里面只要有一个包没丢,就不影响游戏。
两种帧同步方式 1.状态同步:客户端发送游戏到服务器,服务器计算游戏行为的结果,然后通过广播下发各种状态,客户端收到状态后进行显示。 2.帧同步:客户端发送游戏动作到服务器,服务器广播转发所有客户端的动作(或者客户端通过P2P转发),客户端根据收到的游戏动作来做游戏运算与显示。 两种方式的比较: 帧同步方式广播的数据量比同步状态要小很多,当游戏中的对象特别多的时候,这种方式优势比较明显。相反状态同步能得到更多安全性上的好处,比较容易防止外挂。 帧同步 一般的帧同步系统中,有一个RelayServer负责广播(转发 )所有客户端的数据。为了让客户端持续运行,需要定时下发“网络帧”来驱动客户端。 每次发送数据128Byte,8个玩家,冗余帧2帧,一个网络帧数据包大小12882 = 2048字节,每秒发15个网络帧,占用带宽2KB * 15 = 30KB/S 3.降低广播数据量的方法: 多数游戏引擎位置数据采用浮点数
基于帧同步的游戏框架说明 一,关于帧同步和状态同步的比较 帧同步 状态同步 安全性 比较差,计算都在客户端,服务器只做转发;有服务器校验的方案,比较繁琐 计算都在服务器 可以将重要的判定都由服务器决定 2,代码要求比较高,如果出现异常就会出现玩家之间数据不一致,导致战斗结果无效。 没有要求 二,实际项目《战争XX》帧同步方案分析 1,整体架构: 2,游戏类型是一款在moba游戏上加入rts元素的实时对战游戏,支持1v1,2v2的模式。 ,那么经过相同的指令计算后,状态也应该是一致的;这就是帧同步的核心原理。 6,关于作弊检查 客户端每一帧会将关键状态序列化计算md5发送给战斗服务器,战斗服务器每一帧会收集到每个客户端的md5;如果md5不一致即可知道有客户端状态不一致; 如果是2v2,我们可以用其中三个md5
由于现在4g手机网络越来越普及,绝大多数用户的时延都可以在150ms以内,所以一些快节奏的帧同步网络游戏开始大行其道,现在最火的帧同步游戏无疑是某农药了。 帧同步技术除了可以用来做MOBA类游戏,同样可以用来做需要大量快速操作的格斗类游戏,本文就是尝试提出一些解决帧同步方案下格斗游戏的优化措施。 “逻辑角色”动画由同步服务器收包得到的数据驱动 Update()事件每秒60个调用,而从同步服务器收包操作,一般每秒15-30个调用,所以,每次“逻辑角色”动画或位置更新,都要以x4 – x2的倍速来运行 [1510297241073_8858_1510297285746.jpg] 总结 使用预渲染技术的最重要策略,还是坚持帧同步的原则:相同的输入,得到相同的输出。 而预渲染的方案,是把那些严格同步的游戏逻辑、与其表现区分开来,这样可以专门的去让画面看起来更流畅,同时不影响帧同步游戏的“一致性”。
1、像《王者荣耀》一样红过 2、从《王者荣耀》来聊聊游戏的帧同步 3、游戏服务器的架构演进 农药自从上线以来,依靠着强大的产品力以及腾讯的运营能力,在游戏市场上表现可谓是风生水起,根据第三方的调研数据显示 2、Lockstep—帧同步 帧同步可以说是通过帧率延伸过来的,你可以把一个游戏看成一个巨大的状态机,所有的参与者都采用同一个逻辑帧率来不断的向前推进。 我们看如下2个图: 图中是A、B、C三个玩家的时间轴,这个时间轴不是电脑上的本地时间,而是A、B、C联机时定义的一个时间轴。虚线分隔出来时间片称为turn,可以理解成一帧。 2、每一帧只有当服务器集齐了所有玩家的操作指令,也就是输入确定了之后,才可以进行计算,进入下一个turn,否则就要等待最慢的玩家。之后再广播给所有的玩家。如此才能保证帧一致。 我们来看看具体的执行流程: 上图中我们可以明显看到,这种囚徒模式的帧同步,在第二帧的时候,因为玩家1有延迟,而导致第二帧的同步时间发生延迟,从而导致所有玩家都在等待,出现卡顿现象。
Frame Animation,也叫 Drawable Animation,原理就类似视频快速播放一帧一帧的图片。 其中一个 <item> 代表一帧。 <?xml version="1.0" encoding="utf-8"? drawable="@color/color1" android:duration="200" /> <item android:drawable="@color/color<em>2</em>" > <resources> <color name="color1">#FF3030</color> <color name="color<em>2</em>">#FF4500</color> < 帧动画
2 数据帧与遥控帧 在CAN协议中,数据帧和遥控帧有着诸多相同之处,所以,在这里,我们将数据帧和遥控帧放在一起来讲。 比如:在某一个时刻,节点Node_A向总线发送了一个ID号为ID_2的遥控帧,那么就意味着Node_A请求总线上的其他节点发送ID号为ID_2的数据帧。 节点Node_B能够发出ID号为ID_2的数据帧,那么Node_B就会在收到Node_A发出的遥控帧之后,立刻向总线上发送ID号为ID_2的数据帧。 比如:在某一时刻t,节点Node_A发出了ID号为ID_2遥控帧报文来请求总线上的其它节点发出ID号为ID_2的数据帧报文。但是就在同一时刻t,节点Node_B发出了ID号为ID_2的数据帧报文。 2)SRR位 Substitutes for Remote Requests Bit(替代远程请求位),在扩展帧(数据帧或遥控帧)中,SRR恒为隐性位1,并且可以发现,扩展帧的隐性SRR位正好对应标准帧的显性
FFMPEG 音视频同步流程总结 II . FFMPEG 音视频同步方案选择 III . FFMPEG 以音频播放时间线为基准进行音视频同步 IV . 视频帧绘制的间隔 XIV . 获取视频当前播放时间 XV . 视频帧绘制的间隔控制 XVI . 视频帧丢弃方案 XVII . 音视频同步代码示例 I . ; ② 以以视频为基准进行同步 : 控制视频帧按照指定的帧率 ( FPS ) 播放 , 音频与视频同步 ; ③ 以一个外部时钟为基准 : 定义一个外部的开始时间 t , 音频 和 视频 都基于该时间进行同步 获取音视频 同步校准的 PTS 的 time_base 单位 AVRational time_base = stream->time_base; //2 . 获取音视频 同步校准的 PTS 的 time_base 单位 AVRational time_base = stream->time_base; //2 .
只是把它的原理弄明白一些了,但是,我弱小的意志在DirectX SDK那个1000多行的SkinedMesh例子面前顺利地崩溃了,心想,还是先从最基本的关键帧动画开始做吧-_-! MD2是基于关键帧动画的,关键帧插值的数学公式为: p(t) = p(0) + t ( p1 - p0 ) 其中: t — 当前时间。 MD2共有16个关键帧: start:0 end:39 name:stand start:40 end:45 name:run start:46 end:53 name:attack start:54 ,每帧由很多三角形组成一个网络,每个三角形由三个顶点组成,每个顶点由x,y,z三个坐标组成,每个……(再说就欠揍了) 那么怎么让它动呢? 就是一帧帧地画就行了!
一、游戏帧同步 1.简介 ·现代多人游戏中,多个客户端之间的通讯大多以同步多方状态为主要目标,为了实现这一目标,主要有两个技术方向:状态同步、帧同步。 ·帧同步主要依赖客户端的能力,服务器仅仅是做一个转发,甚至客户端可以无需服务器,通过P2P方式来转发数据。由于只是转发游戏的行为,所以广播的数据量比状态同步要小很多。 本文将以帧同步技术为主来介绍如何实现一款联机游戏。 2.小游戏案例 ·本次我们在《街霸小游戏》中利用腾讯云的游戏联机对战引擎实现了玩家之间的PVP玩法。 该接口会修改房间帧同步状态为“已开始帧同步”。 该接口会修改房间帧同步状态为“已停止帧同步”。
错帧同步,简单来说就是把当前的几帧缓冲到子线程中处理,主线程直接返回子线程之前的处理结果,属于典型的以空间换时间策略。 错帧同步策略也有不足之处,它不能在子线程中缓冲太多的帧,否则造成画面延迟。 错帧同步的原理 错帧同步的原理如上图所示,我们开启三个线程:一个主线程,两个工作线程,每一帧图像的处理任务分为 2 步,第一个工作线程完成第一步处理,第二个工作线程完成第二步处理,每一帧都要经过这两步的处理 这些步骤下来,可以看成第 n+1 帧和第 n 帧在 2 个工作线程中同时处理,若忽略 CPU 线程调度时间,2 线程错帧可以提升一倍的性能(性能提升情况,下面会给出实测数据)。 2 错帧同步的简单实现 错帧同步在实现上类似于“生产者-消费者”模式,我们借助于 C 语言信号量 #include <semaphore.h> 可以很方便的实现错帧同步模型。 主线程打印的处理结果 我们设定视频帧的 2 步处理一共耗时 400 ms (各休眠 200 ms),由于采用错帧同步方式,主线程耗时只有 200 ms 左右,性能提升一倍。 ? 主线程耗时
Silverlight制作逐帧动画 v2 - part2 在这里完善了一下算法,加入了fps的机制进去。 private string[] shippics = new string[] { "Ship1/1.png", "Ship1/2.png", "Ship1/3.png", "Ship1/4.png"
1)什么是I帧、P帧、B帧?2)什么是IDR帧?与普通I帧有何区别?3)什么是GOP?gop_size值如何设置画质会更好?4)OpenGOP & CloseGOP表示什么? I帧特点:1)I帧是一个全帧压缩编码帧;2)解码时仅用I帧的数据就可重构完整图像;3)I帧描述了图像背景和运动主体的详情;4)I帧不需要参考其他画面而生成;5)I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量 P帧特点:1)P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);2)解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;3)P帧属于前向预测的帧间编码,它只参考前面最靠近它的 比如在对同一个视频进行多码率转码时,如果指定 IDR 帧对齐(IDR Frame Alignment),则意味着所有输出视频的 IDR 帧在时间点、帧内容方面都保持精确同步,此时播放器便可实现多码率视频平滑切换 PTS主要用于解码阶段进行视频的同步和输出,全称是Presentation Time Stamp,为显示时间戳。在没有B帧的情况下,DTS和PTS的输出顺序是一样的。
使用frameset进行窗体分帧。构建简易的后台页面。这篇博客就作为一个简易后台管理页面的实战演练。 1 首先,须要一个页面,使用<frameset>按比例划分为适合的三个区域:头部。菜单。 我们须要在三个帧中指定不同的URL,须要编写几个html文件:head.html; menu.html; menu1.html; menu2.html; menu3.html; menu4.html
< distance = |x1-x2| + |y1-y2| DIST_L2 = 2, //! < distance = max(|x1-x2|,|y1-y2|) DIST_L12 = 4, //! < L1-L2 metric: distance = 2(sqrt(1+x*x/2) - 1)) DIST_FAIR = 5, //! < distance = c^2/2(1-exp(-(x/c)^2)), c = 2.9846 DIST_HUBER = 7 //!< distance = |x|<c ? (1, 2); input_pts.emplace_back(2, 3); cv::Vec4f calc_line; cv::fitLine(input_pts, calc_line, cv::DIST_L2
2、英雄的设计包括整个技能的感觉 3、一些非常有特色的英雄,它的技能、反馈、体验上面都是做的不错(这是基于帧同步技术方案的优势) 1.1 术语 打击感:(反馈、特效、音效、准确性) PVP 指玩家对战玩家 比如30帧/s,你所看到的画面就比较流畅了。而帧率越高你所看到的越流畅。 这也就是为什么电影胶片是一格一格拍摄出来,然后快速播放的 游戏中的所有动画也是采用这种方式来渲染,只不过帧率是由GPU来控制,一帧帧地渲染 帧同步 帧同步可以说是通过帧率延伸过来的,你可以把一个游戏看成一个巨大的状态机 造成不一致的本质原因:延迟 假设理想情况下双方的网络时延都为0,那两者应该是同步的,但是在现实情况中,往往是不可能的, 1.2.1 同步机制:cs状态同步 1.2.1.1 什么是状态同步? 1、核心逻辑计算都在服务器端进行,客户端主要负责上传操作动作等请求数据; 2、一般回合制游戏主要采用这种方式
在视频压缩编码中,所有的帧被分成了三个种类,I帧,B帧和P帧,其实就是Intra-Prediction帧,Bi-prediction帧和Prediction帧。 顾名思义,就是帧内预测帧,双向预测帧以及(单向)预测帧。 (inter prediction),帧内预测的话就是在找参照块的时候,只在当前帧内寻找;而帧间预测的话,找参照块的时候会在相邻的帧之间去找相似块。 因此,基于上述所说, 如果说当前帧是只在当前帧内寻找参照块的话,那么该帧就是I帧 如果在已经编码的帧里面寻找参照块的话,那么它是P帧 如果既在已编码的帧里去寻找参照块,又在未来将要被编码的帧里去寻找参照块的话 ,那么该帧就是B帧。