ICIP2020：沉浸式视觉体验的技术——采集、处理、压缩和标准

本篇来自ICIP2020，演讲者是来自波兹南理工大学的Marek Domanski，演讲主题是沉浸式视觉体验的技术——采集、处理、压缩和标准。

第一部分：介绍，采集，显示

什么是沉浸式视觉体验

-沉浸式视频的多视表示

-虚拟畅游

-姿态跟踪

-全景视频及其视角

沉浸式视频的采集

-沉浸式视频的内容

-围绕单个场景的多摄像机

-立体相机对、专业立体相机操作

-实际问题：线缆，解决方法：无线相机模块

-用于体育播放的专业多相机系统

-多视角视频例子

-单传感器全景相机、双鱼眼相机

-多传感器全景相机

-全景视频

-使用多传感器采集视频的共有技术问题

-深度相机，结构光深度相机

-ToF相机

沉浸式视频的显示

-头戴设备

-平面和立体显示：基于LCD的被动自动立体显示、主动自动立体显示屏或多块显示屏以特殊角度摆放

-标准2D显示中的虚拟畅游：触控手机或平板

第二部分：预处理、深度估计、表示和视角合成

预处理

-单相机标定、用于标定的图片及其失真

-单模型校正，校正参数估计

-广角镜头及其校正

-相机内参及估计

-相机系统的标定

-颜色标定及光照补偿

-视频纠正

深度估计

-通过视差估计进行深度估计

-帧级单独深度估计导致的问题

-沉浸式视频的深度估计方法

沉浸式视频内容的表示

-多视加深度

-点云

-光线追踪

-对象

-全景视频向2维平面投影

虚拟视角合成

-基本方法

-问题：拼接空洞、裂缝及解决方案

-视角综合流程

-虚拟视频

-问题：颜色不连续

-参考视角合成

第三部分：压缩和系统

沉浸式视频工作流

沉浸式视频视频编码

-使用压缩视频渲染的虚拟视角的质量

-多视角视频的压缩

-多视角深度视频的压缩

-编码标准在多视和3D沉浸式视频的局限

-多视和3D沉浸式视频的率失真效率

-VVC中的360度视频编码

沉浸式媒体编码的标准化

-点云压缩

-MPEG-I part12

沉浸式视频质量评价：主客观指标

虚拟畅游及自由视角电视系统

-采集系统设计

-相机位置规则

-立体相机对

-终端结构

-沉浸式视频流

-自由视角电视系统

-渲染服务器到用户终端

附上三部分演讲视频：