微软为HoloLens全息视频提出二次投影技术 改善流式传输带宽和质量

　　2019年02月22日，如果有关注与VR相关的技术文章，你可能曾多次见过“二次投影(reprojection)”这个术语，如交错二次投影或异步二次投影。二次投影是为了解决VR游戏的苛刻性能要求，旨在填补无法及时渲染的帧。比方说一款游戏不能达到标准的90fps，这时交错二次投影将“强迫”其降至45fps，并在这基础下每隔一帧进行一次重新投影，从而实现90fps的帧率。作为交错二次投影的升级版，异步二次投影则是智能地插入一帧，从而有效减少画面抖动并使得体验更为流畅自然。

　　现根据微软的一份最新专利，这家科技巨头似乎有意为全息视频采用类似的二次投影技术，以改善流式传输的带宽/质量。

　　发明文件显示，诸如HoloLens这样的MR头显在视频压缩和传输实况视频方面存在一定的挑战，如带宽。另外，一系列现有的视频压缩技术都依赖于这样一个概念：连续视频帧的大部分背景从一个视频帧到下一个视频帧时保持相对静态，因此只有实际变化的像素需要传输。但对于头戴式显示器，头部移动可导致图像数据(包括背景)中更频繁和更大幅度的变化，这降低了已知视频压缩技术的有效性。

　　因此，MR头显需要一种可以减少带宽要求和/或提升分辨率的技术，亦即微软在名为“Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality(二次投影全息视频以改善流式传输带宽/质量)”的发明文件中所描述的技术。

　　具体来说，微软描述的技术适用于具有摄像头和深度传感器的全息设备。在将数据传递到计算P帧(或B帧)的视频压缩器之前，流式传输应用程序执行应用于先前帧的图像扭曲3D变换。系统将利用camera的已知3D位置和camera前面的3D几何形状，并基于camera的当前位置重新投影前一帧，而不是花费时间和资源来完全重新渲染一帧，从而减少发送流式视频的数据带宽。

　　尽管这只是一份专利，但考虑到“Reprojecting Holographic Video To Enhance Streaming Bandwidth/Quality(二次投影全息视频以改善流式传输带宽/质量)”是于2017年1月提交，所以如果马上就要在MWC大会亮相的HoloLens 2搭载了这项技术，我们将不会感到惊讶。