研究员为2D视频移植AR 3D效果 用HoloLens看世界杯

　　2018年06月13日，备受期待的世界杯将在本周开幕。尽管比赛毫无疑问会非常精彩，但我们大多数人都只能在平面电视机上观看。不过，华盛顿大学的研究人员提出了一种增强现实替代方案。尽管可能无法赶在今年世界杯为大众提供服务，但这预告了球迷在未来享受体育赛事的新方式。

　　研究人员开发了一种能够将2D足球片段移植为3D重建内容的机器学习算法，而观众可以利用微软HoloLens等AR头显欣赏比赛。这种技术可以支持观众将桌面或地面等平坦表面变成虚拟球场，然后系统将渲染相应的3D内容，从而支持你从不同角度进行观看。

　　这不能等同于在现场观影赛事，但显然比平面电视更加接近。而且更重要的是，这可比现场观赛的成本更低。

　　项目的一位研究人员康斯坦丁诺斯·里马塔斯(Konstantinos Rematas)表示：“我们的目标是提升体育赛事的观影体验。不再需要在平面2D屏幕上观看足球比赛或球场，而是将原始视频移植为3D，并在增强现实中将其视觉化出来。比赛从根本上变成了全息图，而你可以四处走动并从不同的角度欣赏赛事，从而带来更逼真的体验。”

　　作为输入，他们研发的算法只需一段YouTube足球视频。由于这无法提供没有足够的信息来训练渲染系统将2D球员“升频”为3D，所以研究人员通过神播放游玩《FIFA 2018》游戏的视频来帮助神经网络估计深度。利用所有这一切信息，系统可以相对精确地判断球员在球场上的位置。

　　目前项目仍在开发之中。例如，球没有被正确地渲染(这对于足球比赛而言非常重要)，而且球员仍然是2D裁剪。研究人员希望未来可以在这两方面取得进步。

　　里马塔斯继续道：“接下来我们要提高比赛重建的质量。特别地，我们希望精确估计球的位置并且更好地重建球员，如遮挡，完整的3D形状估计等等。”此外，研究人员计划扩展至其他运动，如篮球，曲棍球和足球。