英特尔实感T265可为VR头显提供6ms以下延迟的定位追踪

　　在不少人心中，英特尔实感摄像头是一种高质量的深度摄像头，但T265追踪摄像头的面世引发了大量关于英特尔追踪解决方案和深度解决方案之间差异的问题。凭借在深度摄像头领域的悠久领导地位，英特尔已经生产了众多不同类型的深度设备，目前包括Stereo和Coded Light解决方案并能支持各种应用。

　　深度摄像头和追踪摄像头单独出售，并且具备大量的单独用例，但深度信息与精确的V-SLAM追踪解决方案的结合存在非常大的空间。在本文中，我们就来看看它们在沉浸式领域的用例，以及为何深度信息和追踪信息的结合可以带来更好的结果。

　　1. 追踪和深度之间的差异

　　在一定程度上讲，我们可以将追踪和立体深度视为同一问题领域的不同版本：给定一组已知信息，两个系统都可利用算法来确定未知信息。对于立体深度摄像头，已知信息是两个透镜之间的基线。通过比较每个透镜的图像，并查看各个兴趣点，系统可以通过在空间点和两个摄像头之间绘制三角形来确定每个像素的深度距离(以及每个对象的距离)，并且利用三角法来推断距离。

　　另一方面，追踪不是要确定特定对象的距离，而是确定其位置和移动。T265不追踪外部对象，它的工作是以高精度追踪自身。它通过利用自己的一组已知信息来做到这一点。它搭载了两个摄像头，彼此拥有自己的已知基线。这款设备同时包含一个惯性测量单元。摄像头在环境中搜索不同的视觉特征，在两个摄像头之间进行比较。然后，系统将所述信息与惯性测量单元的运动信息相结合，从而确定高度准确和低延迟的位置数据。

　　2. VR/AR/MR

　　对于XR应用，最重要的技术挑战之一是追踪或准确理解头显设备在空间中的位置。对于头戴式设备，头部运动与内容之间存在差异可能会导致严重的晕动症。低于20ms之间的延迟是绝对关键。T265则旨在提供6ms以下的延迟追踪。

　　为了支持同一设备理解并实现真实元素和数字元素之间的交互，我们需要深度摄像头。对于虚拟现实，由于设备遮挡了用户的整个视场，增加深度摄像头可以赋能防护系统并提高安全性。由于深度摄像头可以标记特定距离内的任何一切，因此系统将能够容易识别在玩家前面移动的宠物或人。

　　至于增强现实或混合现实，真实和数字对象的融合对于维持沉浸感而来非常重要。数字角色需要能够逼真地呈现在真正的桌面，并且正确地消失在墙壁或前景物体后面。T265和D400的组合可允许系统将数字对象“放置”在真实表面之上。即使用户远离对象，当其再次回头看时，它们都不会产生漂移，因为来自深度摄像头的环境理解与来自T265的运动数据结合了一起。深度摄像头同时可用于改善手部追踪，支持用户通过双手操纵数字对象。

　　3. 3D重建与扫描

　　我们之前已经在不同的博文中探讨了各种3D扫描应用程序和用例。如果仅使用一台摄像头来构建对象或场景的3D模型，你将不可避免地需要移动摄像头或对象，从而创建对象的完整3D扫描。如果你曾尝试拍摄全景照片，你可能已经熟悉这需要耐心和细心，否则图片之间将无法对齐，而当扫描对象的过程类似。通过在系统中添加T265追踪摄像头，其位置和方向可用于帮助软件正确地对齐数百帧深度数据，从而完整地扫描对象或空间。

　　通过实时提高扫描的准确性，这开辟了新的3D扫描用例，并允许房地产经纪人利用移动设备扫描房产，然后轻松地将其显示给潜在买家;又或者是允许建筑项目经理以前所未有的完整性检查和记录项目。

　　4. 示例代码

　　英特尔实感SDK 2.0开源，同时提供了各种代码示例。对于深度和追踪集成的示例，这个ROS包可分别根据深度摄像头和追踪摄像头的深度图像和姿态生成2D占用图。

　　另外，英特尔提供了一个可3D打印的接坞，并用于组合D435和T265。外部校准数据可通过这个页面获取 ，而这应该能帮助你非常快速地获取两个设备的配置并迅速开始运行。