第四代个人计算机：一切都由摄像头追踪 并由投影仪增强

　　2018年08月27日，iPone在2007年开启了个人计算机的新时代。这种设备在与先前的设备(台式电脑，笔记本电脑和电视等等)有着一系列的不同之处。移动设备专注于个人用户，搭载摄像头，并且通过一个高度集中的应用商店来分发应用程序。

　　1. 第一代与第二代

　　二维显示器是主要的输出技术。1英寸的智能手表，4英寸的智能手机，10英寸的平板电脑，13英寸的笔记本电脑，27英寸的台式电脑，55英寸的电视，以及80英寸的数字白板在显示方面的功能上几乎完全一样：输出高密度和多色彩的动画图形。不同的屏幕尺寸并没有创建出不同的计算机时代。

　　尽管它们都是基于2D屏幕，但在输入信息上却存在区别。要控制电脑，你通常需要使用键盘和鼠标;要控制电视，你需要的是遥控器;要控制游戏主机，你使用的是游戏手柄;对于所述设备，你所触碰的控制元件通常与屏幕上的数字内容彼此分离。对此，我们将这种控制机制称之为“间接操纵”。

　　与之对比，智能手机和平板电脑一般把触控屏作为它们的主要输入技术。触控屏能够带来“直接操纵”：你感觉自己仿佛正在用手指触碰数字内容。用户与数字内容之间不存在控制器。

　　与间接操纵相比，直接操纵有两个优势。首先，这更为强大。你可以在一台设备上用直接操纵模拟间接操纵，但反过来却无法实现。对于非触控屏设备而言，你无法通过软件来实现手指书写文本的操作。然而，你可以在非触控屏上运行为触控屏设计的应用程序，并且用鼠标和键盘进行操作。其次，直接操纵比间接操纵感觉更自然。

　　2. 第三代

　　我们指出今天计算机显示器属于2D范畴的原因是，我们需要探索3D显示器对个人计算机的意义。

　　“早期采用者质量”的虚拟显示和增强现实设备在过去数年间已经陆续上市。它们用沉重，尴尬，昂贵，同时缺乏足够的游戏和应用来为消费者提供下单购买的理由。但至少从我的经验出发，所有刚戴上HoloLens或VR头显的用户都会面带微笑。3D显示器在特定方面比2D显示器更加自然和更加神奇。一旦这种设备的形状能够比拟普通眼镜和太阳镜，映维网相信它们将能像今天的笔记本电脑和手机一样实现广泛普及。

　　今天的VR和AR设备都使用间接操纵。微软HoloLens使用眼动追踪和手势输入组合来复制光标和鼠标的交互模型。Oculus Rift，索尼PSVR，HTC Vive，谷歌Daydream View，三星Gear VR，以及各种Windows混合现实头显都依赖于运动控制器。

　　这种设备结合了3D显示器和间接操纵，下面我们不妨根据上图再为3D显示设备添加新的一行，从而创建一个四方矩阵。

　　除了头显和眼镜之外，还有更多方法可以展示3D内容。“魔法窗口”能够允许你感知3D内容，这就像你正在浏览搭载头部追踪传感器的2D窗口一样。借助更大的显示屏，魔法窗口可以变成“魔法墙壁”。随着技术的不断进步，也许未来有一天将会出现充满全息图的“魔法盒子”，这样我们无需穿戴任何眼镜或头显都能感知3D数字内容。

　　正如直接操纵比间接操纵更强大一样，3D显示器同样比2D显示器更加强大，因为它们可以模拟2D内容。尽管你可以“在3D中模拟2D”，但你却无法“在2D中模拟3D”。在2D显示器上，你最多只能实现3D世界的平面投影。

　　这种额外的力量(基本上是计算机输出的另一个维度)是第三代个人计算机感觉像是智能手机和平板电脑的一种升级的原因。但需要注意的是，这个额外的力量是以直接操纵作为代价。人们是否仍然因为直接操纵而继续倾向于智能手机手机呢?我十分期待未来数年的发展情况。我认为人们会花费更多的时间使用眼镜+控制器的组合，因为人们投入至消费的时间(使用显示器)比创造的时间(使用任意一种操纵方式)更多。

　　3. 第四代

　　假如我们结合直接操纵和3D显示器呢，亦即一台允许我们直接控制3D对象的设备?你将能直接控制所有的3D对象，而这正是人类以及其他所有动物与物质世界相互作用的方式。

　　我们所讨论的四种交互方法都存在于物理世界之中，但3D视觉+直接操纵是我们最经常使用的方法。由于它能够模拟其他三种方式，所以从这个意义上讲它是最强大的方法。我们或许可以从另一个角度来看，其他三种控制方式只是第四种控制方式的特例。

　　使用具备3D视觉效果和直接控制方式的个人计算机将是如何一番感觉呢?想象一下你的周围都是可以触碰的全息图，或者一张你可以就座的全息椅子;一堵你可以背靠的全息墙壁;或者是你可以行走的全息楼梯。

　　这怎么可能呢?想象一下，未来将出现可以向你身体施加任意作用力的魔术紧身衣，魔术手套和魔法鞋。这一切都将允许你触摸虚拟对象。

　　然而，还有其他途径可能会让第四代个人计算机更快地到来。与纯虚拟3D对象相比，我们为什么不使用通过数字信息来增强的真实的物理对象呢?其中这样一个项目名为Dynamicland。在体验中，所有一切都由摄像头进行追踪并由投影仪进行增强。物理对象和数字对象都是体验的一部分。由于用户是在3D空间中通过直接操纵来与对象进行交互，这相当于第四代计算机。

　　4. 有趣的时代即将到来

　　对UI设计而言，未来数十年成为2D UI在70年代和80年代诞生以来最为令人兴奋的时代，因为现在没有人知道3D中行之有效的操作系统是什么，没有人知道如何能够像制作2D网站一样简单地制作交互式3D内容，也没有人知道一个由数字对象增强现实的物理世界到底是怎么一番光景。