2. 理解工作原理
英伟达研究院对正在开展的工作持非常公开的态度，并通过科学出版物和开源代码共享我们的成果。首先，为了向相关技术和我们对未来AR/VR系统的愿景提供一个现实背景，我们下面先来看看当代电影，游戏和现代VR系统的工作原理。
2.1 电影图形系统
好莱坞动作大片包含真实物体和计算机生成图像（CGI），以此来创建惊人的视觉效果。现代的CGI技术非常发达，好莱坞可以制作完全由计算机生成的场景。 在漫威电影《死侍（2016）》的编排中，场景中的每个对象都是由电脑渲染，并非是真实拍摄。不仅只是爆炸和子弹，还包括建筑物，车辆和人员。
电脑渲染（图片来自映维网）
从技术的角度上看，用高视觉保真度来制作上述影像的电影系统可以通过下图进行描述：
图片来自映维网
从左边的剧本创作阶段，到粒子，三角形和弧形细分曲面的建模原语，再到渲染器，上图包含许多部分。渲染器主要是使用一种名为“路径追踪”的算法来逼真模拟虚拟场景中的光线。
渲染之后还需要手动对2D图像进行颜色和合成的后期处理。整个过程不断循环，而导演，编辑和美工则循序渐进地修改基于视觉反馈的内容，然后再向观众展示。电影级别的图像质量是我们对VR的目标。
2.2 游戏系统
电影图形系统演变成3D游戏中类似的系统。游戏代表了我们的VR交互速度和灵活性的目标，即使是非娱乐应用也同样如此。游戏图形系统如下图所示：
图片来自映维网
我在这里特意展示了一个“延迟着色”管道。这是大多数PC游戏所使用的技术，因为它提供了最高的图像质量和吞吐量。
像电影一样，这个流程从创作开始，并包含大量的艺术方向循环。游戏为玩家添加一个至关重要的交互循环。当玩家看到屏幕上出现某物时，他们会按下按钮，然后输入将馈送至图形处理管道中的随后帧。这个过程带来了“延迟”，这是由于为新用户输入更新帧需要花费时间。对于一款感觉流畅的动作游戏，传统游戏中的延迟需要低于150ms，所以保持合理的低延迟是一个挑战。
遗憾的是，一系列因素都会增加延迟。例如，游戏使用“光栅化”渲染算法来代替路径追踪。延迟渲染光栅化管道包含多个阶段，而每个阶段都会增加一定的延迟。跟电影一样，游戏流程包含一个重大的2D后期处理组成部分，亦即上图中的“PostFX”区域。就像流水线一样，这条长长的管道增加了吞吐量，并且可以实现流畅的帧率和高分辨率，但复杂性的增加会扩大延迟。
如果只看输出，像素会很快从流水线中出来，这就是为什么PC游戏具有高帧速率的原因。值得注意的是，像素需要在管道中停留很长时间，因为它分成很多阶段。图中红色的垂直线表示栅障同步点。它们放大了一个阶段的延迟，因为在栅障同步处，只有前一阶段的最后一个像素完成后，下一阶段的第一个像素才能开始处理。
游戏管道可以提供惊人的视觉体验。加上精细的艺术指导，它们可以在顶级GPU上实现接近于CGI电影，甚至是真人实景电影的质量。例如，我们可以参考EA的游戏《星球大战：前线II（2017）》。
游戏画面（图片来自映维网）
尽管如此，《星球大战》游戏的最佳画面将比《星球大战》电影的最佳画面更为静态。这是因为游戏视觉效果必须根据性能进行调整，而这意味着照明和几何无法以银幕上那种史诗般的方式发生改变。你可能对相对静态的游戏环境非常熟悉，这种环境只能切换到剪切场景中的大型固定爆炸场面。
2.3 现代虚拟现实系统
现在我们来看看电影和游戏与现代VR的不同。当开发者用游戏引擎开发VR时，他们遇到的第一个挑战是规格的增加。原始图形功耗从每秒6000万像素（60MPix/s）上升至VR的450MPix/s。这只是一个开始…该数字在明年将会增加四倍。
功耗上升（图片来自映维网）
当比较Oculus Rift或HTC Vive上的450 Mpix/s和30 FPS的1080p游戏时，前者的每秒像素数目几乎是后者的7倍。这是吞吐量的增加，因为它会改变像素在图形系统中的移动速度。这是一个巨大的挑战，但性能挑战更大。回想一下，玩家输入与像素在传统游戏屏幕变化之间的游戏交互延迟大约为100-150毫秒左右。对VR来说，我们不仅需要增加7倍的吞吐量，同时还要减少7倍的延迟时间。今天的VR开发者应该如何做到这一点呢？我们首先看看延迟。
在下图中，延迟是数据从系统左侧移动到右侧所花费的时间。系统中大部分的阶段能够提供更好的吞吐量，因为它们可以并行工作，但它们同时会延长管道，所以延迟会变得更糟糕。为了减少延迟，你需要消除多个框框和红线。
正如你所预料的那样，为了减少延迟，开发者可以尽可能消除图表上的阶段，如上图所示。这意味着切换回“正向”渲染管道，亦即所有事情都在一个3D通道中完成，而不是多个2D着色和PostFX通道。这降低了吞吐量，然后通过显著降低图像质量进行保存。遗憾的是，它仍然无法提供足够的延迟减少。
帮助当代VR弥补延迟差距的关键技术是时间扭曲（Time Warp）。在“时间扭曲”下，屏幕上的图像可以在不完成整个图形管道的情况下进行更新。取而代之的是，头部追踪数据将发送至渲染完成后出现的GPU阶段。由于这个阶段比较接近显示器，所以它可以扭曲已经渲染的图像以匹配最新的头部追踪数据，这样就不需要完成整个渲染管道。借助一定的预测技术，这在理想情况下可以将感知延迟从大约50ms降到0ms。
现代VR硬件的另一个关键技术是透镜畸变（Lens Distortion）。优秀相机的光学元件至少包含五个高品质的玻璃镜片。但遗憾的是，这十分笨重，体积巨大，而且昂贵，你无法将相当于两台单反相机的设备穿戴在头上。
所以，大部分头显只采用廉价的塑料透镜。这种透镜轻而小巧，但质量不高。为了校正简单透镜带来的畸变和色差，着色器以相反的量来预扭曲图像。
英伟达的GPU硬件和VRWorks软件加速了现代VR管道。GeForce GTX 1080和其他Pascal架构GPU使用了名为同步多重投影（Simultaneous Multiprojection）的新功能来渲染多个视图，其可以提高吞吐量和缩短延迟。这个功能提供了单通道立体影像，同步为双眼进行渲染，并提供匹配透镜的着色。这能直接渲染预扭曲的图像，并且提供更好的性能和更锐利的影像。1080中的GDDR5X内存提供了比前一代高1.7倍的带宽，而硬件音频和物理技术则有助于创建更精确的虚拟世界，从而可以增加沉浸感。
减少的管道阶段，时间扭曲，透镜畸变，以及强大的PC GPU（图片来自映维网）
现在我们已经明确了电影，游戏和VR图形的工作原理，未来我们将继续探索人类视觉感知的限制，并且分享我们正在研究的解决方案。
（文章转载自映维网）
