0
雷鋒網按：本文作者為 NVIADIA AR & VR 研究小組的科學家 Morgan McGuire，在本文中，他詳細介紹了電影、游戲的圖像渲染，與現在 VR 圖像渲染的不同之處，以及 VR 在圖像渲染方面臨的挑戰。同時，他還講述了英偉達如何通過 GPU 和相關軟件，來解決這些問題的。這是文章的第一部分，雷鋒網編譯如下。
作者介紹：Morgan McGuire 博士是 NVIADIA AR & VR 研究小組的科學家。他在 Activision 和 THQ的系列游戲 Skylanders、Call of Duty、Marvel Ultimate Alliance 和 Titan Quest 制作中都有所貢獻。Morgan 還是 Graphics Codex 和 Computer Graphics：Principles & Practice 的共同作者。同時，他也在滑鐵盧大學和威廉姆斯學院擔任教職。
NVIADIA Research 的研究遍布全球，我們的科學家和當地的大學都有著密切合作。我們的研究領域包括自駕駛、機器人和游戲電影圖像等多個應用方向。
我們在虛擬體驗上的創新技術你可能已經聽說過一些，比如焦點渲染技術（foveated rendering），變焦光學，全息攝影和光場。這篇文章將會詳細描述我們目前的研究工作，更重要的是展示出，我們是如何通過一系列的研究掀起計算機與現實交互的變革。
NVIDIA 一直致力于做世界上最好的 GPU。在研究中我們的角色在于跳出穩步改進的產品周期，尋求革命性的改變和新的應用。我們正在將虛擬現實從早期的概念變為一場計算機的革命。
我們的愿景是：在未來， VR 將會成為所有計算機的界面形式，它將代替手機屏幕、電腦顯示器和鍵盤、電視和遙控器，還有汽車儀表盤。我們方便起見，文章中用 VR 來代表所有虛擬體驗（無論你帶上戴上頭戴顯示器時，是否能同時看到現實世界）。
我們將目標設定為所有計算機界面，是因為我們在 NVIDIA 的任務是創造出革命性技術，而只有當一個技術成為人們的日常使用，才能被稱為真正的革命性。一個技術，必須徹底滲透進我們的生活，才能真正產生影響。最重要的技術就是那些我們習以為常的東西。
如果我們的目標是所有計算機和廣泛存在的界面，那就不得不提到游戲的 VR 體驗。如今，游戲已經成為 VR 應用的一個重要領域。NVIDIA 已經擁有了相關產品，并且我們的 GPU 架構也為新的 VR 功能提供了基礎。NVIDIA 非常重視游戲領域，我們堅信 VR 會為游戲帶來新的驚喜。但是，VR 的真正潛能可不僅僅是游戲，因為游戲只是計算機的一部分。因此我們從 VR 游戲開始，但技術已經擴展至與計算機相關的工作、社交、健身、醫療健康、旅行、科技、教育各個領域。
NVIDIA 在這場 VR 革命中有著特殊的地位和貢獻。在 1999 年推出現代 GPU 之前，我們就曾改造過消費級計算機，為其提供了高性能的計算。而在今天，你的電腦、平板、手機、汽車和電視中都有我們的 GPU，它們為你提供了曾經只能在超級計算機中實現的高算力。多虧了設備中無處不在的 GPU，如今的我們都能享受升級的高生產力、便捷的使用和各種娛樂應用。
為了讓 VR 成為我們生活中不可或缺的一部分，VR 系統必須更加便捷易用且便宜耐用。所以我們正在構建新的頭顯技術：使用激光和全息圖的輕薄眼鏡代替目前笨重的 VR 頭顯，它可以應用在各種平板、手機、筆記本電腦上，操作也更加簡單，并且可以在 AR/VR/MR 三種模式間輕松轉換，同時它將搭載新的GPU 和圖形軟件。
所有這些創新都為計算機交互指出了一個新的發展方向，當然也提出了新的要求：不僅僅需要新的設備或軟件，更需要一個全新的 VR 系統。在 NVIDIA，我們正在用尖端工具、傳感器、物理學、人工智能、處理器、算法、數據結構和展示技術來創造這種系統。
NVIADIA Research 秉承著開放的思維，通過發表期刊和開源代碼來分享我們的研究成果。首先，為了闡明我們對未來 AR/VR 的構想，我們需要了解現有的電影、游戲和 VR 系統是如何運作的。
現在的好萊塢動作大片通常會混合真實人物和計算機生成圖像（CGI）來呈現驚人的視覺效果。目前的 CGI 技術已經非常成熟，好萊塢布景甚至可以全部通過計算機生成。在 2016 年的《死侍》中，場景編排中的每一個物體都是由計算機渲染而不是真實拍攝的，不僅僅是爆炸場景和子彈，還包括建筑物、車輛和人員。
從技術的角度看，用高視覺保真度來制作這些圖像的電影系統可以用下圖來描述：
圖中分為多個階段，最左邊是創作階段，接著是粒子、三角形、曲線細分曲面的初步建模，直到最后的渲染器。渲染器使用一種叫做“路徑追蹤”的算法來模擬虛擬場景中的光線。
渲染之后，還要手動對二維圖像進行顏色及合成的后期處理。整個過程在導演、編輯和藝術家的視覺反饋修改中不斷循環，直到最終呈現給觀眾。而電影的圖像質量則是我們這種 VR 現實主義者的目標追求。
電影系統演化成一個 3D 游戲設計的類似系統。游戲體現了我們在 VR 交互中對速度和靈活性的追求（即使有些是非娛樂應用）。游戲圖形系統如下圖所示：
我在這里特別展示了一個延遲著色的管線，這是大多數 PC 游戲所使用的方法，因為它能提供最高的圖像質量和流率。
與電影類似，游戲圖像系統也從創作過程開始，不過游戲的藝術設計是個較大的循環，因為游戲需要與玩家產生一個交互循環。當玩家看到屏幕上的物體時，他會通過點擊按鈕與其進行交互。玩家的輸入將會進入圖形處理管線中一個較晚的幀中。這個過程是“延遲”的，玩家的輸入需要花費時間來更新下一幀。為了讓玩家獲得即時反饋，在傳統視頻游戲中，這個延遲必須低于 150ms，保持這種低延遲是游戲系統的一個挑戰。
然而，有很多因素會增加延遲。比如，游戲使用的是“光柵化”渲染算法而不是路徑追蹤法，而延遲著色的光柵管線有很多階段，每一個階段都會增加一些延遲。同時，跟電影一樣，游戲也有很多 2D 后期處理內容，在上面的多階段管線圖中標記為“PostFX”。像流水線一樣，這種較長的管線增加了流率，也可以實現高質量的幀率和分辨率，但同時復雜性卻犧牲了延遲率。
如果只看圖像輸出，像素從這條流水線中產出得很快，這也是 PC 游戲擁有高幀速率的原因。但實際上，像素在管線中花費了很長時間，因為這個管線由很多階段構成。圖中的紅色豎線表示障礙同步點，它們會放大延遲，因為在這個障礙點上，下一個階段的像素必須等待上一個階段的像素被處理完成后才能被處理。
這種游戲圖形管線同樣可以帶來驚人的視覺體驗。在精心的藝術指導下，技術人員可以在頂級 GPU 上將游戲畫面處理成電影 CGI 甚至是真人電影的畫質。比如我們熟悉的電子游戲“星球大戰：前線（2017）”。
盡管如此，最好的星戰游戲畫面仍然比星戰電影中的更加靜態。這是因為游戲的視覺特效必須根據游戲性能進行調整。這意味著游戲畫面中的光影和幾何變化無法像大屏幕中那樣絢麗。不過你可能已經習慣了這種相對靜態的游戲環境。
現在，我們來看看電影和游戲與現代 VR 有什么不同。當開發者將做游戲的那一套移植到 VR 時，他們遇到的第一個挑戰就是規模的增加。游戲中需要的原始圖形功耗只有每秒 6000 萬像素，到了 VR，每秒則需要 4 億 5 千萬像素。而這只是一個開始，明年 VR 的功耗將會翻倍。
相比于 30FPS 的 1080P 的游戲，Oculus Rift 或 HTC Vive 上 45,000 萬像素每秒的功耗，每秒處理的像素數目幾乎增加了 7 倍。這也導致吞吐量（Throughput）的增加，因為它會改變像素在圖形系統中的移動速度。
功耗的提升是巨大的，而性能上的挑戰則更大。回想一下傳統游戲中，玩家輸入與屏幕像素改變間互動的延遲大約是 100-150ms。但對 VR 來說，我們不僅要增加 7 倍的吞吐量，還要降低 7 倍的延遲。如今的 VR 開發者是如何做到這些的？我們先從延遲看起。
下圖所示，延遲即是數據從系統中的左邊階段移動到右邊階段的時間。系統中的階段越多，吞吐量就會越高，因為處理過程可以并行，但是這也會令管線變得更長，延遲問題就會更加嚴重。為了減少延遲，則需要減少圖中方格和紅線的數量。
正如你所預料的那樣，為了減少延遲，開發者可以盡可能多地移除管線中的階段，正如上圖中的修改，這意味著在 3D 場景中切換回“上一步”的渲染管線，完成所有處理，而不是在 2D 中多次加入陰影和 PostFX 處理。這會減少吞吐量，犧牲圖形質量，但不幸的是，如此方法降低的延遲仍遠遠不夠。
所以現代 VR 解決延遲的關鍵技術叫做“時間扭曲（Time Warp）”。在這種方法中，屏幕圖像的更新可以不經過完整的圖形管線。用戶頭部的追蹤數據可以直接進入渲染完成后的 GPU 階段。因為該階段更“接近”顯示器，所以它可以扭曲已經渲染過的圖像以匹配最新的頭部追蹤數據，而不需要穿過整個渲染管線。在一些預測頭部運動的技術配合下，延遲可以被降低到 50ms 甚至是 0。
現代 VR 硬件的另一個關鍵問題是鏡頭畸變（Lens Distortion）。一個好的相機光學元件至少包含五個高品質的玻璃鏡片。但這是會讓頭顯變得沉重、巨大且昂貴，你不會希望在頭上架兩個單反相機。
這也是許多頭戴式顯示器使用兩個便宜的塑料鏡片的原因。這些鏡頭輕便小巧，但是圖像質量不高。為了校正單一鏡片的圖像畸變和色差，著色器需要以相反的量扭曲圖像。
NVIDIA GPU 硬件和我們的 VRWorks 軟件加速了現代 VR 的圖形管線。GeForce GTX 1080 和其他 Pascal 架構 GPU 使用一種叫做“Simultaneous Multi-projection”的新功能從多個角度分別同時渲染圖像，既增加了吞吐量，又降低了延遲。這個功能提供單通道立體聲，使雙眼同時呈現透鏡匹配的陰影效果，直接渲染預校正的圖像，因此性能更好，圖像更清晰。同時，GTX 1080 中的 GDDR5X 內存提供了比上一代多 1.7 倍的帶寬，而硬件音頻和物理技術則有助于創建更精確的虛擬世界，以增加沉浸感。
減少了管線階段，使用“時間扭曲”，解決鏡頭畸變，配合一個高效的 PC GPU，現代 VR 系統就此形成。
本文介紹了現今電影、游戲和 VR 的運作情況，下一篇文章中，作者將關注人類視覺感知的局限性，并介紹英偉達正在探索的未來提高 VR 系統性能的方法。
via roadtovr.com 雷鋒網編譯
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
