1
| 本文作者： 夏睿 | 2016-11-04 19:14 |
編者按:本文原標題為?3D audio is the secret to Hololens's convincing holograms?。以下雷鋒網獨家編譯，未經許可不得轉載。
微軟總部門前，一排排高大的冷杉樹聳立兩旁。微軟員工們坐著小巴穿越過這片繁盛的樹林，眼簾中映入幾十座看起來并不起眼的建筑。在華盛頓州雷德蒙德市這片 500 英畝的土地上，一座由混凝土和玻璃構建而成的 99 號大樓坐落其間——這就是著名的微軟研究院。Ivan Tashev 穿過安靜的大廳走向他的實驗室，走向他為 HoloLens 設計空間音效的地方。
微軟研究院是世界第二大計算機科學機構，Tashev 是該研究院音頻小組的負責人。他和他的團隊現在致力于為 HoloLens（一臺把數字影像疊加在現實世界中的設備）研發 3D 音頻系統，以使人們戴上它之后的體驗更生動，更貼近現實感覺。
和虛擬現實一樣，混合現實的視覺表現力也為人們所稱道。當你第一次戴上 HoloLens 頭顯時，逼真的全息影像會立刻吸引你所有的注意力：你會在射擊游戲《 RoboRaid 》中看到外星人從墻壁中爬出來，或體驗美國宇航員 Buzz Aldrin 漫步在火星表面的感覺。帶上頭顯，你能看到逼真的虛擬影像，但真正騙過你的大腦，讓你誤以為所見為真的其實是空間音頻——在敵人破墻而出之前，你能聽到他們的動靜； Buzz Aldrin 漫步于紅色星球時，你能聽到他在講話。
“聽到四周發出的聲音能讓你更加確信自己身處全息圖像中，” 微軟音頻創新部門總監 Matthew Lee Johnston 表示道，“全息音頻越真實，身臨其境的而效果就越好。”
該聽覺系統的設計，其實是在模仿人類大腦處理聽覺信息的過程。“空間聽覺是我們感知生活的基礎之一。我們總是在不斷地接收環境中的聲音，并時刻給它們定位，”Johnston 說道。
我們的耳朵負責處理和解釋聲音，而大腦則根據耳朵輸入的線索更精確地定位聲源。比如，當你走在大街上注意到一輛公交車是從你的右側駛過，這是因為聲音會最先到達離它最近的耳朵，即你的右耳，所以右耳聽到的聲音會比左耳要大。大腦就是根據這些微小的線索給聲音做精準定位。
除此之外，影響聲音感知方式的還有另一個物理因素。
聲波在進入耳道之前會與外耳部、頭部、甚至是頸部產生相互作用。因為人體各部位的形狀、大小和位置都會對接收到的聲波產生影響，它們在不同個體間的差異會使每個人聽到的聲音都略有不同。這種效果被稱為頭相關變換函數（HRTF）。
而這些微小的差異正是空間聽覺體驗最重要的部分。要使大腦相信空間音效是真實的，就必須給它輸入這些線索，而且還要精確。“沒有一勞永逸的解決方案，通用過濾器也使所有人的需求得到滿足，” Tashev 指出，“讓虛擬現實達到想要的效果，我們就得讓設備學會‘因人而異’。”
因此，Ivan Tashev 的團隊就開始在微軟實驗室收集各種各樣的音頻數據。他們采集了上百人的頭相關變換函數，并給每個人建立聽覺曲線。聲學測量和頭部 3D 精準掃描使 HoloLens 的設計更加科學，而及時和準確的校對則可匹配最適合個體的空間音效。
8 月下旬一個陽光明媚的清晨，Tashev 再次回到 99 號建筑，來到微軟總部的實驗室中。他身著黑色褲子和鉑金灰色襯衫，這和他的發型很搭。拉開實驗室沉重的大門，Tashev 走進一個隱蔽的房間中，這就是他進行聲學測量的地方。房間墻壁上大面積的泡沫楔子使之與建筑物中的其他部分隔離開來。地板底部有一層吸聲器和一層金屬絲網——這樣的結構能吸收所有聲音和震動，創造出一個消音室，也就是一個沒有回音的空間。
但只要在這個房間待上幾分鐘，你就會開始感到不適。你能聽到血液流過心臟的聲音，感覺到愈加頻繁的呼吸聲。在消音室中有這種表現很正常，幾十年前就已經如此——早在 1943 年，為了測試廣播和揚聲器，哈佛電聲實驗室的主任 Leo Beranek 博士建立了世界上第一間消音室，并于二戰期間用它來改善噪音控制。從那時起，人們就開始設計類似的消音室用于測試麥克風以及多方向音頻系統的頭相關變換函數。
在微軟的這間消音室中間擺著一張黑色皮椅，Tashev 的這張椅子已經測量過 350 個人的頭相關變換函數。測試者戴上一對很小的桔色耳機后，配有 60 個揚聲器的黑色機組就會從背部慢慢升起。當該設備在測試者面前成弧度移動時，它會稍作停頓，播放連續、刺耳、像是激光一樣的聲音。
通過在測試者周圍播放聲音，研究團隊能夠從左右耳 400 個不同的方向收集精準的聲音線索。 這個方法使頭相關變換函數過濾出每一個聲源。“如果我們知道過濾的方向來自哪里，我們就能建立一個專屬個人的空間聽覺，” Tashev 說道，“我們能騙過你的大腦，讓它以為聲音是從特定方向傳過來的。”
為了讓用戶以為全息圖來自于一個特定空間，我們要用到相應的音頻濾波器。當 HoloLens 播放這些特定聲音時，頭相關變換函數就能讓大腦實時感覺到聲音的源頭。
盡管這種技術已能產生相當逼真的效果，但它仍無法代替立體聲和環繞聲系統。因為，除了精準的聲學測量，系統還需要持續不斷地對頭部進行追蹤。頭部所處的方向直接決定聲音到達耳朵的方式。當一輛公交車朝你的方向駛來，你把頭扭向一邊和盯著它看所得到的聽覺效果顯然截然不同。
不過 HoloLens 的團隊無需為解決此問題絞盡腦汁，因為全息視覺已經解決了這個問題——設備配有 6 個攝像頭，有 1 個專門用來監控頭部運動。聽覺系統只需對這些信息進行分析即可。
創建個人音頻系統的公司，并非只微軟一家。他們中大多數人都會采用頭相關變換函數，或通過專門的研究實驗室創建 VR 3D 聽覺體驗。過去幾年里，美國普林斯頓大學，機械和航天工程教授 Edgar Choueiri一直在使用入耳式耳機技術；一家基于馬里蘭大學研究實驗室的公司 VisiSonics 也一直在測量頭相關變換函數，并建立了自己的數據庫。
雖然有競爭對手，但微軟并不擔心，因為它有自己獨特的工程技術——音頻校準。
第一次使用設備時，設備會指導你完成眼部校準。為了測量瞳孔之間的距離，你需要閉上一只眼睛，抬起手指點擊面前的投影圖像；接著換另一只眼睛做同樣的動作。系統則通過這樣的方法計算瞳孔之間的距離。在這個過程中，系統還同時通過算法進行另一項工作：Tashev 已在此前的實驗中掃描和測量了數百個測量者眼距和耳距之間的關系，并建立了一個通用的平均值。因此，結合實驗結果與佩戴者的實際情況，就能通過一個人的眼距推算出耳距。
研究團隊則希望信息收集的過程越隱秘越好。“我想我們做到了，” Tashev 說，“用戶在使用 HoloLens 時甚至不知道 HRTFs 的個性化設置究竟從何時開始，又是如何進行的。”
想要全方位模擬現實場景，研究人員不僅要在軟件上下功夫，還要考慮硬件配置。“不久后我們就意識到除了要聽到全息圖像中的聲音，用戶還希望能聽到所處實際環境中的聲響。所以我們需要一些在耳朵外部，但是靠近耳朵的揚聲器，以確保聲音能以某種程度到達耳朵。”
Strande 表示，早期 HoloLens 配有小型管道，能把空氣導入耳道中。另一種想法是把管道換成了耳機。但團隊最終選用了一對輕薄的紅色揚聲器。
“大多數人都不知道那有一個揚聲器，” Strande 說道，“用戶第一次佩戴設備聽到環境中的聲音時，他們會以為聲音來自于房間中的揚聲器。所以用這種方法模擬環境很管用。”
除了 HoloLens，微軟還把空間音頻嵌入到操作系統中，因此，該技術可兼容所有使用 Windows 10 的設備。在 10 月舉辦的Surface發布會上，微軟還為其 Windows 系統發布了新的 VR 頭顯。可能以后，空間音頻技術將從全息混合現實轉移到完全沉浸式的虛擬空間中。
Strande 說：“音頻在混合現實和虛擬現實中都很重要，因為它和用戶體驗直接相關。但游戲和軟件開發商不夠足夠重視該問題。如果沒有音頻，用戶就會立刻懷疑體驗的真實性。因此為了讓體驗變得更真實生動，必須要加入空間音頻這一因素，特別是當用戶看到不斷移動的全息圖像的時候。”
via：engadget
延伸閱讀：
微軟降低VR門檻：2000元VR頭顯只需3000多的電腦就能驅動
與 Pinterest 合作，HoloLens 能讓你從網上找素材設計廚房
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
