聲音設計應用在VR影片的思考: 什麼是3D Audio?

撰文/ Xiang

圖片來源

---

自從VR產業這一兩年開始普及化，影視產業也紛紛要搭上這個科技的浪潮。新科技的出現意味著全新的操作模式、行銷方法、體驗感受，當然也意味著資訊的混淆以及標準設定上的不明。儘管至今在影視產業對於這個去科技還沒有明確的定位，越來越多的產品以及作品開始採用VR的模式，來測試如何融入進現有的市場。

當然，沒有規則的時代，正是作出創新突破的大好機會。在影視有關的各個領域中，如何從原有的基礎到能應用在VR科技裡，還有相當多的面向可以討論跟嘗試。
我也希望透過討論聲音設計在虛擬實境中的應用，拓展更多VR劇情在敘事中的可能。以往就常被使用來帶動劇情的聲音元素，在VR的故事中，應該扮演著使用者體驗以及劇情前進的關鍵角色。

圖片來源

​3D聲音是什麼？

說到VR，大家都會想到視覺，卻很容易忽略，接近我們人耳聆聽的環繞音場才是觀眾是否能完整沈浸的關鍵。而製造建構出聽覺上的虛擬實境，對聲音來說早就不是新鮮事了。從立體聲混音模擬雙耳聆聽時所產生的Stereo Image(立體成像)，到5.1, 7.1, 9.1, 11.1的開發，最後也來到了Atmos和Aural 3D的全景環繞科技，聲音後期的工作一直以來都是扮演著將觀眾的聽覺世界模擬到真實世界的體驗，進而沈浸在眼前的螢幕世界中。

以往的聲音觀念都特別強調空間的重要，只有好的空間，好的喇叭定位，才能完整地展現出我們為影像所製作的聲音世界。因此，空間的大小品質與否，通常是決定混音的關鍵。

但，當我們把電影院拉到護目鏡中，將大螢幕縮小成手機的寬度，卻要將故事世界與觀眾拉到最近。這時候，聲音就從大空間回到了耳機中。而耳機雖然很適合做為監聽以及個人娛樂，它最為聲音工作者詬病的就是：當音源分開為左右耳彼此之間獨立聆聽的狀態，是完全偏離了一般人正常的雙耳聆聽狀態。

當人雙耳一起聆聽時，透過左右耳的時間差，才能夠有效的判斷出聲音來源的位置以及遠近。有了耳朵為聲音定位，才能夠建立一個自然的聽覺空間。耳機的這個特點正好是沉浸式體驗中最需要卻也最難以達成的弱點。

當然，近年已經有很多科技試圖模擬人類的聽覺傳達，試圖在耳機上達成3D的聽覺效果。不管是透過外接式的耳機前極(例如Xpump)或是搭載在播放裝置上的軟體(例Waves Nx)，都能夠相當有效的解決這點。這些科技的立足點，卻是一個古老的技術：Ambisonic。

在1970年代，Peter Fellget和Michael Gerzon發展出了一個能夠錄製水平面以及垂直面的錄音方法，藉此來重現出環繞音場。透過一個特殊的編碼方式：B-format (基本上有FuMa or AmbiX兩種，在編碼設置上有所不同)，聲音可以用四軌mono音源組成環繞音場，或是在錄音時，使用特殊的四面麥克風收錄環境。

圖片來源

這四個面向分別是W, X, Y, Z，分別產生四個軌道：
W代表全指向的參照音
X代表前後
Y代表左右
Z代表上下


有些麥克風可以透過硬體控制方式個別控制每個軌道所錄製的參數，最後透過軟體解碼成能運算的聲音檔案，輸出格式從mono到環繞喇叭皆有可能。一旦錄製了B-format的聲音，你就可以控制它的上下左右前後等各種方位。​

但由於技術的障礙，多軌錄音的限制，B-format的技術無法打進大量製造的商業市場。這個1970年代由英國政府投資的科技並沒有被製造商廣泛利用，只有極少數人理解他的用途並讓ambisonic的麥克風持續銷售。最差的情況下來講，他也是一隻非常厲害的立體聲麥克風。

在電影院中，Ambisonic的環繞音場最大的問題就是，他的最佳聆聽位置(sweet spot)非常小，無法達到5.1或是7.1等多聲道喇叭富有相位變化以及衝擊性的聆聽效果。當然，Ambisoic的聆聽狀態更適合接近真實狀態的環境音場，而這正是VR耳機聆聽所需要的效果。極小的聆聽位置、極佳的真實聽覺，也不需要處理喇叭之間的相位問題，在VR科技的興起中，重新賦予了Ambisonic一個不可動搖的地位。

圖片來源

小結

聲音在影像面前，長久以來一直以來都是被忽略的一塊。但實際人我們日常生活中，本來就是全方位的再聆聽我們周遭的聲音。因為人耳左右兩邊聽到音源的時間差而能定位出聲音的方向，因為些許反射的不同而能判別出聲音的遠近。只是因為聲音不比影像，沒有對的器材和環境，很難體現出聲音的衝擊力。

在聲音工業來，我們都不斷的使用監聽喇吧來模擬真實的音場，因為只有喇吧才能製造出聽覺上的立體成像(Stereo Image)來模擬我們日常的聽覺習慣。從基本的立體聲雙喇吧，進展到5.1，最後到上百顆喇吧來塞滿整個戲院，我們對於音場的模擬已經達到了某種限度。但是，VR的沉浸式體驗卻將監聽模式拉回了我們以往認為不可能製造出立體成像的耳機監聽。

這是否表示，VR的聲音體驗對受眾來說就會是最接近真實的聽覺體驗呢?

在還原真實性的同時，我們又必須考慮，人的感知是透過不斷體驗和學習來建立的。以往我們的聽覺體驗其實很大一部分都是和真實不符合的。例如數十年來戲院一直只有前方有畫面，我們卻將聲音做到環繞。又或者，演唱會中，我們聽到的其實都是舞台喇吧放出的聲音，而非樂手真實彈奏的方位。其實人們已經相當習慣影像和聲音分離的體驗，那在vr中把一切還原，究竟是更正確，還是更疑惑?

我們可以研究並討論所有的技術規隔層面，但是最終還是必須要回到觀眾的實際體驗來結合所有的理論。360聲音不僅僅是你轉頭時聲音會改變他的方位而已，還必須要考慮到距離，反射，整體空間對於原本收錄聲音所造成的聽覺影響。究竟從耳機監聽Ambisonic的聲音能夠還原多少真實性呢? 太過於強烈的聲音方位移動是否會讓觀眾瞬間抽離他的沉浸體驗呢? 透過聲音來提示體驗者是否真有其效力? 我們習慣了當觀眾專注在前方時，透過加入一些方位音效來加強方向的移動感，但在VR裡，這些移動的音效又該如何加入? 這些都是我們一直在思考的問題。

就如同VR的體驗因人而異，我們也很難去設想所有人都會在我們所設計的聽覺空間中得到同樣的體驗。但，就如同任何的體驗都是經由學習累積的。現階段對於VR體驗都還處於發展階段，每年甚至每個季都會出現全新研發的技術來提升VR的體驗。那我們可以設想，隨著VR逐漸的普及，觀眾的聽覺習慣也會慢慢被改變。到時候，360度混音可能就會發展成一套全新的理論了。

---

參考資料/延伸閱讀

http://www.ambisonic.net/

http://www.creativefieldrecording.com/2017/03/01/explorers-of-ambisonics-introduction/

https://www.asoundeffect.com/ambisonics-primer/  

​https://www.vrfocus.com/2017/06/will-accuracy-overcome-familiarity-for-vr-audio/