聲音設計應用在VR影片中的思考：Ambisonic的使用技巧以及創意選擇

Adapted from Claudio Santos

網路上有關ambisonic的介紹以及理論已經相當多，但是卻少有人討論到實際使用的應用技巧。因此，本篇特別整理了一些前輩的經驗談，希望給大家做個參考。


前述Ambisonic如何真實地呈現給觀眾聽覺上的感受，在影片製作裡就出現了一個問題：我們要如何設計並擺放並非真實世界中會出先的聲音？


在我們所習慣的電影中，聲音分成diegetic sound以及non-diegetic sound。


Diegetic sound就是指劇情中自然發生的聲音。例如各種現場收音所需要收錄的聲音素材，舉凡演員對白，環境音，腳步動作聲等等，都是所謂劇情中會發生的聲音。這部分的使用我想應該沒有太大的爭論：就是擺在他們應該出現的位置就對了。


那麼，發生在劇情外的聲音，也就是所謂的non-diegetic sound又該何去何從呢？


在任何互動或是實境裝置中，就算是最被動的觀眾也可以做一件事，那就是轉動他的頭。
我們沒辦法控制觀眾在任何一個時間點上一定要看向什麼地方，這也造成視角轉動時，聲音上位置的改變。但一般VO或是背景音樂在觀影經驗上，卻是不應該隨著觀眾移動而有所改變的。

​Mono的VO

在解決這個問題之前，我們必須回頭想想ambisonic的編碼模式：


W代表全指向的參照音
X代表前後
Y代表左右
Z代表上下


在這四軌裡，W軸屬於全指向的軌道，那答案就呼之欲出了—把單聲道的VO放在這就好啦。如果我們希望這個mono的聲音在一個點的任何方向都用相同的音量和位置撥出，這聲音就必須要待在整個音場的中間，也就是觀眾的腦袋中。這個技術如果在真實空間中使用喇叭撥出，是很難真正達到，但在耳機來說，卻是再自然不過的一件事。

Stereo的音樂

在四軌mono編碼中解決mono的問題還算簡單，那立體聲的音樂又該怎麼處理才不會造成喪失空間呢？


當然你可以把stereo的軌道輸出成mono，然後比照VO的模式放在W軌道，但這樣就喪失了立體聲應該有的寬度。本來應該是要在周圍播放的音樂，變成了在你腦中的位置。

所幸有人想出了解決辦法，利用特定的plug-in，可以在軟體中鏡像反射另一個半球的聲音。本來180度的音場，經過鏡像反射之後就變成了360度的音場，並且完整的保留了立體聲的寬度。這當然也可以透過調整一個複製的立體聲軌來達到，但鏡像的方式直接並快速的多。


基本上，你要把立體聲的來源放在你想要觀眾看的方向，然後鏡像出上下和前後。這樣一來，不管觀眾看向哪個方向，音樂的音量都會差不多一樣，同時也會保留音場的空間感。


當然，這個方法還是會造成空間的位移感。畢竟聲音並非以觀眾為中心來定位，在觀眾轉向另一個方向時一定會注意到聲音改變了方位。作者Claudio認為這是一個相當有趣的效果，也不會吸引觀眾太大的注意力。如果你要使用的音源在這個方法中實在造成了太嚴重的方向轉變，那你也可以回到像上述的第一個方法，不同的是可以輸出四個mono軌道並分別放在W, X, Y, Z軌中進行調整。

Reverb的使用方式

在ambisonic的套件中，已經有很多reverb的plug-in可供使用。例如AudioEase出的360Pan套件中，就融合了他們出名的空間模擬Plugin，可以調整每個音效在影片中的殘響。不過這邊作者討論到了一個有趣的應用，就是如果一個場景中，觀眾前方有個巨大的障礙物（例如牆壁），而後方卻是一個開闊空間時，殘響該如何擺設？

Claudio提出一個概念，就是在這樣的場景中，聲音會從障礙物反射聲音回到觀眾位置，而在另一邊卻不會有明顯的反射。你可以把一個稍微有點延遲的reverb放在障礙物的方向，然後在另一個開闊空間中不放反射來模擬這個場景。你可以根據障礙物的尺寸來調整聲音反射的寬度，也可以根據人物所在的位置調整延遲的時間。這樣做會比一個只有單純調整一個空間的殘響來的有效果的多。​

你當然可以使用你慣用的套件來進行各種效果的實驗，透過模擬出實際空間的狀態，來達到更真實的聽覺體驗。

小結

360 audio應用在影片中也還是算比較新型的技術。在遇到新的技術時，培養觀眾的解讀能力是製作的重要指標之一。當電影從無聲進展到有聲時，也徹底改變了觀眾的觀影心裡以及型態。在VR影片中，觀眾對於聲音的感受勢必也需要經歷過一段時間的磨合以及適應，才能讓我們收集到有效的資訊。針對如何在VR的媒介（尤其是耳機中）中表現出如同劇場般的聲音張力，就是我們需要繼續研究的課題了。