Air Race X: AFC Image Menghadirkan Suara Extended Reality ke Shibuya

Pada bulan Oktober 2023, Air Race X Shibuya Digital Round menampilkan pesawat virtual yang melakukan balapan di jalanan Shibuya, Jepang. Sebagai balapan udara pertama di dunia yang dipentaskan melalui extended reality (XR), suara realistis merupakan bagian yang sangat penting dari tontonan. Teknologi audio imersif Yamaha AFC Image memastikan acara tersebut menjadi pengalaman mendebarkan dan sangat nyata.

Pesawat sayap tunggal untuk olahraga balapan dengan kecepatan hingga 370 km/jam sudah jelas tidak praktis bila melintasi sebuah kota, sehingga Air Race X dikembangkan sebagai ‘Formula 1 di langit’ untuk menciptakan atmosfer dan tontonan pesawat virtual yang saling berpacu di jalanan. Delapan pilot balapan udara terkemuka di dunia menerbangkan rute yang sama di lokasi terpencil di seluruh dunia, dengan data penerbangan yang tepat dikumpulkan dan dianalisis oleh kantor pusat kompetisi. Setelah itu, data ini digunakan untuk membuat serangkaian ‘balapan‘ virtual yang melintasi Shibuya, dengan para penonton menyaksikan animasi pesawat melalui kacamata augmented reality (AR) dan smartphone.

Tantangan

“Dengan Air Race X, kami ingin menciptakan gaya baru olahraga penonton yang belum pernah ada sebelumnya,” kata (Tn. Tsutsumi dari PATHFINDER Co., Ltd.). “Kami ingin mereproduksi kekuatan dan posisi suara mesin pesawat, dengan cara yang unik untuk olahraga berpenggerak motor, di lingkungan penonton AR.”

Disebut sebagai ‘olahraga otomotif lima dimensi yang melampaui ruang dan waktu’, para penonton berkumpul di Shibuya QWS di kota ini, sebuah ruang jaringan dan kreatif di lantai 15 di gedung pencakar langit Shibuya Scramble Square. Dari sini, mereka dapat menyaksikan pesawat virtual (menggunakan data penerbangan sungguhan) yang terbang mengitari lintasan virtual.

Suara merupakan elemen sangat penting dalam menciptakan kesan realistis dari pesawat yang benar-benar terbang, tetapi, sistem PA stereo biasa tidak akan mampu menghasilkan kesan pergerakan suara yang cukup realistis.

Selain itu, mereproduksi sumber audio saja belum cukup untuk menciptakan kesan realisme. Suara yang sampai ke telinga kita bukan hanya gelombang langsung, tetapi juga suara yang dipantulkan oleh bangunan dan benda lainnya. Ini tadinya menjadi tantangan lain yang dihadapi oleh tim Yamaha, karena suara pantulan yang akan diakibatkan oleh bangunan kota di Shibuya tidak tercipta di ruang terbuka tempat rekaman dibuat.

Solusi

Di bawah kepemimpinan supervisor Hiromu Ohgi, Grup Audio Spasial dari Divisi Yamaha Professional Solutions menggunakan sistem Active Field Control (AFC) Image milik Yamaha untuk melokalisasi suara bagi para penonton, sehingga memaksimalkan kesan bahwa pesawat virtual tersebut menghasilkan suara sungguhan.

"AFC Image dapat meliputi area hingga satu kilometer persegi (0,4 mil persegi) dan juga mampu menyimulasikan atenuasi jarak. Ini berarti bahwa kami dapat mereproduksi pergerakan gambar suara dan perubahan volume pada jarak hingga satu kilometer, sehingga mereproduksi suara penerbangan yang sangat realistis,” ujar Hiromu.

Sistem AFC dapat menggunakan protokol Open Sound Control (OSC) yang dalam aplikasi ini, berarti data berguna yang tidak secara langsung berkaitan dengan suara - seperti informasi posisi penerbangan - dapat digunakan untuk menyampaikan informasi ke sistem AFC Image untuk membuat plot lokasi pesawat virtual di wilayah udara Shibuya.

Suara direproduksi menggunakan 13 buah powered speaker two-way yang dilengkapi Yamaha DZR10-D Dante dan satu buah powered subwoofer yang dilengkapi DXS15XLF-D Dante. Dengan ditempatkan di atas lantai berjarak sekitar dua meter, reproduksi sistem AFC Image dari gerakan suara pesawat terbang direproduksi dengan begitu mulus dan realistis, sehingga meskipun dalam jarak antar loudspeaker, suaranya terdengar sangat alami.

“Untuk menciptakan ruang suara yang lebih realistis, kami menggunakan 3D Reverb dari AFC Image,” imbuh Hiromu. “Ini merupakan efek unik yang menghasilkan reverb dengan struktur suara yang dipantulkan, berdasarkan posisi sumbernya. Untuk menciptakan suara pesawat yang terbang di sekitar Shibuya secara akurat, kami menciptakan preset di mana energi early refection-nya tinggi untuk menirukan pantulan yang memantul dari bangunan, dengan nilai late-reverberation nyaris tidak ada, seakan-akan suaranya menghilang di kejauhan. Para penonton mengatakan bahwa mereka seolah-olah dapat merasakan lokasi pesawat, hanya dari suaranya saja!”

“Para pengunjung sangat tertarik saat kami menjelaskan bahwa sistem ini menghitung gema dari bangunan di sekitarnya, agar menjadikannya semakin realistis,” tambah Tn. Tsutsumi. “Suara dan getarannya begitu bertenaga, seakan-akan penonton berada di luar ruangan, meskipun sedang berada di dalam ruangan. Pengalaman merasakan suara melalui seluruh tubuh Anda, bukan hanya mendengarnya, dan perasaan yang berubah saat pesawat virtual melintas, sungguh luar biasa.”

Sistem reproduksi suara semuanya menggunakan jaringan Dante, menggunakan Steinberg Nuendo DAW untuk menyalurkan suara, yang dikelola di PC menggunakan kartu Dante Accelerator AIC-128D, ke konsol mixing digital Yamaha CL1 dan prosesor AFC, lalu ke masing-masing loudspeaker.

PC kontrol yang mengoperasikan sistem Cycling ’74 Max8 digunakan untuk mengirimkan informasi posisi sumber suara ke sistem AFC Image melalui OSC. Sinkronisasi antara data posisi sumber suara dan pemutaran sumber suara dibuat dengan menggunakan MIDI; sinyal kontrol MIDI yang dikirim dari Max8 ke Nuendo, sehingga pemutaran Nuendo dapat dikontrol oleh perangkat lunak Max8.

Visual AR direproduksi pada platform VR/AR STYLY dari Psychic VR Lab Inc. Sinkronisasi dengan AR ditetapkan berdasarkan waktu, dengan Max8 yang disesuaikan untuk memutar sumber suara menurut waktu secara otomatis.

“Rencana kami yaitu mengembangkan Air Race X menjadi acara global berkelas dunia dan kami percaya bahwa hubungan antara XR dan teknologi suara sangat penting untuk pengembangannya,” ujar Tn. Tsutsumi. “Dengan mempromosikan penerbangan pesawat yang realistis menggunakan Air Race X, kami dapat bekerja sama dengan personel di XR dan produksi suara yang belum pernah kami temui sebelumnya. Situasi ini sangat menggembirakan bagi kami dan kami ingin memperluas penggunaan sistem semacam ini di berbagai acara lainnya.”

“Sistem AFC”