アバターを使って楽器演奏を表現することがありますが、動きが不自然でリアリティに欠ける、と感じる方も少なくありません。より自然な演奏を実現する技術が、この度発表されました。

今回は、「AI Fusion」の概要をご紹介します。

REALITY株式会社とは

「AI Fusion」を発表したのは、REALITY株式会社の研究開発部門「GREE VR Studio Laboratory」です。REALITY株式会社は六本木ヒルズにオフィスを構える企業で、バーチャルライブ配信アプリ「REALITY」の開発・運営をメイン事業としています。

ライブ配信アプリに詳しい方なら、一度は耳にしたことがあるのではないでしょうか。

このほか、バーチャルライブやバーチャルイベント制作プラットフォーム「REALITY XR cloud」の開発・運営も行っており、バーチャルの世界をよりよくするためのさまざまなサービス提供に尽力しています。

バーチャル演奏技術「AI Fusion」を発表

そんなREALITY株式会社が2022年10月19日に発表した「AI Fusion」は、アバター演奏をより楽しめるようにしました。公開されたデモ映像では、4人のアバターがギター、ベース、ドラム、ピアノの4つの楽器を演奏しています。実際にアバターが音を出しているわけではありませんが、自然な楽器演奏を再現することで、本当に演奏しているように見えます。

デモ映像以外にも解説動画が公開されており、この動画ではドラムパートを題材に、なぜより自然な演奏表現ができるのかを見ることが可能。ドラム単体の動きを見ると、複数の演奏モーションがうまくつながって切り替わりを繰り返し、演奏の動きを表現しているのがわかります。

また、このアバターはモーションにより演奏するので、楽器ができない人も演奏している体験ができるので、魅力だといえるでしょう。

複数のユーザーでの演奏や歌唱もできる可能性が

「AI Fusion」は1人で演奏体験をして、アバターでより自然な再現ができるだけでなく、将来的にはスマートフォン1つで、歌唱や高度な演奏を複数ユーザーで楽しめる可能性もあるとされています。

リアルな世界でいう「カラオケ」のように、誰でも楽しく自己表現できる空間で、新たなコミュニケーションや芸術が生まれるのではないでしょうか。

楽器ができない人も気軽に演奏を楽しもう

楽器ができなくても「AI Fusion」なら、よりリアルな演奏体験が可能です。1人で、複数人で、楽器の演奏体験ができれば、「楽器をやってみようかな」と思う方も出てくるでしょうし、「楽器ができる人とできない人のコミュニケーション」も実現します。

さまざまな出会いや体験を提供してくれるメタバースで、現実世界ではかなわないことにもぜひ挑戦してみてください。