Googleが技術開発。歌声から伴奏を生成するAI「SingSong」。

Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告です。

入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。

SingSongは、音源分離とオーディオ生成の2つのモデルから構成されます。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し、大規模な学習データを作成します。

次に、音声プロンプトを入力に残りの音楽を生成するGoogleが開発したモデル「AudioLM」を改良したモデルに対し、教師あり方式で音源分離データを学習させる。
引用元　歌声から伴奏を生成するAI「SingSong」　Googleが技術開発

これによって学習したモデルは、ボーカルの音声を受け取ると、そのボーカルに合うインストゥルメンタル曲を出力し、入力音声と生成したインストゥルメンタル曲をミックスした音楽を出力するとのこと。
Ai分野ではイラストや動画などの分野で一般でも使えるようになってきていますが、ついに音楽分野でもAiの力が出てきました。
この技術が一般化されるとき、さらならテクノロジーの加速が起きると思われます。