🎵音楽生成AI

🎹音楽 x 🤖生成AI

主な手法

• text-to-audio: インプットされたテキストから音楽生成する技術の総称.
  • Text to Audio, Text to Music, Text to Sound.
• text-to-midi: 曲ではなくリズムパターンやメロディーなどの素材生成, DAWとの連携.
• audio-to-audio: 音楽に伴奏をつける. 編曲.
• voice-to-audio: 鼻歌から音楽生成. 耳コピ.

拡散モデル

• MusicGen(Meat), 2023
• Fugatto(NVIDIA), 24/11登場. https://fugatto.github.io/

サービス/アプリ

• 📝OpenAI Jukebox, OpenAI.
• Mubert: たぶん１番有名. https://mubert.com/
• Misicify
• Soundful: https://soundful.com/ja/
• Soundraw: https://soundraw.io/, BGMに特化した生成AI
• Sonauto, https://sonauto.ai/Home
• CREEVO:
  • 京大発サービス. 歌詞からオリジナルメロディーを生成.
  • https://creevo-music.com/
• CassetteAI

商用利用可能

• 🎵Suno AI
• LoudMe, <2024-09-11 Wed 14:39> 最近みつけたやつ.

🎵Udio

• Udio: https://www.udio.com/
  • 24/04/10登場, Suno AIの対抗場.
• Remix: 元のプロンプトを元に追加でアレンジ.
• Extend: 曲を延長して生成.
• <2024-09-10 Tue 17:31> いちおうやり方によっては和楽器が使えるようだ. v1.5から.

🎵Stable Audio

Diffusion AIがリリースしたAudio版. Proに課金すれば商用利用可能.

• https://ja.stability.ai/audio
• https://www.stableaudio.com/
• repo: https://github.com/Stability-AI/stable-audio-tools
• Introducing Stable Audio 2.0 — Stability AI

Google

• 自動作曲AI Music Transformerの衝撃 #AI - Qiita, 2018

Music AI Sandbox(2024/05)

よりクリエイター向けのサービス. Youtubeと連携していきそうな予感.

• <2024-05-14 Tue>
• 学習モデル: Lyria
• 学習ソース: MusicCaps

---

• Google I/O 2024: Introducing Veo and Imagen 3 generative AI tools
• The ultimate collaborator in music | Music AI Sandbox - YouTube
• demo: “Right There” (Music AI Demo) - Wyclef Jean - YouTube

MusicFX(2023/12)

• MusicFX, Google: https://aitestkitchen.withgoogle.com/ja/tools/music-fx
• Audiocipher | Melody and Chord Generator | MIDI Plugin
• model: SynthID, Lyria

MusicLM(2023/05)

MusicLM, 2023

• example: https://google-research.github.io/seanet/musiclm/examples/
• paper: [2301.11325] MusicLM: Generating Music From Text
• MusicLMができるまで #音楽情報処理 - Qiita
  • SoundStream: 音響データ圧縮用のニューラルコーデック, 2021
    • https://research.google/blog/soundstream-an-end-to-end-neural-audio-codec/
  • W2V-BEAT: https://arxiv.org/abs/2108.06209, 2021
  • AudioLM=SoundStream+W2V-BEAT, 音の言語モデル
  • MuLan: クロスモーダル学習
  • AudioLM=MuLan+AudioLM, 文章からの音楽生成.

Magenta

• https://magenta.tensorflow.org/
• repo: https://github.com/magenta/magenta
• Magenta Studio(Ableton Live Plugin)
  • https://magenta.tensorflow.org/studio

---

• <2024-05-29 Wed 20:22> 更新が止まっているようだ
• <2024-06-05 Wed 17:25>
  • 思い出した, kadenzeで触ったことがあるやつだ. Tensorflowを内部で使っている. 2023くらいからのGenAIの出現でもうメンテはいいやってなったのかも.
  • 町田図書館で2021に発売されたmagentaを利用したAI作曲の書籍を借りた. ドラムパートやメロディーパートなどの部品のMIDIを生成してDAWに組み込むのは手法として今もあるはず. どこにつながっているのだろうか.

Lyria - Google DeepMind, 2023/11

• Transforming the future of music creation - Google DeepMind
• An Early Look at the Possibilities as we Experiment with AI and Music - YouTube

Dream Track

Lyriaをつかって生成した動画をYoutube Shortに投稿.

SynthID

生成AIで生成したコンテンツへのID.

SynthID - Google DeepMind

Meta AI

• AudioGen

MusicGen

• MusicGen: Simple and Controllable Music Generation
  • https://github.com/facebookresearch/audiocraft
  • doc: https://github.com/facebookresearch/audiocraft/blob/main/docs/MUSICGEN.md
  • https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/
• Meta AIの音楽生成AI「MusicGen」を読む #音楽情報処理 - Qiita
• MusicGenを使用して自然言語から音楽を生成する方法 #生成AI - Qiita
• 【AI音生成】AudioCraftを用いてテキストから効果音を生成する🎶 #Python - Qiita

---

• 商業利用不可.

HaoHeliu

AudioLDM

• https://audioldm.github.io/
• GitHub - haoheliu/AudioLDM2: Text-to-Audio/Music Generation
• 【AudioLDM】Latent Diffusionを用いたText-to-Audioの生成モデル | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア
• A builder’s guide to synthesizing sound effects, music, and dialog with AudioLDM
• A Complete Guide to Turning Text into Audio with Audio-LDM

---

• 商用利用不可: Attribution-NonCommercial-ShareAlike 4.0 International

MusicLDM

【MusicLDM】盗作のリスクが低いText-to-Musicモデル | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア

Tango

環境音を作り出す.

• https://tango2-web.github.io/
• tango: https://github.com/declare-lab/tango

📝OpenAI Jukebox

• https://openai.com/research/jukebox
• https://github.com/openai/jukebox
  • リポジトリは3年前からさほど進展がない. Code Archivedとある.
  • どうも生成AI以前のもののように思う.

音楽生成AI技術

text-to-audio/TTA

voice-to-audio

鼻歌をメロディー変換.

• Tone Transfer: Googleが開発. 歌声を音に変換.
• Musicfy AI - AI Voice Song Generator

音楽生成AIモデル

• huggingface: https://huggingface.co/models?other=text-to-audio
• テキストに加えてメロディやテンポなど時間的変化がある要素もコントロール可能な音楽生成モデル「Music ControlNet」が開発される - GIGAZINE, 2023

学習ソース

• AudioSparx.com - License Production Music for Commercials, Video, TV, Film, and Media
• MusicCaps | Kaggle
• AudioCaps: https://github.com/cdjkim/audiocaps

AMT

Automatic Music Transcription, 自動耳コピ.

• 【作っておぼえるMIR】Transformerで自動ピアノ採譜 #PyTorch - Qiita
• Music Transcription with Transformers
• [2211.00895] Pop2Piano : Pop Audio-based Piano Cover Generation
  • https://github.com/sweetcocoa/pop2piano

Music Style Transfer

スタイルトランスファーの音楽への応用.

Orb Composer

VSTプラグイン.

https://www.orbplugins.com/

音楽解釈AI

AIに音楽を解釈させる、耳を持たせる. 画像のようには簡単でない.

🎵音楽生成プロンプトエンジニアリング

• 英語で入力
• 楽器を指定
• テンポ
• 音楽ジャンルを指定
• 音楽スタイルを指定

---

🎓プロンプトエンジニアリング

装飾

• type beat: ぽい音楽
• strong

Topics

text-to-midi

音素材ごとの音楽生成、DAW活用. リズムパターン, メロディーなどをMIDIで生成するには？

• 📝OpenAI Jukebox
• Google Magenta -> MusicFX?

歌声

🔖ボーカロイド

Programing

• https://github.com/DrayfieldR/MidiAnalyzer
• https://github.com/librosa/librosa

生成AIと既存音楽

人々がAIに対して感情的な反応を示している主な理由は、立場が脅かされ、経済的に困る場合が想定されるから

最初にいなくなるのはマスタリングのエンジニアでしょうね。その次に危ないのがミキサーたちです

ref. 生成AIを活用した楽曲制作は、音楽業界では想像以上に普及している | WIRED.jp

Insights

✨生成される曲の長さが短いのでDJミックスのような技術が重要になる気がする

数分で数分の長さの音楽が生成される. ここから未来のDJはどうあるべきか？

矢継ぎ早に生成された曲を人間の職人芸でつなぎ合わせるライブパフォーマンスがAI活用としてよいのでは？

💫DJミックス

---

<2024-04-14 Sun 21:43> AI副業としてやるか？ ボロアパートでは音が出せないのが課題.

🔗References

• Generative Music AI Course - YouTube, 2023/12 by The Sound of AI.
  • slide: https://github.com/musikalkemist/generativemusicaicourse?tab=readme-ov-file
• 【AIで作曲】自動音楽生成サービスおすすめ17選 | TRIVISION STUDIO

👉Related

• 🎵AI作曲
• 🎵アルゴリズム作曲: ルールベースの作曲. 生成AIはサイコロを振るようなものなので.