🎨オーディオビジュアル

音の視覚化.

オーディオビジュアライザー

オーディオビジュアライザーはそのソフト.

• LiveCodingLab. https://livecodelab.net/
  • ブラウザ上で動く, on-the-fly. WebGL
• Hydra: GLSL

🎨オーディオリアクティブ

音に反応してビジュアルをリアルタイムに生成する表現手法. 🎨オーディオビジュアルに似ているが編集とは仕組みが異なる.

• 音量ベースの解析: Audio Analysis COMP
  • yoppa org – p5.js Libraryを使う- p5.soundでサウンドプログラミング
• FFTベース解析: Audio Spectrum CHOP
  • yoppa org – p5.js Libraryを使う – p5.soundでサウンドプログラミング 2

連携対象

• 光連携: 音に合わせて光をリアクティブに動かす.
  • 照明連携
• 風連携: 音に合わせて空調をリアクティブに動かす.
• 音圧連携
• ロボット連携

ツール

• After Effets
• VJ系ソフト
• 🎮Unity
• https://musicvid.org/

Refs

• lecture.nakayasu.com - Audio Reactive ver.2 - Part1
• 第11回: 音反応
• TouchDesignerでVJシステムを作る #TouchDesigner - Qiita

音楽に合わせてハンズアップ

音楽にあわせておっぱおをゆらす

• 画像の切り替えというか補完をVAEで - Stable DiffusionとPythonの画像処理と自動化(5)｜Tokyo Rock Girl - Meganex

音楽に合わせて踊らせる

p5.js sound

デザインとプログラミング

👨田所淳さんの大学講義動画. 2020, 2021がある.

• sfc design201120 - YouTube
• sfc design201127 - YouTube
• デザインとプログラミング 201204 - YouTube

🎥TouchDesigner

3Dグラフィックのため商用VJソフト.

https://derivative.ca/

• ノードベースの🧱ビジュアルプログラミングツール, ノーコード.
• TDと略す.
• 商用利用は有料, $600~. 動画配信も商用利用.
  • https://derivative.ca/product/touchdesigner-commercial/34

---

• yoppa org – クリエイティブコーディング 2024
• https://qiita.com/tags/touchdesigner

---

• 🎵TidalCyclesと組み合わせている人が多い？
• <2024-10-15 Tue 16:21> なんか調べれば調べるほどにみんなTouchDesinerだな…

for VJ

📀VJing

• UE5とTouchDesignerでVJをはじめよう

AAVJ

realtime vj mixer

• yoppa org – TouchDesigner Audio Visual 基本の確認、AAVJ補足
• https://derivative.ca/community-post/aavj-realtime-vj-mixer-built-touchdesigner/68340

PC Specs

ゲーミングPC

• OS: Windows
• Memory: 最低16GB
• GPU: リアルタイムレンダリングで必須.
• SSD

---

• About TouchDesigner / PC環境について ～｜Toyoshi Morioka
• 音の視覚化：TouchDesignerとLiveを併用するための初心者向けガイド | Ableton

AIオーディオビジュアル

Refs

• TDWS2019s
• barbe_generative_diary
• Music Visualization Generator
  • 音楽に合わせて動くかっこいい映像を簡単に作れるサービスを公開しました, Web Audio API の AnalyzerNodeでオーディオデータの解析をリアルタイムで行い、その結果を three.js のオブジェクトの形状に反映させるのがメインの処理.

👉Related

• 🎨コンピュータアート