🤖マルチモーダルAI

マルチモーダルAIとは、テキスト、音声、画像など、種類の異なる複数の情報を総合的に処理できる人工知能.

AIアシスタント

用語はバラバラ.

• kawaii-agent: https://www.kawaii-agent.com/
  • 個人開発: https://github.com/miu-chang/
• 🤖AITuber

🤖モダリティ

modality（モダリティ＝情報の様相）。「入力が何という感覚/媒体で来るか」

感覚から知覚の部分. signal → meaning.

☸六境

感覚器

• 👁コンピュータビジョン(CV)
• 👂音楽情報検索(MIR)
• 🗣自然言語処理(NLP)

機械特有

• 🧠脳波(EEG)
• 🤖慣性計測ユニット(IMU)
• 🔍時系列解析: チャートから市場心理へ

👁コンピュータビジョン(CV)

画像や映像から情報を抽出し、理解する技術.

• 顔認識
• 物体検出

👁視覚

Topics

• 📝マルチモーダル学習: 五感をつかって勉強しましょう.

👉Related

• 🔖AI