🗣Text to Speech(TTS)

音声合成技術まとめ

テキストに対応する音声を自動で生成する技術. Text to Speech(TTS).

• テキスト読み上げ:
• 🗣ボーカルシンセサイザー: ボーカルへの応用.

録音編集方式法.

規則合成方式

Text to Speach.

ソフトウェア

• 🗣Open JTalk
• Koeiromap: https://koemotion.rinna.co.jp/
• Google Cloud Text-to-Speech
• Style-Bert-VITS2: https://github.com/litagin02/Style-Bert-VITS2
  • Local TTS.
• GSVI TT: https://github.com/AI-Hobbyist/GSVI
• ElevenLab: https://elevenlabs.io/api

🗣VOICEBOX

テキスト読み上げソフトウェア, 2021年公開.

• 商用・非商用問わず無料.
• ずんだもんで有名.

---

• site: https://voicevox.hiroshiba.jp/
• repo: https://github.com/VOICEVOX/voicevox_core
• docs: http://localhost:50021/docs
• 【超簡単】自分専用のVOICEVOXサーバーを立てる #音声合成 - Qiita, ngrokをつかってWSL2からwindows上のvoiceboxにアクセス.

---

• <2024-11-11 Mon 18:15> installしてみた.

🗣openai/wisper

WhisperはOpenAIの開発した音声モデル. 音声データをテキストに変換する.

2種類の用途がある.

• transcription(音声からの文字起こし)
• translations(書き起こし+翻訳)

---

• https://openai.com/research/whisper
• https://github.com/openai/whisper
• 🏢OpenAI

🔖音声会話

音声会話技術.

• input: 🔖音声認識
• output: 🔖音声合成
• UI:

🔖トークロイド

テキスト音声読み上げに特化したボーカロイド. VOCALOIDが「歌う」のではなく「話す」ときの呼び名.

🔖ボーカロイド

CAVIO AI

ずんだもんで最近有名？

💡ボーカロイドをトークロイド化する

本来歌うためのソフトウェアを話させるには？

🗣MMD Agent

音声会話のためのツールセット.

• 音声認識部:
• 音声合成部: 🗣Open JTalk
• 対話管理部
• エージェント描画部: 📝MikuMikuDance

---

• http://www.mmdagent.jp/
• https://cir.nii.ac.jp/crid/1520290882101546240
• MMDAgentについてまとめる 概要編 #MMDAgent - Qiita

🗣Open JTalk

日本語音声合成ソフト, 名古屋工大が開発.

• Open JTalk
• MMDAgent & Project-NAIP wiki
• htsvoice: Open JTalkの音響モデルファイル.
  • 旧式の hts_engine_API 用の音響モデルは変換が必要らしい.
  • 配布まとめ: https://petile.com/mahoroba/e1875.html

🔖音声合成

---

初音ミク音声. 2024年現在, CUUBE370さんの作成した音響モデル, 旧hts_engine_APIをTakayanの開発した変化ツールで.htsvoice形式に変換する必要があるようだ.

自作音響モデル - MMDAgent & Project-NAIP wiki

変換ソフトはWindowsソフトでありほかのOSでは？

• Open JTalkで初音ミクの声でおしゃべりさせる on Mac/Linux/Raspberry Pi - karaage. [からあげ]​
• Open JTalkでメイちゃんにしゃべってもらう - 人工知能に関する断創録

🔧Mono(.NET)をつかってtakayanの書いたcsコードをクロスプラットホームようにコンパイルする必要があるが, 配布が2024現在されてない.

https://neu101.seesaa.net/article/316259910.html

コメント欄に「htsvconv.cs」でググればGitHubに落ちてるという情報をもとにそれっぽいのを見つけた.

https://github.com/mrtry/siritori/blob/master/voice_bank/htsvconv.cs

---

• Open jTalkで実験！初音ミクボイスでテキスト読み上げ！ | もブログ！
• MMDAgent年表 - Mikunology Wiki - atwiki（アットウィキ）
• 初音ミクにiRemoconをつかわせてみた | Futurismo

🗣MMDAgent-EX

2023/12/25. AI時代の進化. MMD Agentが2018から更新がなくて心配していた.

• Home | MMDAgent-EX
• https://github.com/mmdagent-ex/MMDAgent-EX
  • https://github.com/mmdagent-ex/example
• オープンソースソフトウェア MMDAgent-EX を公開～ AI時代のマルチモーダル対話・アバターコミュニケーションの学際的研究を促進～｜国立大学法人名古屋工業大学,
• 作者: 名古屋工業大学 大学院工学専攻 李 研究室
• https://twitter.com/LeeAkinobu/status/1739141850521608452

---

• 💭MMDAgent-EXに感動した！Futurismoもこれに突っ込む(24/03/17)

👉Related

🎵音楽生成AI