音声合成技術まとめ
テキストに対応する音声を自動で生成する技術. Text to Speech(TTS).
- テキスト読み上げ:
- 🗣ボーカルシンセサイザー: ボーカルへの応用.
録音編集方式法.
規則合成方式
Text to Speach.
ソフトウェア
- 🗣Open JTalk
- Koeiromap: https://koemotion.rinna.co.jp/
- Google Cloud Text-to-Speech
- Style-Bert-VITS2: https://github.com/litagin02/Style-Bert-VITS2
- Local TTS.
- GSVI TT: https://github.com/AI-Hobbyist/GSVI
- ElevenLab: https://elevenlabs.io/api
🗣VOICEBOX
テキスト読み上げソフトウェア, 2021年公開.
- 商用・非商用問わず無料.
- ずんだもんで有名.
- site: https://voicevox.hiroshiba.jp/
- repo: https://github.com/VOICEVOX/voicevox_core
- docs: http://localhost:50021/docs
- 【超簡単】自分専用のVOICEVOXサーバーを立てる #音声合成 - Qiita, ngrokをつかってWSL2からwindows上のvoiceboxにアクセス.
<2024-11-11 Mon 18:15>installしてみた.
🗣openai/wisper
WhisperはOpenAIの開発した音声モデル. 音声データをテキストに変換する.
2種類の用途がある.
- transcription(音声からの文字起こし)
- translations(書き起こし+翻訳)
🔖音声会話
音声会話技術.
🔖トークロイド
テキスト音声読み上げに特化したボーカロイド. VOCALOIDが「歌う」のではなく「話す」ときの呼び名.
CAVIO AI
ずんだもんで最近有名？
💡ボーカロイドをトークロイド化する
本来歌うためのソフトウェアを話させるには？
🗣MMD Agent
音声会話のためのツールセット.
- 音声認識部:
- 音声合成部: 🗣Open JTalk
- 対話管理部
- エージェント描画部: 📝MikuMikuDance
- http://www.mmdagent.jp/
- https://cir.nii.ac.jp/crid/1520290882101546240
- MMDAgentについてまとめる 概要編 #MMDAgent - Qiita
🗣Open JTalk
日本語音声合成ソフト, 名古屋工大が開発.
- Open JTalk
- MMDAgent & Project-NAIP wiki
- htsvoice: Open JTalkの音響モデルファイル.
- 旧式の hts_engine_API 用の音響モデルは変換が必要らしい.
- 配布まとめ: https://petile.com/mahoroba/e1875.html
初音ミク音声. 2024年現在, CUUBE370さんの作成した音響モデル, 旧hts_engine_APIをTakayanの開発した変化ツールで.htsvoice形式に変換する必要があるようだ.
自作音響モデル - MMDAgent & Project-NAIP wiki
変換ソフトはWindowsソフトでありほかのOSでは？
- Open JTalkで初音ミクの声でおしゃべりさせる on Mac/Linux/Raspberry Pi - karaage. [からあげ]
- Open JTalkでメイちゃんにしゃべってもらう - 人工知能に関する断創録
🔧Mono(.NET)をつかってtakayanの書いたcsコードをクロスプラットホームようにコンパイルする必要があるが, 配布が2024現在されてない.
https://neu101.seesaa.net/article/316259910.html
コメント欄に「htsvconv.cs」でググればGitHubに落ちてるという情報をもとにそれっぽいのを見つけた.
https://github.com/mrtry/siritori/blob/master/voice_bank/htsvconv.cs
- Open jTalkで実験！初音ミクボイスでテキスト読み上げ！ | もブログ！
- MMDAgent年表 - Mikunology Wiki - atwiki（アットウィキ）
- 初音ミクにiRemoconをつかわせてみた | Futurismo
🗣MMDAgent-EX
2023/12/25. AI時代の進化. MMD Agentが2018から更新がなくて心配していた.
- Home | MMDAgent-EX
- https://github.com/mmdagent-ex/MMDAgent-EX
- オープンソースソフトウェア MMDAgent-EX を公開～ AI時代のマルチモーダル対話・アバターコミュニケーションの学際的研究を促進～｜国立大学法人名古屋工業大学,
- 作者: 名古屋工業大学 大学院工学専攻 李 研究室
- https://twitter.com/LeeAkinobu/status/1739141850521608452