TTS 音声ディレクション・ベンチマーク

TTS モデルはどれだけ演技指示に従えるのか

ゼロショットの参照音声から話者の同一性を保ちながら、TTS モデルが自然言語の演技指示にどれだけ忠実に従えるかを測定するオープンベンチマークです。

ランキング

音声ディレクション・ランキング

音声ディレクションスコア(VDS)

順位モデル
総合基礎制御状況演技複合指示SPK_SIM
1BreezeBlue logoBreeze TTS 2
4.254.294.344.120.67
2Xiaomi logoMiMo-v2.5-TTS
3.763.813.863.620.66
3StepFun logoStepAudio 2.5 TTS
3.483.663.513.280.64
4Qwen logoQwen-Audio 3.0-TTS-Plus
3.333.883.122.980.65
5Inworld logoInworld TTS-2
3.012.863.482.700.71
6OpenBMB logoVoxCPM2
2.492.512.772.190.70

評価指標

効果的な音声ディレクションを測る 2 つの指標

指示への追従と話者の保持という 2 つの観点で評価します。両者を合わせることで、モデルが演技をどれだけ変えられるか、そして元の声をどれだけ確実に保てるかがわかります。

GitHub で評価スイートを入手

音声ディレクションスコア

生成された音声が自然言語の演技指示をどれだけ達成できているかを測定します。明示された要件の充足、要求された強度、タイミングと移り変わり、意図された意味の保持、そして演技の一貫性と実用上の使いやすさを考慮し、総合的な 5 段階評価で判定します。

話者類似度

生成された音声が参照話者をどれだけ保持しているかを測定します。話者埋め込みを抽出し、生成された各サンプルとその参照音声とのコサイン類似度を計算します。値が高いほど、元の声がより強く保たれていることを示します。

データセット

700 課題、9 軸、25 音声。

9 つの制御軸と 25 種類の異なる参照音声にわたって、TTS モデルが自然言語の演技指示にどれだけ従えるかを評価します。話者や指示、シナリオが変わっても声の制御が汎化するかを検証するベンチマークです。

Hugging Face を開く
700音声ディレクション課題
9制御軸
25異なる参照音声

能力グループ

基礎的な音声制御

聞こえる音声特徴の直接的な制御

訛り50音響属性100音声イベント50
200

状況に応じた声の演技

感情、状態、意図、役割によって形づくられる表現

感情150生理状態50コミュニケーション意図50役割100
350

複合的な指示

複数の制御を組み合わせ、時間とともに表現を変化させる

組み合わせ100変化50
150

違いを聴く

音声ディレクションをより忠実に再現しているのはどちらか

音声ディレクション

A voice choking up, fighting against a tightening throat.

プリセット音声

参照話者の音声

セリフ

It's just hard to say goodbye to this old house after living here for forty years and seeing everything change around us.

音声 A

0:000:00

音声 B

0:000:00