TTS レイテンシベンチマーク
TTS モデルはどれだけ速く話し始められるのか
TTS プロバイダー、プロトコル、米国内 3 つのクライアントリージョンにわたり、最初の音声が届くまでのエンドツーエンドの時間を測定するオープンベンチマークです。
リーダーボード
TTS レイテンシリーダーボード
| プロバイダー | プロトコル | TTFB p50 | TTFA p50 | TTFA p95 |
|---|---|---|---|---|
| Breeze TTS 2 | WS persistent | 119.4 ms | 133.6 ms | 163.3 ms |
| ElevenLabs Flash v2.5 | WS persistent | 134.8 ms | 154.5 ms | 207.6 ms |
| Fish Audio S2.1 Pro | HTTP warm pool | 173.6 ms | 175.3 ms | 271.4 ms |
| Inworld TTS-2 | WS persistent | 163.1 ms | 189.4 ms | 220.4 ms |
| Cartesia Sonic 3.5 | WS persistent | 106.8 ms | 241.9 ms | 344.2 ms |
| xAI TTS | WS persistent | 249.1 ms | 318.3 ms | 361.1 ms |
| Speechify Simba 3.2 | HTTP warm pool | 374.5 ms | 379.0 ms | 424.5 ms |
| Async Flash 1.5 | WS persistent | 247.0 ms | 438.1 ms | 479.6 ms |
| ElevenLabs v3 | HTTP warm pool | 544.0 ms | 628.7 ms | 917.9 ms |
評価指標
発話が始まるまでの、すべてのミリ秒を測定します。
3 つの相互補完的な指標が、転送にかかる時間と返却された音声の冒頭の無音を切り分け、プロバイダーがいつ応答したのか、そして聞き手がいつ実際に音声を聞けたのかを示します。
最初のバイトまでの時間
リクエスト開始から、クライアントが最初の音声チャンクを受信するまでの時間を測定します。制御メッセージや確認応答はカウントしません。
冒頭の無音
返却されたストリームの先頭から、最初に検出された発話の立ち上がりまでのデコード済み音声を測定します。音声はすぐ返るのに、聞こえる発話が遅れるモデルを見分けられます。
最初の音声までの時間
リクエスト開始から、クライアントが最初の聞き取れる発話を得るまでの時間を測定します。転送にかかる時間と、返却された音声の冒頭にある無音を合わせたものです。
評価手法
40 件のプロンプト、米国 3 リージョン、一貫した 1 つの手法。
すべてのプロバイダーに同じ 40 件の英語プロンプトを使い、クライアント側の TTS 起動レイテンシを測定します。リクエストは US West、US Central、US East から直列に発行します。WebSocket と HTTP の両方が利用できる場合、ベンチマークはそのプロバイダーで速い方のプロトコルを報告します。
40
固定の英語プロンプト
3
米国クライアントリージョン
3
リージョンごとのウォームアップ
測定値の収集方法
各プロバイダーの準備
WebSocket と HTTP の両方が利用できる場合は両者を比較し、レイテンシの低い方のプロトコルを報告に使います。永続接続と HTTP コネクションプールは事前に確立します。その後、各リージョンのクライアントがウォームアップリクエストを 3 回実行しますが、これらは計測に含めません。
制御された負荷の実行
すべてのプロバイダーが同じ 40 件のプロンプトを受け取ります。プロンプトは Seed-TTS-Eval の中で最も長い 40 件で、短いテスト文よりも本番に近い負荷になります。
集約と集計
3 つのリージョンすべての成功サンプルをまとめて p50 と p95 を算出します。
テスト条件： Breeze TTS 2 は最優先キューでテストしました。その他のプロバイダーはすべて有料プランでテストしました。
リソース
