BENCHMARK DE LATENCE TTS
À quelle vitesse les modèles TTS commencent-ils à parler ?
Un benchmark ouvert qui mesure le temps de bout en bout jusqu’au premier audio, à travers plusieurs fournisseurs de TTS, plusieurs protocoles et trois régions client aux États-Unis.
CLASSEMENT
Classement de latence TTS
| Fournisseur | Protocole | TTFB p50 | TTFA p50 | TTFA p95 |
|---|---|---|---|---|
| Breeze TTS 2 | WS persistent | 119.4 ms | 133.6 ms | 163.3 ms |
| ElevenLabs Flash v2.5 | WS persistent | 134.8 ms | 154.5 ms | 207.6 ms |
| Fish Audio S2.1 Pro | HTTP warm pool | 173.6 ms | 175.3 ms | 271.4 ms |
| Inworld TTS-2 | WS persistent | 163.1 ms | 189.4 ms | 220.4 ms |
| Cartesia Sonic 3.5 | WS persistent | 106.8 ms | 241.9 ms | 344.2 ms |
| xAI TTS | WS persistent | 249.1 ms | 318.3 ms | 361.1 ms |
| Speechify Simba 3.2 | HTTP warm pool | 374.5 ms | 379.0 ms | 424.5 ms |
| Async Flash 1.5 | WS persistent | 247.0 ms | 438.1 ms | 479.6 ms |
| ElevenLabs v3 | HTTP warm pool | 544.0 ms | 628.7 ms | 917.9 ms |
MÉTRIQUES
Mesurer chaque milliseconde avant que la parole commence.
Trois métriques complémentaires séparent le temps de transport du silence présent dans l’audio renvoyé, et montrent quand un fournisseur répond et quand l’auditeur entend réellement la parole.
Temps jusqu’au premier octet
Mesure le temps écoulé entre le début de la requête et le premier fragment audio reçu par le client. Les messages de contrôle et les accusés de réception ne comptent pas.
Silence initial
Mesure l’audio décodé entre le début du flux renvoyé et la première attaque de voix détectée. Cela révèle les modèles qui renvoient l’audio rapidement mais retardent la parole audible.
Temps jusqu’au premier audio
Mesure le temps écoulé entre le début de la requête et la première parole audible mise à disposition du client. Cette métrique combine le temps de livraison et le silence en tête de l’audio renvoyé.
MÉTHODOLOGIE
40 prompts. 3 régions américaines. Une méthodologie cohérente.
Nous mesurons la latence de démarrage TTS côté client avec les mêmes 40 prompts en anglais pour chaque fournisseur. Les requêtes sont exécutées en série depuis US West, US Central et US East. Lorsque WebSocket et HTTP sont tous deux disponibles, le benchmark retient le protocole le plus rapide pour ce fournisseur.
40
Prompts anglais fixes
3
Régions client US
3
Préchauffages par client régional
Comment les mesures sont collectées
Préparer chaque fournisseur
Lorsque WebSocket et HTTP sont tous deux disponibles, ils sont comparés et le protocole le moins latent est retenu pour le rapport. Les connexions persistantes et les pools de connexions HTTP sont établis à l’avance. Chaque client régional effectue ensuite trois requêtes de préchauffage, exclues du chronométrage.
Exécuter une charge contrôlée
Chaque fournisseur reçoit les mêmes 40 prompts. Ces prompts sont les 40 entrées les plus longues de Seed-TTS-Eval, ce qui crée une charge plus représentative de la production que de courtes phrases de test.
Regrouper et synthétiser
Les échantillons réussis des trois régions sont regroupés pour calculer les p50 et p95.
Conditions de test : Breeze TTS 2 a été testé sur sa file d’attente la plus prioritaire. Tous les autres fournisseurs ont été testés sur des offres payantes.
RESSOURCES
