Glossaire IA · Voix
Latence
En une phrase
La latence est le temps qui s'écoule entre une requête et le début de la réponse. Pour un agent vocal, c'est le silence entre le moment où le client se tait et celui où il entend le premier mot de l'agent : c'est elle qui rend la conversation naturelle ou non.
Autres noms: temps de réponse · délai de réponse · latency · temps jusqu'au premier token
Qu’est-ce que la latence ?
Dans tout système informatique, la latence, c’est l’attente. En IA, la mesure la plus courante est le temps jusqu’au premier token : le délai avant que le modèle commence à répondre. Sur un chat web, quelques secondes passent. Au téléphone, non : dans une conversation normale, on se passe la parole en une fraction de seconde, et un long silence laisse croire que la ligne a coupé ou que l’autre n’a pas compris.
Passez à la pratique
Un agent vocal qui décroche pour vous
Dès 149 €/mois + TVA
Il répond aux appels 24h/24, prend les rendez-vous et note chaque appel dans le CRM.
Découvrir l'agent vocalPour un agent vocal, la latence n’est donc pas un détail technique. Elle fait partie de l’expérience.
En lien avec ce terme
UTIO Voice
- 500 minutes et un numéro inclus
- Conversation naturelle en 26 langues
- Il se présente comme assistant virtuel
- 14 jours d'essai sans carte
Dès 149 €/mois + TVA
Découvrir l'agent vocalComment ça marche
Dans un voicebot, la réponse traverse une chaîne d’étapes qui ajoutent chacune leur temps :
| Étape | Ce qui se passe | Ce que ça ajoute |
|---|---|---|
| Détecter la fin du tour de parole | Savoir que le client a fini de parler | Une attente prudente pour ne pas couper |
| Speech to text | Passer la voix en texte | Le temps de transcription |
| Modèle de langage | Construire la réponse, parfois consulter un outil | Le temps jusqu’au premier token |
| Text to speech | Transformer le texte en audio | Le temps jusqu’au premier son |
| Réseau et téléphonie | Acheminer l’audio | Le trajet sur le réseau |
Les techniques pour la réduire sont connues :
- Du streaming partout. Ne pas attendre la phrase complète : transcrire pendant que le client parle et lancer la synthèse dès les premiers mots du modèle.
- Des modèles de la bonne taille. Un modèle énorme pour une question simple ajoute de l’attente sans améliorer la réponse.
- Moins d’intermédiaires. Chaque fournisseur de plus ajoute un trajet réseau.
- La gestion des interruptions. Si le client parle par-dessus, l’agent doit se taire et écouter, comme une personne.
Exemple
Un garage automobile près de Lille teste deux agents vocaux pour la prise de rendez-vous. Avec le premier, chaque question du client est suivie d’un blanc net. Les clients répètent ou lancent « allô ? », et l’échange s’embrouille. Avec le second, qui répond en streaming et accepte d’être interrompu, la conversation coule et le rendez-vous est calé en moins d’allers-retours. Les deux utilisent des modèles comparables ; la différence tient à l’assemblage des briques.
La latence chez UTIO
Dans l’agent vocal d’UTIO, la transcription et le modèle de langage tournent sur ses propres serveurs, et la téléphonie est celle de son propre réseau d’opérateur : l’appel ne rebondit pas entre de nombreux fournisseurs. L’agent comprend les phrases naturelles, les interruptions et les accents, sans obliger à taper sur des touches ni à parler lentement.
Le meilleur moyen de juger la latence reste d’écouter un appel. Pendant l’essai gratuit, vous pouvez appeler votre propre agent et vérifier si le rythme vous paraît naturel.
Questions fréquentes
Latence et vitesse, est-ce la même chose ?
Pas tout à fait. La latence mesure le temps avant de recevoir le premier morceau de réponse. La vitesse, ou débit, mesure la quantité de contenu reçue par seconde une fois que ça démarre. À l'oral, c'est surtout la latence qui compte : un long blanc au début se remarque davantage qu'une phrase qui arrive à bon rythme.
Pourquoi un gros modèle a-t-il souvent plus de latence ?
Parce que chaque mot généré demande plus de calcul. C'est pourquoi on utilise souvent, à l'oral, des modèles plus légers, ou une combinaison : un modèle rapide pour la conversation et un plus puissant seulement quand il faut raisonner.
La latence dépend-elle de ma connexion ?
En partie. Au temps de calcul des modèles s'ajoute le trajet de la voix sur le réseau et la téléphonie. Plus les serveurs sont proches et moins il y a d'intermédiaires, moins le délai s'accumule.
Termes associés
- Voicebot
Un voicebot est un programme qui converse à l'oral : il écoute une personne, comprend ce qu'elle veut et lui répond de vive voix. Il fonctionne au téléphone, sur un site, une appli ou une enceinte et, avec l'IA générative, gère des conversations ouvertes, pas seulement des menus.
- Speech to text
Le speech to text (STT) est la technologie qui convertit la parole en texte écrit. C'est la brique logicielle, en général un modèle accessible par API, qui « écoute » dans un voicebot, une dictée ou un outil de transcription, en temps réel ou sur des enregistrements.
- Text to speech
Le text to speech (TTS) est la technologie qui convertit un texte écrit en parole. C'est la brique, en général un modèle accessible par API, qui donne une voix à un agent téléphonique, à un lecteur d'écran ou à un audio généré à partir d'un texte.
- Inférence
L'inférence est le moment où un modèle d'IA déjà entraîné est utilisé : il reçoit une entrée nouvelle, comme une question, un audio ou une image, et calcule la réponse avec ce qu'il a appris, sans modifier ses paramètres.
- Token
Un token est le morceau de texte que manipule un modèle de langage : un mot, une partie de mot ou un signe. Le modèle lit, compte et facture en tokens, pas en mots ni en caractères.
Mis à jour le