Comment fonctionne un callbot : décortiqué en 2026

Un callbot, vu de l'utilisateur final, ressemble à un répondeur intelligent qui pose des questions et comprend les réponses. Vu de l'intérieur, c'est une chaîne technologique de cinq composants distincts qui doivent tous fonctionner en synchronisation parfaite, avec une latence cumulée inférieure à 800 millisecondes pour rester crédible. Au-delà d'une seconde, l'appelant pense que la ligne est coupée et raccroche.

Cet article démonte la mécanique étape par étape, sans jargon inutile, pour comprendre ce qui se passe entre le moment où vous prononcez « bonjour » et le moment où le callbot vous répond.

Comment fonctionne un callbot ?

Un callbot fonctionne en chaînant cinq composants : (1) la téléphonie SIP qui reçoit l'appel et fournit le flux audio, (2) le STT (Speech-to-Text) qui transcrit la voix en texte, (3) le LLM (Large Language Model) qui comprend la demande et formule une réponse, (4) le TTS (Text-to-Speech) qui transforme la réponse texte en voix synthétique, (5) les intégrations métier (agenda, CRM, base de données) pour exécuter les actions. Le tout doit boucler en moins de 800 millisecondes pour rester naturel.

Schéma de fonctionnement

┌──────────┐
│ Appelant │ « Bonjour, j'ai une fuite d'eau »
└────┬─────┘
     │ Audio téléphonique
     ▼
┌─────────────────┐
│  Téléphonie SIP │ (Asterisk, OVH SIP Trunk)
│  Réception      │
└────────┬────────┘
         │ Flux audio brut (PCM 8 kHz)
         ▼
┌─────────────────┐
│  STT (Voxtral)  │ → Détection silence
│  Transcription  │ → « Bonjour j'ai une fuite d'eau »
└────────┬────────┘
         │ Texte
         ▼
┌─────────────────┐
│  LLM (Claude)   │ → Analyse contexte
│  Compréhension  │ → Décide : URGENT, poser question
└────────┬────────┘
         │ Texte réponse
         ▼
┌─────────────────┐
│  TTS (Piper)    │ → Voix clonée
│  Synthèse vocale│ → « Je comprends, c'est urgent... »
└────────┬────────┘
         │ Audio synthétique
         ▼
┌──────────┐
│ Appelant │ (entend la réponse)
└──────────┘

Étape 1 : la téléphonie SIP

Tout commence par la réception de l'appel. Le callbot a besoin d'un numéro de téléphone vers lequel les appels sont routés. Techniquement, c'est un numéro SIP (Session Initiation Protocol), le standard de la téléphonie sur IP. Les opérateurs proposent des « trunks SIP » : pour quelques euros par mois, vous louez un numéro géographique (09 72 xx xx xx pour les services VoIP en France) qui pointe vers votre infrastructure.

L'appel entrant est reçu par un serveur Asterisk (le logiciel open-source de référence), qui gère le décrochage, le routage interne, et fournit le flux audio brut au reste de la chaîne. La latence à cette étape est minimale (10-30 ms).

Codec et qualité audio

Le téléphone classique utilise des codecs basse résolution (G.711 à 8 kHz, ou G.722 à 16 kHz). Pour un callbot, on privilégie G.722 quand l'opérateur le supporte, qui offre une bande passante audio doublée (jusqu'à 7 kHz vs 3,4 kHz pour G.711), avec une intelligibilité bien meilleure pour la reconnaissance vocale.

Étape 2 : la reconnaissance vocale (STT)

Le flux audio est envoyé en streaming à un moteur STT (Speech-to-Text), qui transcrit la parole en texte au fur et à mesure. Les moteurs principaux en 2026 :

OpenAI Whisper et ses dérivés (faster-whisper, distil-whisper) : référence open-source, qualité excellente, latence 200-500 ms
Voxtral (Mistral AI) : alternative française open-source, optimisée français, latence faible sur GPU
NVIDIA Parakeet : transducteur ultra-rapide (latence <200 ms), excellent pour le streaming temps réel
Google Speech-to-Text, Azure Speech : commerciaux, qualité haute, dépendance cloud

Le défi technique principal : la détection de fin de parole. Comment l'IA sait que l'appelant a fini sa phrase et qu'elle peut répondre ? On utilise un VAD (Voice Activity Detection) couplé à un détecteur sémantique. Trop tôt = le callbot coupe la parole, trop tard = silences gênants.

Étape 3 : la compréhension (LLM)

Une fois le texte transcrit, il est envoyé à un LLM (Large Language Model) qui analyse la demande, consulte le contexte (historique de la conversation, profil du business, règles métier), et formule la réponse appropriée. Les LLM utilisés en production en 2026 :

Anthropic Claude (Sonnet, Haiku) : excellente qualité conversationnelle française, latence raisonnable
OpenAI GPT-4o / GPT-4o-mini : référence historique, qualité haute
Mistral (Large, Medium) : alternative française, souveraineté
LLM locaux (Llama 3, Mistral 7B fine-tuné) : pour souveraineté totale, qualité moindre mais acceptable

Le prompt système est l'élément clé : il définit la personnalité du callbot, son métier, ses règles (« si urgence vitale, basculer immédiatement vers humain »), les champs à collecter, et les actions disponibles (prendre RDV, envoyer SMS, transférer l'appel).

Tool use et actions concrètes

Un LLM moderne ne se contente pas de répondre du texte : il peut appeler des fonctions (tool use). Exemples concrets : check_availability(date) qui interroge Google Calendar, book_appointment(date, name, phone) qui crée le RDV, send_sms_summary(content) qui notifie le pro. C'est ce qui transforme le callbot d'une simple FAQ vocale en assistant capable d'actions réelles.

Étape 4 : la synthèse vocale (TTS)

La réponse textuelle du LLM doit ensuite être convertie en voix synthétique. Les moteurs TTS en 2026 :

ElevenLabs : qualité top, voix clonées photoréalistes, latence variable (300-700 ms en streaming)
OpenAI TTS : voix neutres haute qualité, latence basse
Piper : open-source, optimisé CPU, latence très basse (<200 ms), qualité bonne après fine-tuning
XTTS-v2 (Coqui) : open-source, clonage zero-shot, qualité variable

Pour un callbot, le streaming TTS est crucial : commencer à parler dès les premiers mots synthétisés, sans attendre la fin de la phrase complète. Sinon, la latence cumulée passe les 2 secondes et l'expérience devient frustrante.

Étape 5 : les intégrations métier

Le callbot doit aussi se connecter à votre univers métier :

Agendas : Google Calendar, Outlook 365, Doctolib
CRM : HubSpot, Pipedrive, Salesforce, ou simple BDD interne
Notifications : SMS via Twilio/OVH, emails via SendGrid/Mailgun, push mobile
Bases de données métier : pour vérifier un dossier client, un statut, un historique

Ces intégrations sont souvent ce qui sépare un callbot « jouet » d'un callbot « production ». Sans intégration agenda, pas de vraie prise de RDV. Sans intégration SMS, pas de notification fluide au pro.

La contrainte de latence

Règle d'or : la latence totale entre la fin de la phrase appelant et le début de la réponse callbot doit rester sous 800 millisecondes. Au-delà, l'appelant pense qu'il y a un problème de ligne et commence à reparler ou raccroche. Sous 500 ms, l'expérience est vraiment naturelle.

Décomposition typique :

Composant	Latence cible
Détection fin de parole (VAD)	100-200 ms
STT (transcription)	100-300 ms (streaming)
LLM (réponse)	200-500 ms (premier token)
TTS (premier audio)	100-300 ms (streaming)
Total	500-1300 ms

Pour rester sous 800 ms, on utilise massivement le streaming à chaque étape (STT streaming, LLM streaming, TTS streaming), et on optimise chaque composant individuellement. Sur du non-streaming, le total dépasse régulièrement les 2 secondes : inutilisable.

Hébergement : cloud ou local ?

Deux philosophies coexistent :

Tout cloud : STT cloud (Whisper API), LLM cloud (Claude API), TTS cloud (ElevenLabs). Simple à mettre en place, paie à l'usage, dépendant des fournisseurs et de leur disponibilité, problématique RGPD si serveurs hors UE.
Mix local + cloud : STT local (faster-whisper sur GPU), LLM cloud ou local (Claude API ou Mistral local), TTS local (Piper fine-tuné). Plus complexe, infra à maintenir, mais souveraineté et coût marginal très bas à l'usage.

Accueil IA utilise le mix : STT local (Voxtral GPU + faster-whisper CPU fallback), LLM cloud (Claude API) ou local (Mistral fine-tuné en option), TTS local (Piper voix clonée fine-tunée). Hébergement 100% France.

Pour aller plus loin

Articles associés : conformité RGPD d'une IA vocale, cloner sa voix pour un callbot, IA pour appels entrants entreprise.

Pour entendre concrètement le résultat de cette chaîne technique, appelez le 09 72 10 55 19 (démo Accueil IA). Pour tester avec votre métier, créez un compte gratuit en 2 minutes.