Créer un agent vocal IA avec Gemini et Google AI Studio
Gemini 3.1 Pro, Native Audio, React, calendrier, correction de la voix et passage en production : voici comment prototyper un agent vocal dans Google AI Studio.
Créer un agent vocal IA avec Gemini et Google AI Studio
Google AI Studio permet de prototyper très rapidement un agent vocal complet.
Dans la vidéo, je construis un agent pour un salon de coiffure capable de discuter avec un client, récupérer son nom, comprendre le type de coupe demandé et enregistrer un rendez-vous dans un calendrier.
Le point intéressant est que l'interface, la logique et la conversation vocale sont générées à partir d'un prompt.
La vidéo complète
Je construis le prototype dans cette vidéo :
Le résultat que l'on veut obtenir
Le scénario est simple.
Le client dit qu'il veut prendre rendez-vous.
L'agent doit :
- comprendre la demande ;
- demander le nom si nécessaire ;
- identifier le service ;
- comprendre une date et une heure ;
- confirmer la réservation ;
- afficher le rendez-vous dans le calendrier.
L'objectif n'est pas encore de construire toute l'infrastructure téléphonique.
On cherche d'abord à produire une démonstration fonctionnelle que l'on peut tester dans le navigateur.
Utiliser Gemini 3.1 Pro dans Google AI Studio
Dans la vidéo, je sélectionne Gemini 3.1 Pro Preview dans Google AI Studio.
Je garde React comme framework.
Je décris ensuite l'application à générer :
- agent vocal pour un salon de coiffure ;
- prise de rendez-vous ;
- calendrier visible dans l'interface ;
- plusieurs créneaux possibles ;
- design minimaliste.
Google AI Studio fournit aussi un prompt de départ pour créer des applications vocales conversationnelles.
Cette base évite de devoir écrire toute la structure technique depuis zéro.
Générer l'application complète
Après le prompt initial, Gemini commence à créer le projet.
On peut suivre les différentes étapes dans l'interface.
Le modèle crée notamment :
- les composants React ;
- le calendrier ;
- la logique audio ;
- les dépendances ;
- la gestion de la conversation.
Dans ma démonstration, la génération de la première version prend plusieurs minutes.
Le principal intérêt est de pouvoir obtenir une application complète sans préparer manuellement tout le frontend et le backend du prototype.
Gemini 2.5 Flash Native Audio pour la voix
Même si l'application est générée avec Gemini 3.1 Pro, la partie conversation vocale utilise un modèle audio natif de Google.
Dans le code généré, on retrouve Gemini 2.5 Flash Native Audio Preview.
Le modèle traite directement l'audio et permet une conversation en temps réel.
Cela donne une interaction beaucoup plus naturelle qu'un système où l'on enchaîne séparément transcription, LLM puis synthèse vocale.
Premier test du prototype
Une fois la génération terminée, j'autorise le microphone et je lance la conversation.
Je demande un rendez-vous pour une coupe homme.
L'agent comprend la demande et dialogue correctement.
Le premier test révèle cependant plusieurs problèmes.
La voix parle beaucoup trop lentement.
La navigation dans le calendrier ne permet pas de vérifier facilement le jour suivant.
Ce sont exactement les défauts que l'on cherche à détecter pendant un prototype.
Corriger le prototype avec un nouveau prompt
L'intérêt de Google AI Studio est de pouvoir signaler directement les problèmes au modèle.
Je lui indique notamment :
- que la voix parle trop lentement ;
- que le calendrier doit permettre de changer de jour ;
- que la réservation doit apparaître correctement.
Le modèle modifie alors le projet.
On peut ensuite tester immédiatement la nouvelle version.
Le problème de vitesse de voix
Dans la démonstration, la lenteur venait d'un problème de fréquence d'échantillonnage.
La correction passe par un réglage à 24 kHz.
C'est un bon exemple de ce que permet ce type de prototype.
Le problème n'était pas uniquement dans le prompt conversationnel.
Il venait d'un paramètre audio de l'application.
Pouvoir inspecter le code généré permet de comprendre ce type de comportement.
Rendre le calendrier interactif
Le deuxième problème concernait le calendrier.
Je voulais pouvoir sélectionner les jours suivants et vérifier visuellement qu'un rendez-vous avait bien été enregistré.
Après correction, les jours deviennent interactifs.
L'agent peut aussi mieux prendre en compte la date exprimée par l'utilisateur.
Deuxième test
Je relance ensuite une conversation.
Je donne directement plusieurs informations :
Bonjour, je m'appelle François et j'aimerais prendre un rendez-vous pour une coupe homme demain à 10 h.
L'agent traite la demande et le rendez-vous apparaît bien dans l'interface.
À ce stade, le prototype remplit son rôle.
Il montre une conversation vocale, une prise de rendez-vous et une interface de calendrier fonctionnelle.
Pourquoi Google AI Studio est intéressant pour une démonstration
Pour une agence ou une entreprise qui veut tester un cas d'usage vocal, cette méthode permet d'aller très vite.
On peut créer une démonstration adaptée à un métier :
- salon de coiffure ;
- restaurant ;
- hôtel ;
- garage ;
- cabinet ;
- agence immobilière ;
- service de réservation.
Le prospect peut tester une expérience proche de son activité.
Cela permet de valider l'intérêt du cas d'usage avant de construire toute l'infrastructure de production.
Ce qu'il faut ajouter pour passer en production
Une démonstration dans le navigateur ne suffit pas pour gérer de vrais appels téléphoniques.
Une version de production doit traiter plusieurs sujets supplémentaires :
- connexion à la téléphonie ;
- numéros entrants et sortants ;
- latence ;
- interruptions ;
- disponibilité du service ;
- sécurité ;
- authentification ;
- logs ;
- stockage des données ;
- gestion des erreurs ;
- transfert vers un humain.
La prise de rendez-vous doit aussi être reliée à un vrai agenda ou à votre système métier.
Utiliser Vapi, Retell ou ElevenLabs pour la production
Dans la vidéo, je cite plusieurs plateformes spécialisées dans les agents vocaux.
Vapi, Retell AI ou ElevenLabs Agents peuvent être utilisés pour construire une version qui gère de vrais appels.
Le prototype créé dans Google AI Studio sert alors à tester :
- le prompt ;
- le ton ;
- le parcours de conversation ;
- les informations à collecter ;
- la logique métier.
On peut ensuite reconstruire cette logique dans une plateforme adaptée à la téléphonie.
Ce que je teste sur un agent vocal
Avant de présenter un prototype, je vérifie plusieurs points :
- compréhension des dates ;
- noms propres ;
- capacité à interrompre l'agent ;
- vitesse de parole ;
- silences ;
- qualité de la voix ;
- répétitions ;
- confirmations avant action ;
- réaction à une information manquante ;
- comportement après une erreur.
Ces détails ont beaucoup d'impact sur l'impression de naturel.
Un bon usage pour valider une idée rapidement
Le principal intérêt de cette méthode est la vitesse.
On peut partir d'une idée, générer une première application, discuter avec l'agent, repérer les problèmes puis itérer.
Pour une entreprise qui hésite encore à investir dans un agent vocal complet, cette phase de prototype permet de vérifier si l'expérience apporte réellement quelque chose.
Si vous travaillez sur un agent vocal ou un système de réservation, vous pouvez me contacter pour discuter du prototype et de l'architecture de production.
Vous voulez appliquer ces idées ?
Réservez un diagnostic pour identifier les premiers cas d'usage utiles dans votre activité.