Même requête · deux chemins de sortie
Générer la réponse ou attribuer un score aux options
MESSAGE
« J'ai été facturé deux fois pour la même commande. »
PROMPT SYSTÈME
Classifiez ce ticket. Choisissez billing pour les problèmes de paiement, technical pour les défaillances du produit, ou review en cas de doute.
Génération de texte
Construire la réponse séquentiellement
Lire le message + le prompt système
Prédire le token suivant→Ajouter à la sortie
Répéter avec la réponse en cours de construction
JSON généré
Génération de la réponse…Réponse prête~1–3 s · ~$0.000015/request
Inférence de décision
Évaluer trois options
Lire le message + le prompt système
Attribuer un score aux réponses autorisées
Probabilités des options
Billing92%
Technical5%
Review3%
Génération de la décision…Décision prête~100 ms · ~$0.000010/request
Du jugement à la réponse client
Le modèle de décision sélectionne une file d'attente
Résultat clairLe code achemine le ticket
Une personne ou un LLM traite le problème et rédige une réponse.
Résultat incertainUne personne l'examine
La personne qui l'examine clarifie le problème et choisit la bonne équipe.
Le client reçoit une réponse