同じリクエスト、2つの出力パス
回答を生成するか、選択肢を評価する
MESSAGE
「同じ注文で2回請求されました。」
SYSTEM PROMPT
このチケットを分類してください。支払いの問題は billing、製品の障害は technical、不明な場合は review を選択してください。
テキスト生成
回答を順次構築する
メッセージとシステムプロンプトを読み取る
次のトークンを予測する→出力に追加する
回答が成長するにつれて繰り返す
生成された JSON
回答を生成中…回答完了~1–3 s · ~$0.000015/request
決定推論
3つの選択肢を評価
メッセージとシステムプロンプトを読み取る
許可された回答にスコアを付ける
選択肢の確率
Billing92%
Technical5%
Review3%
決定を生成中…決定完了~100 ms · ~$0.000010/request
判断から顧客対応へ
決定モデルがキューを選択する
明確な結果コードがチケットを振り分ける
担当者またはLLMが問題を処理し、返信を作成する
不確実な結果担当者がレビューする
レビュアーが問題を明確にし、適切なチームを選択
顧客が返信を受け取る