Ein Entscheidungsmodell hilft Software dabei, aus von Ihnen definierten Antworten die Passende zu wählen. Übergeben Sie ihm eine Nachricht, eine Frage und die zulässigen Optionen – es liefert ein Urteil mit Wahrscheinlichkeiten zurück. Ein textgenerierendes Large Language Model, kurz LLM, kann eine neue Antwort formulieren. Ein Entscheidungsmodell kann helfen zu entscheiden, wohin diese Nachricht zuerst geleitet werden soll.
TypeSafes Jev, Cloudflares Clef und OpenAIs Decisions API unterstützen alle diese Art von abgegrenzten Urteilen. Eine Anwendung kann sie nutzen, um eine Support-Queue auszuwählen, ein Problem zu identifizieren oder dessen Schweregrad einzustufen. Ein generatives Modell kann anschließend die Formulierung übernehmen.
Eine Nachricht, zwei verschiedene Aufgaben
Angenommen, ein Kunde schreibt: „Mir wurde dieselbe Bestellung zweimal berechnet.” Ein Support-System hat zwei Aufgaben. Es muss das Ticket an das richtige Team weiterleiten, und jemand muss eine hilfreiche Antwort verfassen. Diese Aufgaben erfordern unterschiedliche Ausgaben.
Ein generatives LLM könnte schreiben: „Ich kann Ihnen helfen, diese Belastung zu prüfen.” Ein Entscheidungsmodell könnte die Frage „Welches Team soll sich darum kümmern?” mit billing beantworten, ausgewählt aus billing, technical und review.
Die Anwendung kann diese Antwort direkt auswerten. Sie könnte das Ticket an das Billing-Team weiterleiten oder es zur Überprüfung senden, wenn das Ergebnis unsicher ist. Eine Person oder ein anderes Modell kann dann die Antwort formulieren. Das Entscheidungsmodell trifft eine gezielte Entscheidung innerhalb eines größeren Prozesses. TypeSafes System-One-Einführung beschreibt diese Trennung.
Das Diagramm vergleicht beide Modelle anhand derselben Routing-Frage. Das Textmodell erzeugt eine JSON-Antwort; das Entscheidungsmodell bewertet die drei zulässigen Optionen.
Was kann man ein Entscheidungsmodell fragen?
Entscheidungsschnittstellen unterstützen in der Regel drei Arten von Fragen: eine Option auswählen, einschätzen, ob etwas zutrifft, oder einen Score vergeben. Sie liefern die Belege und definieren, was die Antworten bedeuten. Dieselbe Kundennachricht kann mehrere separate Urteile ermöglichen.
| Art der Frage | Beispiel | Was zurückkommt |
|---|---|---|
| Eine Option auswählen | Welches Team soll zuerst antworten? | Ein ausgewähltes Team und Wahrscheinlichkeiten für alle Optionen |
| Ja oder Nein | Fordert diese Nachricht eine Erstattung an? | Eine Wahrscheinlichkeit, dass die Antwort „Ja” lautet |
| Einen Score vergeben | Wie schwerwiegend ist dieses Problem auf einer definierten Skala? | Eine Bewertung basierend auf den von Ihnen angegebenen Stufen |
TypeSafe nennt diese Choice, Noul und Score. OpenAI verwendet choice, predicate und score. Ein Prädikat ist eine Ja/Nein-Frage.
Die Formulierung ist entscheidend. „Welches Team soll zuerst antworten?” fragt nach genau einem Team. „Erwähnt diese Nachricht ein Abrechnungsproblem?” und „Erwähnt diese Nachricht ein technisches Problem?” sind separate Fragen, die beide mit Ja beantwortet werden können. Wenn ein Ticket zwei Probleme beschreibt, kann das Erzwingen einer einzigen Kategorie dazu führen, dass nützliche Informationen verloren gehen.
Wie unterscheidet sich das von der JSON-Abfrage an ein LLM?
Ein LLM kann ebenfalls eine Kategorie in JSON zurückgeben – einem Datenformat, das Software lesen kann. Mit Structured Outputs können unterstützte Schemata die Antwort auf zulässige Werte beschränken. Das macht ein LLM für viele Klassifizierungsaufgaben zu einer gültigen Alternative.
Der Unterschied liegt darin, wie ein dediziertes Entscheidungsmodell seine Antwort erzeugt. Ein konventionelles LLM generiert Text sequenziell mithilfe kleiner Einheiten, sogenannter Tokens. Das bleibt Textgenerierung, selbst wenn die Ausgabe nur {"team":"billing"} lautet.
Cloudflares Clef liest stattdessen die Eingabe und bewertet die zulässigen Antworten direkt, ohne die Antwort Token für Token zu schreiben. Cloudflare beschreibt diesen Ansatz in seiner Clef-Ankündigung. Clef nutzt weiterhin ein LLM als Grundlage für das Verständnis der Eingabe.
OpenAI dokumentiert die Ein- und Ausgaben der Decisions API, ohne darzulegen, dass die interne Architektur von Clef zum Einsatz kommt. Eine ähnliche Schnittstelle beweist keine identische Architektur.
Beide Ansätze können eine gültige Kategorie zurückgeben und dennoch die falsche wählen. Eine gültige Kategorie muss trotzdem zum Problem des Kunden passen.
Wo ordnen sich Jev, Clef und OpenAI ein?
Diese Produkte liefern gezielte Urteile, die Software auswerten kann. Jev ist TypeSafes Entscheidungsmodell. Clef ist Cloudflares herunterladbare Modellfamilie, die auch über Workers AI verfügbar ist. OpenAI bietet eine Decisions API für abgegrenzte Fragen. Die Wahl zwischen ihnen erfordert Tests an der konkreten Aufgabe.
| Produkt | Was man zuerst wissen sollte |
|---|---|
| TypeSafe Jev | Auf typisierte Fragen zu Text und strukturierten Daten aufgebaut. Das Training zielt auf nützliche, kalibrierte Wahrscheinlichkeiten ab. |
| Cloudflare Clef und Clef-flash | Verfügbar als herunterladbare Gewichte und als gehosteter Dienst. Das veröffentlichte Design bewertet Antworten mithilfe eines Language-Model-Backbones. |
| OpenAI Decisions API | Eine gehostete Schnittstelle für Auswahlmöglichkeiten, Ja/Nein-Urteile und Scores. Derzeit in öffentlicher Beta mit gpt-6-luna. |
Quellen: TypeSafe, Cloudflare und OpenAI.
Ihre Antwortformate und unterstützten Eingaben unterscheiden sich. OpenAI kann auch eine Ablehnung zurückgeben, die die Anwendung behandeln muss. Der Wechsel von einem Anbieter zum anderen bedeutet, sowohl die Integration als auch die Qualität der Antworten zu prüfen.
Was sagen die Wahrscheinlichkeiten aus?
Eine Wahrscheinlichkeit drückt die Schätzung des Modells für eine Antwort auf die gestellte Frage aus. Sie gibt Ihrer Anwendung mehr Informationen als nur das Gewinner-Label. Die Zahlen müssen dennoch getestet werden, bevor Sie damit entscheiden, welche Fälle die menschliche Überprüfung überspringen können.
Stellen Sie sich diese Ergebnisse für unser Ticket vor:
| Zulässige Antwort | Beispielhafte Wahrscheinlichkeit |
|---|---|
| Buchhaltung | 92 % |
| Technik | 5 % |
| Überprüfung | 3 % |
Buchhaltung ist der klare Gewinner. Bei einer gemischten Nachricht über eine Belastung und ein defektes Dashboard könnte Buchhaltung 52 % und Technik 43 % erhalten. Buchhaltung gewinnt weiterhin, aber das knappe Ergebnis gibt der Anwendung einen Grund, eine Überprüfung anzufordern.
Kalibrierung bedeutet zu prüfen, ob Wahrscheinlichkeiten über viele Beispiele hinweg mit den tatsächlichen Ergebnissen übereinstimmen. Unter vergleichbaren Vorhersagen um 90 % sollte ein gut kalibriertes Modell in etwa 90 % der Fälle richtig liegen. Eine einzelne Antwort mit 90 % kann dennoch falsch sein.
Ein Feld namens „confidence“ kann zusammenfassen, wie konzentriert die Wahrscheinlichkeiten sind. Es bedeutet nicht automatisch eine gemessene Erfolgsquote. TypeSafes Konfidenz-Leitfaden erklärt diesen Unterschied.
Wann sind Entscheidungsmodelle nützlich?
Entscheidungsmodelle sind nützlich, wenn die Aufgabe semantisches Verständnis erfordert und die möglichen Antworten bereits bekannt sind. Beispiele umfassen das Routing von Nachrichten, die Auswahl relevanter Dokumente und die Bewertung eines Elements anhand eines Kriterienkatalogs. Sie können neben einem generativen Modell arbeiten, das das Schreiben oder die Recherche übernimmt.
Wenn keine generierte Antwort nötig ist, kann der Aufwand für das Modell sinken. Ob das Geschwindigkeit oder Kosten verbessert, hängt von der gesamten Anwendung ab – einschließlich Netzwerklatenz, Eingabegröße und Fallback-Aufrufen. Vergleichen Sie ein Entscheidungsmodell mit einem LLM, das um dieselbe kurze Antwort gebeten wird – nicht um eine unnötig lange Erklärung.
Sie haben auch Grenzen. Ein Entscheidungsmodell kann die Nachricht falsch interpretieren, eine falsche zulässige Option wählen oder übermäßig sicher sein. Unabhängige Red-Hat-Guardrail-Tests zeigten, dass Jev in einer Aufgabe am besten abschnitt, während Alternativen in einer anderen die Nase vorn hatten. Diese Tests verglichen nicht alle drei Produkte.
Verwenden Sie gewöhnlichen Code für exakte Berechnungen und Berechtigungsprüfungen. Verwenden Sie ein generatives Modell, wenn die Aufgabe eine neue Antwort, Code oder eine Erklärung erfordert. Um ein Entscheidungsmodell auszuprobieren, beginnen Sie mit einer kleinen Entscheidung, sammeln Sie Beispiele mit bekannten Antworten und messen Sie sowohl die Fehlerquote als auch die eingesparte Arbeit.
Häufig gestellte Fragen
Kann ein Entscheidungsmodell eine Erklärung schreiben?
Die Entscheidungsschnittstellen von Jev und Clef liefern Entscheidungen und Scores statt neuem Fließtext. Auch OpenAIs Decisions API gibt beschränkte Antworten zurück. Verwenden Sie ein textgenerierendes Modell, wenn die Anwendung eine schriftliche Erklärung benötigt.
Brauche ich Trainingsdaten, um ein Entscheidungsmodell auszuprobieren?
Sie können Fragen und zulässige Antworten definieren, ohne ein neues Modell zu trainieren. Sie benötigen dennoch Beispiele mit bekannten Ergebnissen, um die Genauigkeit zu prüfen und zu entscheiden, welche Resultate automatisch verwendet werden können.
Kann ein Entscheidungsmodell selbstständig Aktionen ausführen?
Ein Entscheidungsmodell liefert ein Urteil. Ihre Anwendung entscheidet, ob sie es nutzt, prüft Berechtigungen und führt jede Aktion aus. Die Auswahl eines Erstattungs-Labels autorisiert keine Erstattung.