决策模型详解：Jev、Clef 与 OpenAI

决策模型帮助软件在你定义的选项中做出选择。只需提供一条消息、一个问题和允许的选项，它就会返回带有概率的判断结果。文本生成型大语言模型（LLM）可以撰写新的回复，而决策模型可以帮助判断该消息应该首先发送到哪里。

TypeSafe 的 Jev、Cloudflare 的 Clef 以及 OpenAI 的 Decisions API 都支持这种限定范围的判断。应用可以使用它们来选择支持队列、识别问题类型或评估严重程度。生成式模型则可以处理后续的文本撰写。

一条消息，两种不同的任务

假设一位客户写道：“我被同一笔订单重复扣款了。“支持系统有两项任务：将工单发送到正确的团队，以及需要有人撰写有用的回复。这两项任务需要不同的输出。

生成式 LLM 可以写出：“我可以帮你核实那笔扣款。“而决策模型可以回答”应该由哪个团队处理？“这一问题，答案为 billing，从 billing、technical 和 review 中选出。

应用可以直接检查该答案。它可能将工单路由到计费团队，或者在结果不确定时将其送交审核。然后由人工或另一个模型来撰写回复。决策模型在更大的流程中负责一项专注的判断。TypeSafe 的 System One 介绍描述了这种分工。

下图对比了两种模型在相同路由问题上的表现。文本模型生成 JSON 答案；决策模型对三个允许的选项进行评分。

决策接口通常支持三类问题：选择一个选项、判断某事是否为真，或给出一个分数。你提供证据并定义答案的含义。同一条客户消息可以支持多个独立的判断。

TypeSafe 将这些称为 Choice、Noul 和 Score。OpenAI 使用 choice、predicate 和 score。predicate 是一个是/否问题。

措辞很重要。“应该由哪个团队首先响应？“要求选择一个团队。“这条消息是否提到了计费问题？“和”这条消息是否提到了技术问题？“是两个独立的问题，两者都可以得到”是”的回答。如果一张工单描述了两个问题，强制将其归入一个类别可能会丢失有用的信息。

LLM 也可以在 JSON（一种软件可以读取的数据格式）中返回一个类别。借助 Structured Outputs，受支持的 schema 可以将答案限制在允许的范围内。这使得 LLM 成为许多分类任务的可行替代方案。

区别在于专用决策模型生成答案的方式。传统的 LLM 按顺序生成文本，使用称为 token 的小片段。即使输出只是 {"team":"billing"}，这本质上仍然是文本生成。

Cloudflare 的 Clef 则直接读取输入并对允许的选项进行评分，而无需逐 token 地写出答案。Cloudflare 在其 Clef 公告中描述了这种方法。Clef 仍然使用 LLM 作为理解输入的基础。

OpenAI 记录了 Decisions API 的输入和输出，但并未证实其使用了 Clef 的内部设计。相似的接口并不能证明架构相同。

两种方法都可能返回有效的类别，却仍然选错。有效的类别仍须与客户的实际问题吻合。

这些产品提供可供软件检查的针对性判断。Jev 是 TypeSafe 的决策模型。Clef 是 Cloudflare 的可下载模型系列，也可通过 Workers AI 使用。OpenAI 提供用于限定范围问题的 Decisions API。在它们之间做出选择需要在实际任务上进行测试。

产品	首先需要了解的内容
TypeSafe Jev	围绕文本和结构化数据的类型化问题构建。其训练目标是产生有用的、经过校准的概率。
Cloudflare Clef 和 Clef-flash	提供可下载的权重和托管服务。其公开的设计使用语言模型骨干网络对答案进行评分。
OpenAI Decisions API	用于选择、是/否判断和评分的托管接口。目前处于公测阶段，使用 `gpt-6-luna`。

它们的响应格式和支持的输入各不相同。OpenAI 还可能返回拒绝响应，应用必须对此进行处理。从一个提供商迁移到另一个意味着需要同时检查集成方式和答案质量。

概率反映的是模型针对你所提问题对某个答案的估计值。它为你的应用提供了比最终选中的类别更多的信息。在使用这些数字来决定哪些情况可以跳过人工审核之前，仍然需要进行测试。

假设我们的工单得到以下结果：

计费是明确的赢家。对于一条同时涉及扣款和仪表盘故障的混合消息，计费可能获得 52%，技术获得 43%。计费仍然胜出，但接近的结果给了应用请求审核的理由。

校准是指检验概率是否在大量样本中与实际结果一致。在概率约为 90% 的可比预测中，一个校准良好的模型应该有大约 90% 的时间是正确的。一个标记为 90% 的答案仍然可能是错误的。

一个名为”置信度”的字段可能概括了概率的集中程度。它并不自动等同于实测成功率。TypeSafe 的置信度指南解释了这一区别。

当任务需要理解语义且可能的答案已知时，决策模型非常有用。示例包括路由消息、选择相关文档以及按照评分标准对条目进行评级。它们可以与处理撰写或调查的生成式模型协同工作。

避免生成的回复可以减少模型的工作量。这是否能提升速度或降低成本取决于整个应用，包括网络延迟、输入大小和回退调用。应该拿决策模型和给出同样简短答案的 LLM 做对比，而不是和一段不必要的冗长解释做对比。

它们也有局限性。决策模型可能误读消息、选择错误的允许选项，或者过度自信。独立的 Red Hat 护栏测试发现 Jev 在一个任务上表现最强，而替代方案在另一个任务上胜出。这些测试并未对比全部三个产品。

对于精确计算和权限检查，请使用普通代码。当任务需要新的回复、代码或解释时，请使用生成式模型。要试用决策模型，请从一个小的判断开始，收集带有已知答案的示例，并衡量其错误率以及它节省的工作量。

Jev 和 Clef 的决策接口返回的是选项和分数，而非新的文本。OpenAI 的 Decisions API 同样返回封闭式答案。当应用需要书面解释时，请使用文本生成模型。

你可以在不训练新模型的情况下定义问题和允许的答案。但你仍然需要带有已知结果的示例来检验准确性，并决定哪些结果可以自动使用。

决策模型返回的是判断结果。你的应用决定是否采用该结果、检查权限并执行操作。选择退款标签并不等于授权退款。