应用里每天要做的成千上万个小决定,终于有了专门的接口。10 月 22 日,OpenAI 正式全面开放 Decisions API:它不生成长篇大论,而是对开发者预设好的有限选项直接给出答案——某个条件成立的概率、从选项里挑一个,或者按评分标准打个分。
它和普通聊天接口有什么不同
平时调大模型,你给它一段话,它还你一段话——再由你的代码去解析、去猜它到底选了什么。Decisions API 把这个过程反过来:你先定义好"这道题有哪些答案",模型只在你的选项里选,并附上置信度。典型用法就三类:
- 给内容打标签、做分类:这条用户反馈是表扬、投诉还是建议?
- 做路由:这个请求该交给哪个模型、哪个工具、哪个数据库?
- 替 Agent 做下一步决策:下一步是查资料、问用户,还是直接执行?
底层是 GPT-6 Luna 的专用推理配置,不是重新训练的小模型,而是把 Luna 的推理能力收敛到"有限答案"这个任务上。OpenAI 的 API 产品负责人给出的数字是:延迟从原来的 1-3 秒压到约 100-180 毫秒,官方说法是比走 Responses API 快 10 倍。
价格:只收输入,输出免费
定价同样冲着"高频小决策"去的:输入每百万 token 0.1 美元,缓存命中输入 0.01 美元,输出 token 不收费。单次请求最多可带 400 道题,比公测期翻了一倍。全面开放版还新增了语音与视觉输入、原生 JSON 输入、提示词缓存,以及美国和欧盟的数据驻留选项。
已经在试用的客户包括 Box、Datadog、Ramp 和语言学习应用 Speak:Speak 把产品里动作之间的延迟从 1.4 秒降到了 0.13 秒。OpenAI 自己也把它用在了语音助手 Dots 的响应提速上。
对手:TypeSafe 的 Jev
这个赛道不是 OpenAI 独创。TypeSafe 的 Jev 模型更早提出了"System One 模型"的概念——专门做高速结构化决策,不生成开放文本。OpenAI 这次全面开放,等于正面迎战这个品类:区别在于,Jev 是为决策从头训练的专用模型,而 Decisions API 是把通用推理模型 Luna 重新配置、加速推理得到的。
要点解读
- 对 Agent 开发者来说,最大的变化是"决策"从解析文本变成调接口:以前要靠提示词约束输出格式、再写解析代码兜底,现在直接拿到类型化结果,失败模式少了一大类。
- 延迟压到 150 毫秒级别,意味着"每步都问模型"的 Agent 流程终于跑得动了:以前 1-3 秒一步的流程做 20 步要等一分钟,现在只要几秒。这会改变很多 Agent 的架构取舍。
- 但要留个心眼:10 倍这个数字是 OpenAI 自己的说法,官方尚未公布支撑它的基准测试细节。真正的高频场景,还是先在 Playground 里拿自己的数据实测延迟和准确率再上生产。
(观点部分为本刊解读,仅供参考。)
此處評論已關閉