类型安全（TypeSafe）的杰夫（Jev）模型提出了一种针对大型语言模型的新思路，该思路已经席卷了人工智能界。根据维塞尔（Vercel）的数据，杰夫（Jev）在 AI Gateway 历史上是被采用速度最快的模型。然而，地平线上正聚集着乌云，开放人工智能（OpenAI）毫无疑问正在留意，并决策接下来的举措。
正文
TypeSafe 的 Jev 推出了一种大语言模型的新变体，席卷了 AI 界。据 Vercel 称，“Jev 的采用速度超过了 AI Gateway 历史上任何模型。”但地平线上已浮现乌云，OpenAI 无疑在密切关注并谋划下一步。
但如果他们真能兑现承诺，我担心 OpenAI 极有条件快速跟进——不仅能复制 Jev 的旗舰产品，还能将此能力塞进后续模型和智能体，提供 Jev 无法复现的有用新行为。
简单说，我的论点是：OpenAI 多年来一直将 LLM 用作隐式分类器，只是没为通用分类任务训练，也没包装成独立产品。若能复制训练，他们很快就能复刻 Jev。而且 OpenAI 能把新分类器用在现有模型和智能体中，实现快速模型选择、更高效思考、更好安全护栏，以及更智能、快速、便宜的模型。
决定这一切的关键是 TypeSafe 有无护城河。我看最大的护城河在于训练数据和训练流程。
What's Old Is New Again
在论证前，先讲假设和 OpenAI 的相关历史。主要假设是 Jev 用的接近常规大模型，证据是 Latent Space 报道早期克隆确实基于 LLM。
想法如下：给定 state 和 questions，Jev 的 LLM 生成单 token 或所有可能下一 token 的概率分布，再将 logprobs 转成所需格式（下统称 probabilities）。noul 问题看 true/false 两 token 归一化为真概率；choice 问题提示可能列表（如 A=happy, B=sad, C=angry, D=afraid），看四 token 相对概率构建分布选最高。这模式类似我 2025 年博客《Supercharging LLM Classifications with Logprobs》写的，不微调也有前景（叹，想法和执行）。score 原语估计是变体。
前提是 OpenAI 可能快速利用这想法，自 tool calling 起，OpenAI 就将 LLM 隐式作专用分类器。2024 年初我写《Tool Invocation》诱导 GPT 显示如何决定调工具，ChatML 转录如下。
颜色标出 token 边界。ChatML 是 OpenAI 内部标记语言，<|im_start|> 和 <|im_end|> 预留 token 界定消息，首 token 指说话人。
<|im_start|>assistant 后，首 token 预测 \n 或 to=function.。若 \n 正常回应；若 to=function. 则作为分类器决定是否调工具。接下来 token 识别哪个工具（如 get_temperature）另一分类器。然后参数名、值也可视作分类器。生成 <|im_end|> 也是分类器读“true”表示完成。
OpenAI 多年用单 token 微分类器，每 token 带概率：是否用工具、哪个、是否完成。那就是 Jev 的花招，除了一点：这些是专家专用，Jev 是通用。但退一步，LLM 本身就是极通用分类器不断分配概率分布。
Does TypeSafe Have a Moat?
我其实支持 Jev，他们发现了有趣东西。架构上护城河不大，因上述理由：TypeSafe 用常规 LLM 或接近，即使不是，常规 LLM 也适合通用分类。
真正护城河在训练数据本身——不是原始数据，而是转成“校准”数据的技术。联合创始人 Diogo Almeida 有人称数据比架构重要时便持此看法。若要构建，我会想要海量已知结果例子：支持工单真实路由、简历是否真录用、产品评论真实星级、审核队列真实裁决、预测市场真实结果，每个配对已知答案问题。目的不是教具体领域，而是展示跨域情境建立泛化分类能力。
然后是强化学习：可能是自主智能体在有限选项决策（如网站 Wikipedia 或 Doom demo）？或预测预训练 cutoff 后事件？不知道，但秘方可能在此。
注意：除非 Jev 真准，否则都不是护城河。速度成本易用明显，但准确性难查。我已发现某些域概率不成立。时间检验。
Soon It Will Be OpenAI's Move
OpenAI 下一步明显是复制 Jev 为新模型类型。若护城河浅，他们有技术硬件资金做到。但可能更有趣：将分类能力融进常规 LLM 获回报。
An LLM That Answers Its Own Questions
记得 to=function. 语法？OpenAI 可引入新标签 <prediction>，模型在自身上下文丢入快速分类判断。例如用户输入“今天 Donny 对我说 nice haircut，他喜欢我吗？”，助手在思考块写“让我评估”，放入
与普通 tool call 区别：无交接。分类器是模型内建能力，不离开 GPU 问且答。正常解码：每位置产 logits，softmax 转概率，策略选 token 追加。但在 probability: 位置，不想要普通解码。claim 是陈述，底层权衡 true/false。我们读 true/false logits 归一化写回序列文本 0.04，模型继续解码仿佛自己生成。类似引导解码用于概率。
另一技巧：特殊位置行为异于正常预测。正常估“下一 token”，这里估“问题真实答案”，相关但不同技能。前沿模型是 MoE，微调几轮可雕刻专家专做校准 snap judgment，其余照旧（简化 MoE 路由）。
The Payoff for an LLM with Built-In Classification
看 Donny Jess 例，若 TypeSafe 对，判断准且比要模型 plaintext 说置信度不易幻觉（注意：Jev 最好做 System One 快速判断，非数学多跳）。
最好是不离 GPU，LLM 在思考块问自己。回报即时：推理更准确 grounded，因对照训练校准估计而非 next token vibes。
一旦微调丢 <prediction>，不止 romance：长推理轨迹中定期查是否完成下一任务，如
或 tool call 后查安全再运行：用户查余额用 key sk-live-83fj2ndk9，助手生成 to=function.check_balance 及参数，然后 <safety_score>0.94</safety_score> 低分停。
同法路由模型间：
此外若有专门专家，可能不需 <prediction> 语法，句中前向路由即可。微调可能协同使 LLM 更聪明。
最后，大家想要图像语音分类。若折入文本 LLM，很快 OpenAI 供图语音通用分类。语音模型分类对语音代理实时决定是否打断等 handy。
Will TypeSafe Survive?
时间检验 Jev 准确性泛化。若成，生存看护城河：复制训练数据和 RL 多难。若真难，他们好，甚至被 OpenAI 收购而非竞争。上述一切对前沿实验室真能力升级：更快更便宜思考，System One 判断植入旗舰。
若护城河薄，OpenAI 自建，窗口快速关闭。
同时 Diogo Almeida 自信“如果模型质量至关重要，我们就会长期处在非常有利的位置。”（来自 Latent Space 采访）
评论
讨论整体不看好 Jev 的长期壁垒：多数人认为前沿实验室或开源社区都能很快复制，分歧在于 OpenAI 这类推理优先的实验室会不会认真跟进。另一条线认为 Jev 本就不是 LLM 替代品，而是分类器复兴，争论因此转向接口、数据主权和真实用例。
认为 Jev 几乎没有护城河，被复制只是时间问题
- 复制难度低，已有第三方接近甚至更好，vLLM 有接近合并的拉取请求，开源项目 Kev 出现；大厂加一个接口即可。（较多人） > 只要看起来会流行，其他实验室的聪明人大概率会复制，问题只是要不要多加一个接口。（@skybrian）
认为 OpenAI 未必跟进，Jev 与推理模型路线相反
- OpenAI 押注强化学习推理，Jev 型模型刻意不推理以换速度和低价，叠加推理会失去价格与速度优势；工具调用和强化学习训练出的输出概率也不代表分类置信度。（较多人） > Jev 型模型和推理模型完全相反，硬加推理不如直接用传统 LLM，OpenAI 可能根本不碰。（@andy12_）
认为分类器不是新东西，这波热度只是重新发现已有技术
- 各大 AI 公司内部早有大小、通用或专用分类器，用于安全、数据准备和训练中间任务；公开接口未必有商业意义。很多生成任务本质是分类，只是新人第一次意识到。（较多人） > 读对数几率是机器学习的基石，很多人似乎没有技术背景，也从不知道分类器和校准。（@drivebyhooting）
认为讨论护城河跑偏，关键是接口与用例
- 文章和讨论纠结护城河，但真正该问的是 Jev 是否把接口做对了，哪些旧想法被重新包装后能打开局面；护城河讨论常是空洞参与。（较多人） > 我不在乎 Jev 有没有护城河；它有没有把接口做对？护城河讨论只是制造参与的幻觉。（@prodigycorp）
认为 Jev 是 LLM 的补充而非替代
- Jev 不会写代码，仍需 LLM；它适合低延迟、便宜、主观或粗粒度的分类与排序，位于传统机器学习分类和前沿模型之间。个人实验用 Claude 调 Jev 给 HN 评论做垃圾内容评分，十分钟做出原型且体验很快。（较多人） > 它像是位于传统机器学习分类和前沿模型之间，很难说有什么真正生产用例，但肯定有人会用。（@jcims）
认为真正值得关注的是开源模型和其他实验室
- 不必盯着 OpenAI；Anthropic 或其他大厂也可能做，更令人兴奋的是 DeepSeek、Qwen、GLM 等把分类器整合进开放模型；开源可能先吃掉 Jev 的午餐。（较多人） > 我更关心 DeepSeek、Qwen 或 GLM 把分类器整合进开放模型，那比 OpenAI 做什么刺激得多。（@yogthos）
认为 OpenAI 亲自做 Jev 等于承认路线失败
- OpenAI 的品牌叙事围绕通用人工智能和世界末日风险，做一个小而快的分类工具像承认失败；更合理的是内部模型直接复刻、收购，或让 TypeSafe 被收购。（少数人） > 如果 OpenAI 发布类似 Jev 的东西，就像承认失败；有通用人工智能的人为什么要做它终将取代的软件组件？（@abroszka33）
认为开放权重和本地部署会赢
- 用户不愿把想法、项目和知识产权交给少数闭源寡头；开放权重模型和分类器未来会被烧进个人电脑、笔记本的芯片，本地或可信云服务会拿下很大市场。（少数人） > 人们不想把所有想法和知识产权都喂给道德上不可靠的寡头，开放权重趋势已经证明了这一点。（@willmadden）
认为 Jev 与 OpenAI 之争本身被过度聚焦
- 有评论质疑为何标题单指 OpenAI，Anthropic 或其他实验室同样适用；更准确的标题应是“OpenAI 有位置参与竞争”，而不是“会不会吃掉 Jev 的午餐”。（较多人） > 更准确的标题是“OpenAI 有位置与 Jev 竞争”，而不是“OpenAI 会不会吃掉 Jev 的午餐”。（@evrydayhustling）
有价值的补充
- 自回归 LLM 的词元概率只估计训练分布下下一个词元的条件概率，不等于你关心的真实事件概率；经过强化学习、工具调用或推理链后，对数概率更只是条件于采样轨迹的表示，未必是分类器用户想要的置信度。（@amluto）
- 大厂内部早就有大量分类器用于安全、数据准备、训练中间任务，公开接口不一定符合商业逻辑；很多人是第一次意识到分类器存在且更高效，许多生成任务本质是分类。（@orbital-decay）
- vLLM 有接近合并的拉取请求，Kev 是开源 Jev，说明复制 Jev 的门槛可能不高。（@verdverm）
- 有人设想用 Jev 的选择原语同时预测接下来的多个词，但“一次性计算”可能导致各答案不能互相影响，未必能像 LLM 那样生成连贯文本。（@LelouBil）