Cactus公司开发了一种混合AI模型，在小模型本地运行的同时，通过内置探针对答案进行0到1的置信度评分。当置信度低于0.85时，自动将查询路由到更大模型处理。其Gemma 4 E2B混合模型仅需将15-35%的查询转给Gemini 3.1 Flash-Lite，即可在多数基准测试中达到同等水平。

好的，这是根据您的要求，对原文进行的中文重述，保留了核心细节，并删减了与主题无关的代码示例和安装指令。

Cactus 混合模型：一种高效、私密的设备端AI方案

Cactus 推出了一种小型设备端模型，它速度快且保护隐私，但有时会出错。为此，Cactus 对模型进行了后训练，使其能够识别自身的错误：他们在模型检查点内部嵌入了“探针”，为每个答案生成一个介于0到1之间的置信度分数，并以结构化数据的形式返回。当置信度高时，就在设备端直接给出答案；当置信度低时（例如低于0.85），则可以将请求路由到更大的模型。

Cactus 的首个部署版本基于 Gemma 4 E2B 混合模型。这是最小的 Gemma 模型，通过仅将15%到35%的查询路由到更大的 Gemini 3.1 Flash-Lite 模型，其余查询由自身处理，就能在大多数基准测试中与 Gemini 3.1 Flash-Lite 性能持平。

路由质量（AUROC指标）

Cactus 混合模型的核心优势在于其“探针”的准确性。AUROC 指标衡量了模型区分错误答案与正确答案的能力（1.0为完美，0.5为随机）。在多项文本、视觉和音频基准测试中，Cactus 混合模型的平均 AUROC 达到了 0.814，远高于作为对比的“Token熵”方法的 0.549。

最令人印象深刻的是，该“探针”从未使用任何音频数据进行训练，却在四项音频基准测试（包括转录和问答）中取得了0.79到0.88的高 AUROC 分数。这表明“探针”并非简单地记忆训练模式，而是从模型的隐藏状态中读取了一种与模态无关的正确性信号。

总结： Cactus 混合模型通过一个内置的置信度评估机制，实现了在设备端高效、私密地处理大部分查询，仅在必要时才调用更强大的云端模型，从而在性能、成本和隐私之间取得了良好的平衡。该模型采用 MIT 许可证发布。

根据评论内容，主要观点和论据如下：

1. 对模型自我意识信号的研究兴趣（高认可度） - 评论1（cacio-e-pepe）询问机制研究细节：“you trained your probe layer to take this hidden state and predict p(wrong)?”（你训练探针层利用隐藏状态预测错误概率？） - 评论4（mncharity）探讨开发者直觉信号的可提取性：“might one create a shopping list of desired signals to check for in a model”（是否可以创建所需信号的清单来检查模型）

2. 与现有工作的比较（中等认可度） - 评论2（astrobiased）提出与Goodfire研究的相似性：“Is this in any way similar to Goodfire's work?”（这与Goodfire的工作类似吗？）

3. 实际应用场景的探讨（中等认可度） - 评论3（zdw）询问编码任务基准测试：“Have you benched this for coding tasks, with a fallback to a larger local model?”（是否在编码任务上进行了基准测试，并回退到更大的本地模型？） - 评论5（olafura）分享集成实践：“integrated it just for fun... running this on my Framework Desktop”（为了好玩而集成，在Framework Desktop上运行）

4. 对模型自我认知能力的质疑（低认可度） - 评论6（BugsJustFindMe）批评“知道何时错误”的表述：“You can't know when you're wrong. You can only know when you're unsure or inconsistent.”（你无法知道何时错误，只能知道何时不确定或不一致。） - 评论7（robrenaud）担忧模型质量下降：“Does the model quality become degraded in other ways?”（模型质量在其他方面是否下降？）

总结： 评论主要围绕模型自我意识信号的研究方法、与现有工作的比较、实际应用潜力以及自我认知能力的哲学质疑展开。支持者关注技术细节和实用性，质疑者则对模型声称的自我认知能力持保留态度。