标题已说明想法，但这不是推特（Twitter），我要展开。你在做想法、代码或年入数十亿美元的 SaaS 应用，也许在抓取新发布的拉布布（Labubu）图，用 ComfyUI 转三维 CAD，赶在春节（CNY）前加快仿制生产。你多半在用绑定供应商付费订阅的前端聊天，数据进去、回来。他们卖的就是这个，也乐意买，用图片当作工作发生的证明。

我觉得标题已经把想法完全说清楚了，但既然不是在发推特，我还是展开说一下。

你可能在做一个想法、一段代码，或者一个每年几十亿美元、大概正在拯救世界的 SaaS 应用。也许你在自动化“克隆”流程：抓取新发布的 Labubu 图片，把 2D 图用 ComfyUI 转成 3D CAD，让复刻产品更快投产，因为 CNY（春节）在即，全球制造业会在那前后停摆。也许你喜欢烧 token，去问那个“有史以来开发出的最强计算机软件”要一份麦当劳 McRib 的宏量营养素信息，或者诸如此类的破事。

你多半是在用某种前端，跟你所选供应商的付费订阅打交道，TUI、GUI、语音通话，随便什么形式。你的数据进去，他们的数据回来给你。他们卖的就是这个，我现在也乐意买。然后他们会给你看下面这种东西，当作“正在干活”的证明：

好家伙，各位。

这纯粹是干扰。它不是给工程师看的、带时间序列的 token 使用统计。那大实验室呢？想深挖的用户点开 Analytics 面板，总该能看到点有价值的信息吧。

我还是没法靠这种垃圾做决策。我猜你已经要喊了：“有 OTel 导出选项啊！！1！” 行吧，酷。这算一个理由，下面是我现在随口就能想到的另外 5 个：

• 多供应商、多模型，汇聚于你掌控的单一端点
• 日志记录哪个 key 在什么时间、通过什么客户端调用了哪个模型，以及状态如何
• 使用虚拟 API key，避免把你唯一的主 key 到处丢在工作、agent 和各类 harness 里
• 这是你自己掌控的基础设施
• 可以极快地切换模型和供应商，而不用把一切重新配置一遍（再说一次，搞不好都第 3 次了）

我不会给你推荐某个代理供应商，我只建议你在自己掌控的地方自己跑一个。等你选好之后，别忘了可以按需改造它。我就改过我自己的代理，用来获得更好的可观测性、自定义 MCP server 端点，以及其他功能。无论你选什么，你应该能拿到类似下面这样的数据。

写代码时如果出现 cache miss，我能靠手动在 20 秒内定位原因。我还没把它自动化，但我用的代理有 API，所以自动化是可行的。

掌控你自己的基础设施、应用可观测性、数据路径和存储。我在家这么做是因为好玩，也是我喜欢的学习方式。我在工作里也必须这么做，否则就是没把工作做好。我可能永远都没法搞清楚大语言模型到底是怎么工作的，没法在面试时把它在白板上讲清楚。但我能把它摁住，确保在服务推理时给它做好埋点和监控。

讨论整体偏向实战：多数人认同应在智能体外再加一层代理、网关或自建框架，以换取完整可观测性、密钥隔离和护栏；分歧在于这层是否必要，以及该用现成工具、自建，还是直接读日志。反对者认为，对许多订阅用户来说成本和用量并不需要这样精细监控，深挖更像搭建癖，或干脆不碰这些 AI 工具。

认为应在智能体外再加代理、网关或自建框架来做观测与控制

• 社区里较多人把这层当作刚需：它能给沙箱里的智能体发虚拟密钥，让模型服务商的真实 API key 不进入沙箱，同时全量记录请求、加护栏，并用一个接口接多家模型和自托管模型；也有人自己写智能体框架，就是为了拿到“它在做什么、为什么这么做”的可观测性。OpenRouter 等现成服务被部分人当作现成答案，但有人仍会在外面再包一层来进一步锁住请求和隐藏密钥。（认可度：较多人） > 没有它我无法在沙箱里编排智能体：能发虚拟密钥、能看到一切，还能加护栏（@hoppp）

认为 LiteLLM 等现成代理不靠谱，应换更高质量方案或自己写

• 少数人对现成“LLM 铲子”评价很低，认为它们更新极快、像氛围编程产物，既难用又让人担心漏洞；因此有人改推 Bifrost，说它质量和统一接口更好，也有人直接自建网关或智能体框架来避开这些问题。需要注意的是，用代理去接订阅可能被视为灰产用法，并不被鼓励。（认可度：少数人） > LiteLLM 这类“LLM 铲子”是满是缺陷的氛围编程烂摊子，以这种更新速度，我觉得肯定存在漏洞（@jubilanti）

认为非代理的日志或会话聚合更贴近真实，也少一个故障点

• 少数人指出，走订阅而不是 API 时，不一定非要在链路上加代理：直接收集 Claude 等项目目录里的 JSONL 会话日志，往往比代理看到的更清晰，连子智能体结构都更完整；跨智能体查看也可以用 agentsview 这类非代理工具，统一存对话还能做组织级审计，但要清洗凭证。（认可度：少数人） > 对订阅用户来说，直接收集项目目录里的 JSONL 往往比代理看到的更清晰（@jakozaur）

质疑这是过度搭建，订阅额度已够或根本不用 AI

• 少数人认为很多所谓的“可观测性需求”只是搭建癖：常规用量下 100 到 200 美元的订阅已经接近无限，没必要为了监控改付 API 按量费用；实测中 API 花费速度远快于订阅额度，明显不划算。更极端者则说根本不用这些 AI 工具。（认可度：少数人） > 按 API 计费两三天就能烧掉 200 美元，而同样价格的订阅一周才勉强用完（@NeutralWanted）

有价值的补充

• 自托管门槛没有想象中高：有用户指出，12GB 显存的 GPU 加 64GB 内存就足以真正拥有自己的基础设施，只等硬件继续降价让更多人用上。（@kennywinker）
• 若仍想用现成视图而非代理，Aperture 可通过 Tailscale 在 tailnet 内免费使用；虽非完全自托管，但在自家网络内有控制力，且更新维护较稳定。（@passive）
• 社区里已有若干自建网关或看板实例：nenya、llama-dash 支持订阅与 API 的代理或看板，Chatacombs 则把多个 AI 客户端的对话统一入库自建存储。（@garou、@ndom91、@jsphweid）