Hacker News 中文摘要

RSS订阅

LLM可观测性实践——为何OpenTelemetry应成为标准 -- LLM Observability in the Wild – Why OpenTelemetry Should Be the Standard

原文链接 | HN讨论 | 2025-09-28 17:24:30

文章摘要

文章讨论了LLM（大语言模型）在生产环境中的可观测性问题，指出当前存在多种不兼容的观测标准，即使像OpenInference这样声称基于OpenTelemetry的库也未严格遵循规范，导致用户难以实现全栈观测。作者以Chatwoot公司开发的跨渠道AI客服代理"Captain"为例，说明在实际产品中部署LLM功能时面临的调试和改进挑战。

文章总结

标题：LLM可观测性的现状——为什么OpenTelemetry应成为标准

不久前，我与Chatwoot联合创始人Pranav进行了一场关于LLM可观测性问题的对话。他们团队在开源客服平台中开发了名为"Captain"的AI助手，但在生产环境中遇到了意外问题——比如AI会突然用西班牙语回复，或是给出不准确的响应，却无法追溯原因。

核心问题在于缺乏对以下环节的可视化： - RAG查询检索了哪些文档？ - 调用了哪些工具？ - 每个步骤的输入输出详情？ - AI决策的具体依据？

当前行业存在两大标准之争： 1. OpenTelemetry：成熟的行业标准，支持多语言，但原生仅支持基础span类型（内部/服务端/客户端等），缺乏AI工作流专用语义 2. OpenInference：专为AI设计，提供LLM/工具链/嵌入等丰富span类型，但存在三大缺陷： - 语言支持有限（如缺少Ruby SDK） - 与OpenTelemetry的兼容性停留在表层（无法识别OTel发送的AI语义） - 尚未形成生态规模

Chatwoot的困境极具代表性：作为Ruby on Rails技术栈，他们既不愿重造轮子开发SDK，又难以接受因采用非OTel标准导致的观测数据割裂。这反映了当前AI开发生态的核心矛盾——专用性与通用性的博弈。

实践建议： 1. 统一遥测主干：已有OTel基础的项目应保持技术栈统一 2. 渐进式增强：使用LLM专用库时，尽量贴近OTel规范 3. 参与标准建设：关注OTel的GenAI工作组动态，贡献实际用例

行业需要更多实践者发声，推动OpenTelemetry完善AI语义规范，避免生态碎片化。毕竟，当生产环境的AI突然说起西班牙语时，没人愿意在5层UI下翻找问题根源。

（注：文中图片链接及企业产品推广内容已按编辑要求删减，保留核心技术讨论）

评论总结

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

  1. 支持OpenTelemetry(OTel)的简易部署

    • 观点：使用OTel等工具可以快速搭建完整的可观测性栈
    • 引用：
      • "A full observability stack is just a docker compose away" (CuriouslyC)
      • "It takes literally 10 lines of code to start collecting all of the LLM-related spans" (armank-dev)

  2. 对通用标准的质疑

    • 观点：OTel可能不适合需要丰富语义的复杂场景，可能存在供应商偏见
    • 引用：
      • "forcing a general purpose tool into a domain where richer semantics might genuinely help" (ramrar)
      • "the 'open standards' narrative sometimes carries a bit of vendor bias" (ramrar)

  3. 实践中的可观测性方案

    • 自建方案：
      • 引用："our metrics dashboard is essentially a vibe coded react admin site...but proves absolutely invaluable" (olliem36)
    • 对话追踪方案：
      • 引用："use the conversations...as means to trace the execution flow" (pdp)

  4. 对LLM可观测性本质的讨论

    • 观点：分为内部工作机制(难解)和外部交互(易解)两个层面
    • 引用：
      • "not actually being able to trace how the LLM even works internally" (heimdall)
      • "the latter seems much easier to solve with tooling we already have" (heimdall)

  5. 对当前指标的质疑

    • 观点：现有指标可能不如传统应用遥测有用
    • 引用：
      • "I don't think we have seen the right metrics yet" (gdiamos)
      • "That's like saying that C++ app observability is about looking at every sys call" (gdiamos)