文章指出，结构化输出虽然看似可靠，但可能导致模型过度关注格式而非内容质量，从而产生虚假的准确性信心。作者Sam Lijin提醒开发者需警惕这种技术带来的潜在风险。

结构化输出可能带来虚假的自信 | BAML博客

虽然结构化输出看似完美，但它往往迫使模型优先考虑格式合规性而非输出质量。本文通过实际案例揭示了结构化输出的潜在问题，并提出了更优的解决方案。

核心问题： 1. 质量下降：使用结构化输出API时，模型响应质量往往低于普通文本输出API 2. 典型缺陷： - 数据提取错误率增加 - 错误建模不准确 - 限制思维链推理等技术的使用 - 增加提示注入攻击风险

案例实证： - 收据解析案例显示，结构化输出错误地将0.46磅香蕉识别为1.0磅 - 当输入为大象图片或货币兑换收据时，结构化输出强制生成无效结果

技术原理： 结构化输出采用约束解码技术，限制模型只能选择符合预定模式的token。这种强制约束可能导致： - 模型无法输出更准确但不符合格式的答案（如51.7被强制改为51） - 牺牲输出质量换取格式合规

解决方案： 1. 允许自由格式输出 2. 后期解析处理： - 嵌入简洁的输出格式描述 - 开发容错性强的解析器 - 实现类型转换功能

优势对比： - 自由输出+解析方案在BFCL测试中准确率达93.63%，高于结构化输出的91.37% - 保留模型拒绝回答、警告提示等自然交互能力

特别说明： - 结构化输出并非总是劣质，但容易掩盖质量问题 - 前沿模型可通过特殊标记实现结构化推理，但多数常见模型不支持

本文建议开发者权衡格式要求与输出质量，优先考虑自由输出+后期解析的方案，以获得更优的AI应用体验。

（注：原文中的代码示例、图片链接和部分技术细节已简化，保留了核心论点和关键证据）

评论内容总结

1. 支持结构化输出的观点

• 主要观点：结构化输出在多种任务中表现良好，尤其是结合适当的提示和验证步骤时。

  • 引用：
    "OpenAI structured outputs are pretty stable for me. Gemini sometimes responds with a completely different structure." (swedima)
    "Structured outputs can be quite reliable if used correctly... I think the trick is just generating the right schema to model your problem." (ASIGINT)

• 论据：

  • 结构化输出能提高数据提取的可靠性，尤其是在需要严格格式（如JSON或XML）的场景。
  • 通过优化提示和验证步骤，可以显著减少错误。

2. 反对结构化输出的观点

• 主要观点：结构化输出可能限制模型的创造力，导致输出质量下降。

  • 引用：
    "Structured outputs might improve or worsen your results depending on the use case." (dcastm)
    "It’s not surprising that there could be a very slight quality drop off for making the model return its answer in a constrained way." (michaelgiba)

• 论据：

  • 结构化输出可能干扰链式思考（CoT），影响模型的推理能力。
  • 某些情况下，结构化输出会导致模型生成不符合预期的结果（如错误的数值或格式）。

3. 中立或改进建议的观点

• 主要观点：结构化输出的效果取决于具体实现和任务需求，建议结合自由生成和结构化输出的优势。

  • 引用：
    "A 3rd alternative is to use the best of both worlds. Have the model respond in free-form. Then use that response + structured output APIs to ask it for json." (NitpickLawyer)
    "I would like to see a more extensive formal eval that demonstrates that structured outputs from different providers reduces the quality of data extraction results." (simonw)

• 论据：

  • 结合自由生成和结构化输出的两步法（如先自由生成再转换为结构化格式）可能更有效。
  • 需要更多实验数据来验证结构化输出的实际影响。

4. 其他观点

• 关于错误处理：

  • 结构化输出需要明确的错误处理机制，但自由生成同样面临复杂的错误问题。
    引用：
    "Sure, with structured outputs you need to be explicit about what errors you’re handling... But if you ask the model to return pure text, you now have a universe of possible errors." (whakim)

• 关于链式思考（CoT）：

  • 现代模型已支持在结构化输出中保留链式思考，无需牺牲推理能力。
    引用：
    "Every model has built-in segmentation between reasoning/CoT + JSON." (refulgentis)

总结

评论中对结构化输出的看法存在分歧：
- 支持者认为其能提高可靠性和易用性，尤其是在需要严格格式的场景。
- 反对者指出其可能限制模型创造力并导致输出质量下降。
- 中立者建议结合自由生成与结构化输出的优势，并呼吁更多实验数据验证其效果。