作者在升级Shopify邮件通知模板时，使用Shopify的LLM开发者文档机器人查询如何在Liquid语法中检测订单是否包含通过Shopify Collective履行的商品。机器人提供了看似正确的代码，但实际测试时发现代码无效，即使订单在管理界面中显示了相关标签。由于Shopify不支持非常规邮件格式的测试，作者只能通过反复下单和退款来验证，最终发现Shopify Collective标签在生成确认邮件时并未出现在订单中。

文章《Is the doc bot docs, or not?》探讨了Shopify的LLM驱动的开发者文档机器人在提供技术支持时的准确性和可靠性问题。作者在升级Shopify的电子邮件通知模板时，向文档机器人询问了如何在Liquid语法中检测订单是否包含通过Shopify Collective履行的商品。机器人迅速给出了一个看似正确的代码片段，但在实际应用中，该代码并未按预期工作。

作者通过反复测试发现，Shopify Collective标签在订单确认邮件生成时并不存在，而是在稍后的某个时刻由Shopify的其他流程添加。这一细节并未在任何官方文档中提及，因此文档机器人给出的建议是错误的。作者质疑，如果文档机器人只是猜测答案，那么它的存在意义何在？尤其是在官方文档中，准确性至关重要，猜测性的回答可能会带来比快速帮助更大的负面影响。

作者认为，虽然文档机器人在某些情况下可以提供有用的搜索帮助，但在需要精确信息的场景中，其自由发挥的行为可能会破坏Shopify团队编写详尽、准确文档的努力。作者最终给出了一个可行的解决方案，并呼吁文档机器人应更加严谨，避免提供不准确的信息。

文章结尾附上了作者找到的正确代码片段，并链接到博客主页。

以下是评论内容的总结：

1. 文档质量与用户体验

   • 评论1指出，错误的文档比没有文档更令人沮丧，尤其是当AI生成的内容不可靠时。
     引用："If it can hallucinate an answer, it's docs with probably the most infuriating UX one can imagine."
   • 评论12则认为，文档本身也可能存在错误或难以理解，导致用户误解。
     引用："Docs are sometimes wrong, and even more so if you could errors of omission."

2. AI文档助手的局限性

   • 评论2和评论5提到，AI仅依赖文档时容易出错，尤其是在复杂的平台（如Shopify）中，缺乏实际经验会导致错误。
     引用："This is where AI that just reads the available docs is going to struggle, and won't replace actual experience with the platform."
   • 评论9和评论11指出，AI生成的内容可能完全不准确，甚至虚构功能或代码。
     引用："It just hallucinated the capability and code to make it work."

3. 文档助手的改进方向

   • 评论10建议，理想的文档助手应具备测试代码的能力，以确保答案的准确性。
     引用："An 'agent' style bot that has the ability to spin up its own environment and actually test the code."
   • 评论8提到，文档助手的表现取决于文档的解析和结构化方式，需要大量评估来平衡依赖文档与LLM知识的结合。
     引用："The only way to get that balance right is evals. Lots of them."

4. 用户对文档助手的实际体验

   • 评论6分享了对Shopify文档助手的负面体验，认为其无法回答技术问题，类似于向销售人员提问。
     引用："It's a bit like asking sales people technical questions."
   • 评论12则认为，尽管文档助手可能出错，但其速度优势使其在测试代码前仍有一定价值。
     引用："DocBots are almost certainly wrong more frequently, but they're also almost certainly much much faster than reading the docs."

总结：评论普遍认为，AI文档助手在依赖文档时容易出错，尤其是在复杂平台中，缺乏实际经验会导致错误。尽管文档本身也可能存在问题，但文档助手的错误率更高。改进方向包括增强测试能力和优化文档解析方式。用户对文档助手的体验褒贬不一，部分用户认为其速度优势使其在测试前仍有一定价值，而另一些用户则对其技术能力表示失望。