文章摘要
文章总结了构建生产级AI代理的六条原则，强调现代大型语言模型需要直接、详细的上下文，而非复杂的提示工程技巧。作者通过实践经验指出，清晰且无矛盾的指令比操纵性提示更有效，旨在为新手提供快速指南。
文章总结
生产级AI代理的六大原则
在开发AI代理时，许多人会感到困惑，尤其是新手。为了帮助大家快速上手，本文总结了六个实用的原则，这些原则在app.build的开发过程中发挥了重要作用。
1. 直接且详细的指令
过去，我对提示工程持怀疑态度，认为它更像是一种“巫术”而非真正的工程。然而，现代大型语言模型（LLM）只需要直接、详细的上下文，而不需要复杂的技巧或操纵。模型擅长遵循指令，问题往往出在指令的模糊性上。因此，确保指令清晰且无矛盾是关键。
2. 上下文管理
上下文管理是一个需要权衡的课题。过多的上下文会导致模型产生幻觉或偏离主题，而过少的上下文则可能让模型无法提供有效答案。一个有用的原则是：首先提供最基础的知识，然后通过工具在需要时获取更多上下文。例如，在提示中列出项目文件，并提供读取相关文件的工具。
3. 工具设计
AI代理的核心功能是工具调用，即LLM与暴露的工具及基本控制流的结合。设计工具集类似于设计API，但更为复杂。工具应具有直接、明确的接口，并且数量不宜过多，以避免上下文污染。好的工具通常具有有限的严格类型参数，并且是幂等的，以避免状态管理问题。
4. 两阶段算法
好的AI代理解决方案结合了LLM和传统软件的优势。设计一个类似于“演员-评论家”算法的两阶段方法非常有效：演员负责决定行动，评论家则负责评估这些行动。在app.build中，演员创建或编辑文件，而评论家确保代码符合预期，如通过编译、测试、类型检查等。
5. 反馈循环
反馈循环与“护栏”概念紧密相关。代理在遇到错误时有一定的恢复能力，但有时需要直接丢弃错误结果并重新尝试。反馈循环的本质是设计不同的恢复策略，类似于蒙特卡洛树搜索：有些分支值得进一步发展，有些则应被剪除。
6. 错误分析
一旦有了基本的代理和反馈循环，就可以通过迭代来改进。错误分析是AI/ML工程中的关键环节。一个简单而强大的方法是：建立基线，获取轨迹/日志，用LLM分析这些日志，然后根据洞察改进基线。这种方法通常能揭示上下文管理或工具设计中的盲点。
总结
构建有效的AI代理并不是寻找一个完美的提示或高级框架，而是关于系统设计和正确的软件工程。关注清晰的指令、精简的上下文管理、健壮的工具接口和自动化的验证循环。当代理表现不佳时，首先调试系统：缺失的工具、模糊的提示或不足的上下文通常是问题的根源，而不是模型的局限性。最重要的是，将错误分析视为开发过程中的首要任务，通过LLM的帮助理解代理的失败模式，并系统地解决这些问题。目标是构建可靠、可恢复的代理，它们能够优雅地失败，并可以通过迭代不断改进。
评论总结
评估的重要性：评论2强调评估在提升AI系统性能中的关键作用，并对“LLM作为批评者”的有效性表示怀疑，认为缺乏实证支持。
- "evaluations are vital for improving performance."
- "I’ve never seen empirical evidence that this works."
工具调用的改进建议：评论3建议在工具调用中明确输入和输出类型，认为这有助于LLM更好地进行规划。
- "giving LLMs info about what structured inputs are needed to call functions as well as what are outputs expected would probably result in better planning?"
系统设计的痛点：评论6指出文章准确捕捉了代理系统设计中的关键痛点，如上下文分割和反馈循环设计，并分享了个人实验中的经验。
- "The emphasis on splitting context and designing tight feedback loops feels spot on."
- "I’ve had agents stubbornly ignore tools because I forgot to expose the right APIs."
文章质量批评：评论5对文章中的拼写错误表示不满，认为这影响了文章的可信度。
- "Always hard to take an article seriously when it has typos."
简洁回应：评论4以极简的方式表达了对文章的否定态度。
- "Don’t."
总结：评论主要围绕评估的重要性、工具调用的改进、系统设计的痛点以及对文章质量的批评展开，观点多样且各有侧重。