AI Agent 延迟优化指南：从诊断瓶颈到并行调用的五个关键策略
LangChain 创始人 Harrison Chase 发表文章《AI Agent Latency 101》，系统总结了优化 AI Agent 延迟的五个关键策略。开发者通常先花时间让 Agent 能工作，然后转向速度和成本优化。文章指出，延迟优化的方法完全取决于具体的瓶颈在哪里——是一个大的 LLM 调用，还是多个小调用累加？需要先诊断再优化。
策略一：识别延迟来源
这可能听起来很基础，但如何减少延迟完全取决于你的具体瓶颈。
诊断方法
你需要回答几个关键问题：
- 延迟是来自一个大的 LLM 调用，还是多个小调用累加？
- 是工具调用（API 请求、数据库查询）耗时，还是 LLM 推理耗时？
- 是序列化的步骤导致等待，还是可以并行化？
LangSmith 的可观测性
LangSmith 为 Agent 交互提供了完整的可观测性：
- 追踪 Agent 每一步的延迟
- "瀑布图"（waterfall）视图，轻松识别哪些步骤对整体延迟贡献最大
- 查看每个 LLM 调用的 token 使用量和耗时
- 识别重复或冗余的调用
在尝试优化之前，先用可观测性工具诊断瓶颈，避免盲目优化。
策略二：改变 UX 减少"感知"延迟
有时候，减少延迟最简单的方法是——不减少延迟。这听起来违反直觉，但想想为什么延迟重要：通常是因为担心 Agent 运行时间太长，用户不喜欢使用。这往往可以通过更新 Agent 的 UX 来解决。
1. 流式返回结果
流式输出（streaming）对大多数 LLM 应用来说已经很常见，但如果你还没有做， definitely 应该做。流式输出：
- 向用户传达 LLM 正在工作
- 用户更不容易离开页面
- 感知等待时间显著缩短
除了流式输出最终响应 token，你还可以流式输出更多内容：
- Agent 正在执行的计划步骤
- 检索结果
- 思考 token（thinking tokens）
Perplexity 在这方面做得很好。他们发现，通过 UI 改变——在搜索过程中显示中间结果——用户感知的等待时间大幅降低，即使实际延迟没有变化。
2. 乐观 UI 更新
另一种方法是乐观 UI 更新：在 Agent 实际完成操作之前，先在界面上显示预期的结果。如果操作成功，UI 已经正确显示；如果失败，再回滚并显示错误。
这在用户执行简单操作（如标记任务完成、添加评论）时特别有效。
策略三：减少 LLM 调用
LLM 调用通常是 Agent 延迟的最大来源。减少 LLM 调用次数是最直接的优化方法。
1. 合并步骤
检查 Agent 的工作流，看是否有可以合并的步骤：
- 多个独立的 LLM 调用是否可以合并为一个？
- 是否有冗余的验证或检查步骤？
- 是否可以用更简单的规则替代某些 LLM 调用？
2. 缓存结果
对于重复的查询或计算，使用缓存：
- 缓存 LLM 对相同输入的响应
- 缓存工具调用的结果
- 缓存检索结果
注意：缓存需要考虑时效性，对于需要实时数据的场景不适用。
3. 用规则替代 LLM
对于简单、确定性的任务，用硬编码规则替代 LLM 调用：
- 简单的格式转换
- 基本的条件判断
- 标准的计算逻辑
只有在需要理解、推理或生成自然语言时才使用 LLM。
策略四：加速 LLM 调用
如果无法减少 LLM 调用次数，可以尝试加速每次调用。
1. 选择更快的模型
不同模型的推理速度差异很大：
- 小模型通常比大模型快
- 专用模型（如代码模型）可能比通用模型快
- 某些提供商的推理优化更好
考虑使用更小、更快的模型处理简单任务，只在需要时使用大模型。
2. 优化提示词
提示词的长度直接影响 LLM 调用的延迟：
- 减少不必要的上下文
- 使用更简洁的指令
- 只包含相关的历史记录
- 使用摘要替代完整的历史对话
3. 使用流式输出
虽然流式输出不减少总延迟，但它减少了首 token 延迟（TTFT），让用户更快看到结果。
4. 考虑模型部署位置
如果你的应用对延迟敏感，考虑：
- 使用离用户更近的模型部署区域
- 使用边缘计算节点
- 考虑本地部署小模型
策略五：并行 LLM 调用
如果 Agent 有多个独立的 LLM 调用，可以并行执行它们。
1. 识别可并行的步骤
检查 Agent 的工作流，识别没有依赖关系的步骤：
- 多个独立的工具调用
- 多个独立的检索查询
- 多个独立的分析任务
2. 实现并行执行
使用异步编程或多线程实现并行：
- Python: asyncio、concurrent.futures
- JavaScript: Promise.all
- Go: goroutines
3. 注意限制
并行调用也有需要注意的地方：
- API 速率限制：并行调用可能触发速率限制
- 成本：并行调用同时消耗更多 token
- 错误处理：需要处理部分失败的情况
- 资源限制：本地部署的模型可能无法处理太多并行请求
实践建议
优化顺序
Harrison Chase 建议的优化顺序：
- 先诊断：用 LangSmith 等工具识别瓶颈
- UX 优化：流式输出、乐观更新，减少感知延迟
- 减少调用：合并步骤、缓存、用规则替代 LLM
- 加速调用：选择更快的模型、优化提示词
- 并行调用：对独立步骤并行执行
权衡
延迟优化总是涉及权衡：
- 延迟 vs 质量：更小的模型更快，但质量可能更低
- 延迟 vs 成本：并行调用更快，但成本更高
- 延迟 vs 准确性：缓存更快，但可能返回过时的数据
- 延迟 vs 可解释性：合并步骤更快，但更难调试
需要根据具体场景找到平衡点。
总结
AI Agent 延迟优化是一个系统性的工程问题，没有银弹。Harrison Chase 总结的五个策略——识别延迟来源、改变 UX 减少感知延迟、减少 LLM 调用、加速 LLM 调用、并行 LLM 调用——提供了一个完整的优化框架。关键是先诊断瓶颈，再有针对性地优化，而不是盲目尝试各种技巧。同时要注意延迟、质量、成本之间的权衡，根据具体场景找到最佳平衡点。
来源：https://www.langchain.com/blog/how-do-i-speed-up-my-agent