← 2026-07-13 期
Behind the Craft47:13 节目 · 12 分钟阅读

如何打造会检查自己工作的 AI Agent

嘉宾 Jared Zoneraich · Cognition / Devin

节目日期 2026-07-12来源标注:官方章节+节目说明

先让模型在真实任务中“跑起来”,再根据失败记录加工具与规则。多 Agent 的核心并不是并发数量,而是每个 Agent 能否提交可核查证据。真正的工程重心从写提示词转到任务拆分、验证器、可观察性与经理 Agent。

核心判断:Agent 团队只有在工作可验证时才会可靠;“完成”必须从一句自我声明变成测试、截图、日志或可复现产物。
9 条核心观点
  1. 先看到真实失败,再设计 AgentEnglish source-faithful paraphrase · 非逐字引用Observe real failures before over-designing the first agent.中文翻译:先看到真实失败,再设计 Agent原文依据:Jared 先谈团队常把第一个 Agent 设计得过重,随后才说明应让模型在真实任务里充分尝试。
    解释:如果没有失败样本,规则只是预想;先观察能把工程投入集中到真实高频问题。
  2. 模型自由度是诊断工具,不是生产权限English source-faithful paraphrase · 非逐字引用Use model freedom for diagnosis, not as production permission.中文翻译:模型自由度是诊断工具,不是生产权限原文依据:节目建议先“让模型做”,同时后文强调云端、沙箱和护栏。
    解释:开放探索应发生在隔离环境;对发送、付款、删除等外部动作仍需硬权限。
  3. 工具通常比更长的提示词稳定English source-faithful paraphrase · 非逐字引用Structured tools are often more reliable than longer prompts.中文翻译:工具通常比更长的提示词稳定原文依据:在 03:16 附近,讨论从提示词转向可调用工具;工具把输入、动作和返回值固定下来。
    解释:自然语言容易被忽略或误解,结构化工具能限制动作空间并留下可检查记录。
  4. 评测应从上线后的失败中生长English source-faithful paraphrase · 非逐字引用Let post-launch failures grow into a living evaluation set.中文翻译:评测应从上线后的失败中生长原文依据:10:51 后强调真实使用才会暴露边缘情况,失败需要进入后续测试。
    解释:评测不是一次准入考试,而是不断扩充的回归集;每次事故都应成为下一版的防线。
  5. 多 Agent 的价值来自可拆分性English source-faithful paraphrase · 非逐字引用Multi-agent gains depend on tasks being independently decomposable.中文翻译:多 Agent 的价值来自可拆分性原文依据:十 Agent 演示把任务分成相对独立的部分,再由上层合并。
    解释:如果子任务高度依赖,多 Agent 会增加沟通和冲突成本;并行数本身不是能力指标。
  6. 经理 Agent 必须拥有状态与验收标准English source-faithful paraphrase · 非逐字引用A manager agent needs state, budgets, dependencies, and acceptance criteria.中文翻译:经理 Agent 必须拥有状态与验收标准原文依据:20:30 的讨论把经理角色放在任务分配、跟踪和复核,而不只是转发消息。
    解释:没有依赖、预算、超时和完成定义的经理 Agent,只是额外增加一次模型调用。
  7. “完成”必须附带外部证据English source-faithful paraphrase · 非逐字引用Agents should prove completion with externally verifiable evidence.中文翻译:“完成”必须附带外部证据原文依据:28:03 明确要求 Agent 证明工作,例如测试、日志、截图或可复现结果。
    解释:系统不应相信模型对自己的评价;证据把自我声明变成第三方可核验的状态。
  8. 本地与云端应按风险分工English source-faithful paraphrase · 非逐字引用Split local and cloud execution according to data and operational risk.中文翻译:本地与云端应按风险分工原文依据:16:06 讨论本地执行与云端弹性,而不是给出单一部署答案。
    解释:敏感上下文可留本地,隔离和突发计算可用云端;选择取决于数据、成本和恢复要求。
  9. 最适合团队化的任务有机器可验收终点English source-faithful paraphrase · 非逐字引用Agent teams work best when outcomes are machine-verifiable.中文翻译:最适合团队化的任务有机器可验收终点原文依据:33:18 后列举适合 Agent 团队的任务形态:边界清晰、结果可检验、分工低耦合。
    解释:研究创意等开放任务可以辅助,但不能沿用代码测试那样的确定性验收。
  10. Agent 工程的中心正在从生成转向验证English source-faithful paraphrase · 非逐字引用Agent engineering is shifting from generation toward verification.中文翻译:Agent 工程的中心正在从生成转向验证原文依据:全篇顺序从“模型先做”推进到工具、评测、经理与证明工作。
    解释:模型越能生成,系统越需要判断何时正确、失败在哪里、是否值得重试。
结构、人物与关键时间点
02:50先让模型尝试,再写规则
03:16工具优先于提示词堆叠
10:51上线后才开始积累评测
20:30经理 Agent 的职责
25:39十 Agent 协作演示
28:03要求 Agent 提交证据
33:18哪些任务最适合团队化
人物 / 工具
Jared ZoneraichCognitionDevinManager AgentEvalsSandboxes

立场:嘉宾偏工程实证:不要先构造宏大框架;主持人则不断追问多 Agent 在真实团队中的边界与成本。

工作启发与行动建议
  1. 给每个 Agent 任务补一个“完成证据”字段:测试、链接、截图或日志。
  2. 从最近 20 次失败中挑前三类,优先做工具或验证器,不先加提示词。
  3. 只有当子任务能独立验收时才并发多个 Agent。
  4. 建立经理 Agent 的超时、重试、预算和升级人工规则。

证据边界:架构建议来自嘉宾经验与官方章节;“多 Agent 更快”取决于任务耦合度与验证成本,不是普遍事实。

深度分析:从“会做”到“能证明做对”

这期真正解决的是什么问题

表面上,这期节目讨论多个 Agent 协作,实际核心是软件团队如何把不稳定的模型输出变成可管理的生产过程。Jared 的出发点不是让模型看起来更自主,而是把“完成任务”的含义改写为一组外部可检查的证据。只要成功标准仍然依赖 Agent 自己说“我完成了”,多 Agent 只是把不确定性并行放大。

因此,节目把提示词的重要性下调,把工具、测试与反馈回路的重要性上调。提示词告诉模型应该怎么想;工具决定它能做什么;验证器决定系统是否接受结果。后两者比自然语言约束更接近传统工程中的接口与测试,也更容易复用、记录和追责。

关键论证链

  1. 先观察,再约束:如果一开始就堆满规则,团队无法知道模型原本能完成什么,也无法区分真正必要的护栏与人为想象的风险。
  2. 失败必须沉淀:一次失败不应只靠人工修正,而应进入失败分类、回归测试和评测集,成为系统下一版的资产。
  3. 经理 Agent 不是万能路由器:它需要掌握任务状态、依赖、预算和验收条件;否则只是增加一次模型调用。
  4. 证明工作是默认协议:代码任务提交测试与 diff,研究任务提交来源与冲突证据,运营任务提交状态变化和回滚方法。

容易被误读的地方

“先让模型自由发挥”并不等于在生产环境中取消权限边界。更准确的做法是在隔离沙箱和低风险数据上开放探索,在外部写入、付费、发送消息等动作上保持硬审批。节目中的自由度属于探索策略,不是安全策略。

适用于个人工作流的翻译

个人不需要一次运行十个 Agent。更有效的起点是把一个任务拆成执行者与检查者:执行者产出,检查者只按清单找缺口。只有当两类任务都稳定后,再引入经理 Agent。这样能避免“为了多 Agent 而多 Agent”。

Original language & concepts

原文金句与关键词

“Agents prove their work.”

Agent 需要提交测试、日志或可复现结果,而不是只宣称完成。

关键词

tools over promptsevalsmanager agentproof of worksandboxes

金句仅保留极短原文;中文说明结合上下文解释,不以单句替代整期论证。

BACK TO THE SOURCE

回到原始内容

保留历史报告的观点与证据边界。英文观点句沿用原稿标注,转述句不作为逐字引用。了解编辑说明

收录于 2026-07-13