LangChain 刚开源了个 Eval Engineering Skill，专门用来评估你开发的 Agent 质量

做 Agent 开发最痛苦的事是什么不是调 prompt不是选模型是评估。你的 Agent 改了提示词到底变好了还是没变好换了模型新版本真的更强加了个工具是进步了还是退步了你心里没底。不是不想评估是手写评估太累了。而且写出来的东西经常和真实场景对不上。你精心设计的测试用例生产环境里根本不会出现。真正出问题的场景你的测试又没覆盖到。这中间的鸿沟一直在那里。今天 LangChain 开源了一个新东西叫 Eval Engineering Skill。装进 Claude Code 或 Codex 之后它能自己读懂你的代码仓库分析真实运行轨迹然后帮你设计出一套可执行的评估测试。不是一键生成是跟你一起迭代。它到底在解决什么问题做 Agent 的人都有三个痛点。第一个评估和真实使用脱节。你手写的测试用例是凭经验猜的但生产环境里用户怎么用、Agent 在哪里翻车你其实不知道。第二个生产 traces 里藏着金矿。Agent 每次运行都会留下轨迹工具调用了什么、返回了什么、哪里出错了全在里面。但这些信息很难转化成系统性的测试。第三个改了东西没法快速验证。你换了模型、调了 prompt、加了工具怎么知道是真的变好了还是引入了新问题靠感觉不行靠手动测试又太慢。它的工作方式这个 Skill 的工作流程分四步。先读代码仓库。它自动扫描你的 Agent 仓库识别出 prompt、模型、工具、API 调用这些组件搞清楚整个 Agent 的结构。再分析 traces。如果你提供了生产环境的运行轨迹它会从里面提取真实的工具调用参数、返回结果、错误信息还原 Agent 在生产环境里的真实行为。然后是它最聪明的设计“面试”。它不是一次性生成一堆测试而是先提出几个值得测试的能力方向然后通过对话跟你确认。哪些工具要真实调用哪些需要模拟哪些能力最值得测你来拍板。最后输出标准的 Harbor 格式评估。每个评估包含三个部分。Instruction给 Agent 的任务指令。Environment用 Dockerfile 定义的可复现环境。Verifier验证器判断任务是否真正完成。为什么不能一键生成团队发现一个反直觉的事实。最好的评估几乎都是经过多轮反馈才出来的。尤其是验证器第一版特别容易被 Agent 钻空子。他们会观察到几种典型作弊方式。过度引用无关文档来刷分。假装完成了某个动作其实没做。利用暴露的答案信息走捷径。怎么修同时看 Agent 的运行轨迹和验证器的运行轨迹快速定位问题然后修正。这背后有个更大的想法LangChain 团队提了一个持续学习的闭环。从生产 traces 里挖出真实问题转化成评估测试用测试驱动 Agent 改进改进完再跑评估验证。评估变成了 Agent 的训练目标和回归测试集。环境是容器化的模型、提示词、工具版本可以随意替换对比信号更干净迭代更快。他们在自己的文档问答 Agent chat-langchain 上跑过这套流程。在 Terminal-Bench 2.0 上光靠调整 harness提示词、工具、编排策略在评估指标上 hill-climbing就拿到了 13.7% 的提升。没换模型没做微调就是更好的 harness engineering 加上评估驱动。怎么用代码开源在 langchain-ai/langchain-skills。装进 Claude Code 或 Codex打开你要评估的 Agent 仓库可选提供 traces然后用一句话启动。启动之后它会先读你的代码仓库提出几个评估方向让你选你选完它帮你建好完整的评估任务跑一遍看结果再迭代。所以呢如果你在认真做 Agent 工程不是只调几句 prompt这个工具值得试试。评估不该是上线前的临时检查而应该是开发流程的一部分。每次迭代都从真实数据里挖出问题用标准化评估锚定改进方向这才是持续进步的方式。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】