开放评估智能体：面向视觉生成模型的高效可自定义评估方案

开放评估智能体面向视觉生成模型的高效可自定义评估方案论文原链接https://arxiv.org/html/2608.09666v1摘要图像、视频扩散生成模型的效果持续提升但现有评测方案存在严重缺陷传统基准需要采样数千份视觉样本扩散模型采样迭代成本极高评测流程固化无法适配用户个性化评估需求仅输出单一分数、缺少可解释分析。人类仅通过少量样本即可快速判断生成模型优劣本文以此为灵感提出评估智能体Evaluation Agent框架采用类人动态多轮评测逻辑每轮仅少量采样同时输出贴合用户需求的详细分析。给定自然语言评估指令智能体自动拆解评估维度、生成定向评测提示词、采样图像/视频、调用对应评测工具并基于观测证据迭代更新评测方案形成工具驱动闭环。该框架同时支持标准基准维度评测与开放式自定义需求无需固定提示词集或手工设计指标具备四大核心优势极致高效评测耗时仅为传统方案10%指令可定制自然语言开放式用户需求适配强可解释性输出文本化深度分析不止单一数值高可扩展兼容各类视觉生成模型与评测工具。为降低对商用API大模型的依赖本文构建EA-CoT-10K数据集基于多轮评测轨迹构建带历史上下文、分步级的指令微调样本以Qwen2.5-3B-Instruct为底座通过LLaMA-Factory全参数微调得到轻量化本地规划骨干模型EA-3B整套本地方案命名为Open-EA。EA-3B完整复刻API版智能体的结构化推理、工具调用、观测分析与总结流程具备跨生成模型家族泛化能力。实验在主流文生图T2I、文生视频T2V基准与自建开放式用户查询数据集完成验证API版智能体评测精度对标完整基准流水线采样量大幅降低Open-EA在域内/域外视频生成模型上均实现有效评估。本文完整开源代码、数据集与模型权重。关键词模型评测、自主智能体、视觉生成1 引言1.1 视觉生成评测现存痛点扩散模型与互联网规模数据集推动图像、视频生成能力飞跃但标准化评测存在三大核心短板计算成本极高VBench、T2I-CompBench等基准预定义上万测试样本扩散模型迭代采样耗时极长流程刚性固化评测维度、提示词固定无法响应用户自定义、细分场景评估需求结果可读性差仅输出FID、FVD等标量分数无分层、细粒度模型优劣分析。与之对比人工评测具备三大优势速度快少量样本即可判断性能、灵活性强按需评估真实感、提示词遵循、创意等自定义维度、动态深度探索根据初步结果调整测试方向。1.2 本文核心方案评估智能体Evaluation Agent模拟人工交互式评测逻辑设计多轮迭代智能体评测闭环核心四大特性高效动态路径规划基于中间观测跳过冗余测试聚焦模型缺陷自然语言驱动定制评测无需固定指标接收任意开放式用户评估需求可解释文本化结论面向专业/非专业人员输出完整推理过程与分层分析模块化可扩展新增评测指标、视觉生成模型仅需接入工具包无需重构流程。智能体完整链路接收用户评估指令→拆解子评估维度→生成定向测试提示词→采样视觉样本→调用评测工具→汇总观测结果→动态调整下一轮测试方向→证据充足后输出完整评测报告。衍生落地场景多模型横向对比按自定义维度对比多款生成模型优劣模型推荐基于用户业务需求筛选最优生成模型。1.3 轻量化本地方案Open-EA商用大模型API存在调用成本、隐私限制因此本文将智能体评测行为蒸馏至开源小模型采集完整多轮评测轨迹构建带历史上下文的分步微调数据集EA-CoT-10K基于Qwen2.5-3B-Instruct微调得到本地规划骨干EA-3B本地Open-EA完整复用API智能体的推理、工具调用、报告生成协议脱离第三方大模型API。1.4 本文五大核心贡献提出类人动态评估智能体框架Evaluation Agent解决传统基准低效、刚性问题全部代码开源发布首个面向视觉生成评测的分步推理数据集EA-CoT-10K含10042条文生视频分步微调样本、986条配套文生图样本完整留存商用大模型评测决策逻辑开源轻量化本地评测骨干EA-3B3B参数量支持域内、域外视频生成模型跨家族迁移评测消除商用API依赖在VBench、T2I-CompBench完成大规模验证评测精度持平完整基准采样量、耗时降低90%以上自建100条开放式用户查询数据集验证自定义评估能力系统对比传统基准、人工评测、智能体评测三者的行为差异为视觉生成评测领域提供系统性研究基础。2 相关工作2.1 视觉生成与标准化评测视觉生成无唯一标准答案评测难度远高于图像分类等感知任务全局统计指标FID图像、FVD视频计算生成分布与真实数据集距离仅全局统计、无细粒度能力诊断多维度专用基准T2I-CompBench文生图组合能力、VBench/EvalCrafter文生视频时序、一致性、美学全部采用固定测试集与流水线无法动态调整测试策略现有方案均静态执行全部预设样本无法按需聚焦用户关心的缺陷维度。2.2 大模型作为评测法官LLM-as-JudgeLLM凭借推理能力用于自动化打分但现有方案局限明显仅对已存在的生成样本打分不会主动设计测试用例、采集新证据缺少领域专属评测规划策略通用打分提示难以适配图像/视频生成细粒度缺陷最新综述指出动态考官式、工具增强评测智能体是未来主流发展方向。2.3 智能体驱动评测Agentic Evaluation近年将评测器封装为自主智能体实现目标拆解、证据采集、状态校验通用领域Agent-as-a-Judge、Task Elicitation、One-Eval等面向代码、网页、大模型安全评测视觉生成细分方案CIGEval、EdiVal-Agent、VideoGen-Eval、VideoArgus仅针对单张样本或固定任务做局部校验本文与上述工作核心区别将生成模型本身作为评测对象从开放式用户需求出发循环设计提示词、采样新样本、调用多类工具、动态终止测试流程完整实现模型级全局诊断。补充元评测研究AgentRewardBench、AJ-Bench验证LLM法官存在可靠性缺陷因此本文全程留存完整可追溯评测轨迹避免单一模型判断作为绝对真值。2.4 智能体规划与推理范式CoT、ReAct、ToT等推理框架通过「思考-行动-观测」循环实现复杂任务ToolLLM、Gorilla等实现工具调用能力本文将该范式落地于视觉生成评测每一步行动对应图像/视频采样或VQA视觉校验基于观测反馈迭代规划下一轮测试。3 方法3.1 前置定义视觉生成模型评测数学建模测试条件集合CCC包含文本提示、输入图、类别标签等测试用例传统基准CCC为预定义数千条固定集合本文框架CCC由智能体动态生成规模仅数百生成过程vjG(cj)v_jG(c_j)vj​G(cj​)GGG为待评测视觉生成模型输入条件cjc_jcj​输出图像/视频样本vjv_jvj​批量生成KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲VG(C)\)传统静态评测流水线固定评测函数eke_kek​批量处理全部样本yjek(vj,cj)y_je_k(v_j,c_j)yj​ek​(vj​,cj​)全部预设维度强制执行本文动态范式评测工具eke_kek​在每一轮由智能体动态选择仅执行与当前待验证维度相关的校验无冗余计算。3.2 评估智能体整体框架框架分为两大模块多轮推理执行流水线API版智能体、本地模型训练流水线Open-EA。完整执行循环分为提案阶段、执行阶段两轮阶段循环迭代直至证据充足输出报告。3.2.1 提案阶段Proposal Stage包含双智能体协同工作Plan Agent规划智能体、PromptGen Agent提示词生成智能体。Plan Agent核心决策模块接收原始用户评估需求结合历史观测拆解子评估维度每轮明确本轮待验证子维度、选择配套评测工具输出完整推理理由循环终止判断判断现有样本证据是否足够支撑完整结论区分两类场景标准基准评测直接调用对应工具开放式需求转换为VQA视觉问答校验方案。PromptGen Agent测试用例生成模块根据Plan Agent输出的子维度生成针对性测试提示词标准基准场景复用官方基准原始提示词保证结果可对标开放式自定义场景同步生成生成提示词配套VQA校验问题将视觉缺陷转换为文本观测证据。3.2.2 执行阶段Execution Stage三大组件协同完成采样与校验视觉生成模型输入PromptGen输出的提示词批量生成图像/视频样本评测工具包模块化可扩展内置工具VBench时序一致性、T2I-CompBench组合绑定专用指标开放式通用工具VLM驱动VQA视觉问答覆盖无专用指标的自定义评估维度输出结构化观测结果回传给Plan Agent更新规划观测回传所有样本、工具打分、VQA文本结论统一汇总作为下一轮规划输入。3.2.3 完整循环流程单轮闭环提案拆解维度生成提示→采样生成视觉样本→评测调用工具获取观测→观测更新历史证据库循环逻辑广度拓展新增未覆盖的评估维度深度挖掘针对当前暴露缺陷生成更复杂、边界测试用例达到最大轮次/证据充分后停止循环并生成完整综合评测报告。3.3 EA-CoT数据集构建与Open-EA本地模型训练3.3.1 EA-CoT数据集构建方案采集完整多轮API智能体评测轨迹拆解为带历史上下文、分步级指令微调样本使用推理、tool工具调用、information观测、summary总结标签结构化标注。两阶段数据过滤提升训练监督可靠性第一阶段分数过滤剔除提示与生成图像严重不匹配、综合分数极低的噪声轨迹第二阶段多模态大模型校验验证智能体推理结论与视觉样本真实内容一致剔除存在幻觉、无视明显缺陷的低质量轨迹数据集规模与构成T2V核心集训练EA-3B10042条样本7494条工具决策样本、2548条总结样本覆盖VBench全部15项评测工具T2I配套集不参与EA-3B训练986条样本739条工具决策、247条总结覆盖T2I-CompBench4项组合指标格式Alpaca标准包含指令、上下文输入、输出、系统提示、历史对话字段。3.3.2 EA-3B模型完整训练参数基于LLaMA-Factory底座模型Qwen2.5-3B-Instruct微调方式全参数监督微调训练数据集仅使用10042条T2V EA-CoT核心样本训练轮次3 epoch最大序列长度4096等效批次大小64基础学习率1×10−51\times10^{-5}1×10−5学习率调度余弦衰减预热比例0.1训练目标复现完整评测协议、结构化推理、工具调用、证据汇总、终止总结全套流程脱离商用API实现本地部署。4 实验4.1 现有标准基准对比实验API版智能体GPT-4o骨干4.1.1 实验配置待评测生成模型文生视频T2VLatte-1、ModelScope、VideoCrafter-0.9、VideoCrafter-2文生图T2ISD1.4、SD2.1、SDXL、SD3.0对标基准T2VVBench15项细粒度维度T2IT2I-CompBench4项组合绑定维度打分对齐方案基准原始分数划分为5档极高/高/中等/低/极低智能体预测档位与基准对比精度分两类统计完全匹配档位Exact、误差±1档Within-1。4.1.2 评测成本对比表IV原始数据汇总任务模型完整基准总耗时/采样数单维度基准平均成本智能体单维度成本VBench视频Latte-12557 min / 4355170 min / 29015 min / 25VBench视频ModelScope1160 min / 435577 min / 2906 min / 23VBench视频VideoCrafter-0.91459 min / 435597 min / 2909 min / 24VBench视频VideoCrafter-24261 min / 4355284 min / 29024 min / 23T2I-CompBench图像SD1.4563 min / 12000141 min / 30005 min / 26T2I-CompBench图像SD2.1782 min / 12000196 min / 30006 min / 26T2I-CompBench图像SDXL1543 min / 12000386 min / 30008 min / 26T2I-CompBench图像SD3.01410 min / 12000353 min / 30007 min / 25核心结论智能体采样量、耗时降低90%以上仅需23~26份样本即可完成单维度对标完整基准的评估。4.1.3 档位预测精度VBench视频维度多数维度±1档准确率可达70%~100%仅人物动作、物体类别、空间关系细粒度语义维度误差更高T2I-CompBench图像组合维度SD2.1、SDXL完全匹配档位精度可达100%全部模型±1档准确率超90%4.1.4 消融实验提示词采样量影响默认每轮3~9条提示扩充至30条提示后Latte-1Exact精度25%→27.5%Within-1 42.5%→65%ModelScopeExact精度7.5%→20%Within-1 52.5%→60%结论增加样本主要稳定档位区间边界处精确匹配提升有限。4.1.5 骨干大模型鲁棒性验证替换GPT-4o为Claude-3.5-SonnetVBenchGPT-4o 44.8%/81.3%Claude 41.5%/77.2%T2I-CompBenchGPT-4o 53.8%/96.3%Claude 54.4%/100%动态评测循环不绑定单一商用大模型具备骨干兼容性。4.2 Open-EA本地EA-3B定量评测4.2.1 评测模型划分域内模型训练轨迹包含Latte-1、ModelScope、VideoCrafter-0.9、VideoCrafter-2域外泛化模型训练无数据Show-1、CogVideoX-2B、CogVideoX-5B4.2.2 泛化性能指标域内平均Exact 41.3%Within-1 77.3%域外平均Exact 31.1%Within-1 64.9%结论粗粒度模型能力区间具备跨家族迁移能力精确档位校准泛化较弱。4.2.3 各维度难度分层高可靠维度Within-190%全局时序风格、整体一致性低可靠维度Within-150%物体类别、人物动作、精细空间关系原因全局时序质量可通过全视频观测验证细粒度语义依赖少量样本统计极易受提示词覆盖度、档位阈值干扰。4.2.4 Open-EA完整流水线耗时不含规划模型单独延迟模型有效运行次数单轮中位耗时单轮平均耗时Latte-1域内1487.87 min9.23 minModelScope域内1471.86 min2.41 minShow-1域外117144.35 min176.64 minCogVideoX-2B域外15520.29 min23.89 minCogVideoX-5B域外14952.42 min57.02 min耗时差异主要来自视频生成模型本身采样速度EA-3B规划推理开销占比极低。4.3 开放式用户查询评测实验API版智能体4.3.1 自建评测数据集100条人工标注开放式用户评估指令三大标签维度能力标签提示词遵循、视觉画质、创意、知识准确性范围标签60条通用需求、40条行业专属建筑、医疗、游戏、时尚、影视等领域标签法律、教育、设计、文创等细分场景。用户调研佐证67.44%使用者优先关注模型自定义场景表现固定基准易造成模型针对性刷分评估失真。4.3.2 开放式评测核心方案VLM-VQA校验链路PromptGen同步生成两类文本生成提示词、针对性视觉问答VLM输入图像问题输出文本观测Plan Agent基于多轮VQA文本证据动态拓展测试场景、提升提示复杂度4.3.3 完整案例展示查询示例「模型对物体空间关系的还原精度如何」智能体分层测试逻辑第一轮简单双物体空间位置第二轮三物体复杂空间堆叠第三轮非常规、创意性物体组合汇总VQA观测结论模型可稳定处理简单/中等复杂度空间关系精细、非常规约束下缺陷明显完整输出分层可解释报告。5 深度讨论5.1 动态多轮评测对比传统静态基准优势分层递进测试从简单到复杂精准定位模型边界缺陷规避固定提示词过拟合刷分自动跳过无关维度大幅减少冗余采样局限依赖智能体规划推理能力细粒度语义维度采样量不足时精度下降。5.2 开放式评测工具体系优劣专用基准指标VBench/T2I-CompBench精度高但覆盖场景固定VLM-VQA通用方案全场景适配但上限受多模态模型能力约束未来方向混合工具栈自动按需切换专用指标与VQA视觉问答。5.3 智能体可靠性与异常处理风险不合理工具选择、重复测试、无限循环、提前终止防护机制强制每一步输出显式推理思考终止必须提供证据依据设置最大循环轮次硬上限完整评测轨迹可追溯审计避免单一LLM主观判断作为真值。5.4 拓展落地应用多模型横向对比同一自定义维度下批量对比多款生成模型强弱AI模型推荐系统积累多模型评测数据库基于用户业务需求自动匹配最优生成模型。6 结论本文提出Evaluation Agent动态可自定义视觉生成评测框架突破传统基准固定流水线、高采样成本、无解释性三大痛点。基于多轮评测轨迹蒸馏得到本地轻量化Open-EAEA-3BEA-CoT-10K数据集摆脱商用大模型API依赖。大量实验证明API版智能体评测精度对标完整标准基准计算开销降低90%Open-EA本地方案具备跨生成模型家族泛化能力可离线完成T2V全维度评测VQA驱动链路完美适配自然语言开放式用户评估需求覆盖行业细分场景。所有代码、EA-CoT数据集、EA-3B模型权重开源https://github.com/Vchitect/Evaluation-Agent为视觉生成领域高效、灵活自动化评测提供全新范式。7 致谢本研究由新加坡教育部MOE AcRF Tier 2项目、新加坡RIE2020产业对齐基金支持同时获得合作企业现金与算力资源资助。附录完整资源复现脚本说明1 环境部署# 克隆开源仓库gitclone https://github.com/Vchitect/Evaluation-Agent.gitcdEvaluation-Agent# 安装依赖pipinstall-rrequirements.txt# LLaMA-Factory微调环境训练EA-3B专用gitclone https://github.com/hiyouga/LLaMA-Factory.gitcdLLaMA-Factory pipinstall-e.2 EA-CoT数据集下载仓库data目录提供下载脚本bashscripts/download_eacot.sh自动拉取EA-CoT-10K T2V核心集、T2I配套集Alpaca格式可直接用于微调。3 EA-3B训练启动脚本LLaMA-Factoryllamafactory-cli train\--model_name_or_pathQwen/Qwen2.5-3B-Instruct\--dataseteacot_t2v_10k\--finetuning_typefull\--learning_rate1e-5\--num_train_epochs3\--cutoff_len4096\--lr_schedulercosine\--warmup_ratio0.1\--per_device_train_batch_size16\--gradient_accumulation_steps44 API版Evaluation Agent评测启动# 标准VBench基准评测python run_api_agent.py--benchmarkvbench--model_pathlatte-1# 开放式自定义用户查询评测python run_api_agent.py--custom_query评估模型建筑透视与细节生成能力--vlm_backendgpt-4o5 本地Open-EA离线评测EA-3Bpython run_open_ea.py--ea_model./checkpoints/ea-3b-final--target_modelcogvideox-5b