PromptMatic：通过多阶段提示优化提升大模型的指令遵循能力

PromptMatic：通过多阶段提示优化提升大模型的指令遵循能力论文arXiv原文：[https://arxiv.org/html/2609.09153v1]摘要提示工程的核心目标是构造能够引导大语言模型（LLM）可靠遵循复杂指令的提示词。现有的提示优化方法大多采用单阶段策略：直接对原始提示做重写、改写或搜索。这种单轮优化方式容易陷入局部最优，并且很难拆解复杂任务中多个子目标。本文提出PromptMatic，一套多阶段提示优化框架，把提示优化拆分为三个有序阶段：分解（Decompose）、精炼（Refine）、验证（Validate）。分解：将用户原始高级指令拆解为结构化子任务清单；精炼：基于子任务清单，生成详细的分步执行提示；验证：生成测试用例，检验提示词能否让模型输出满足原始需求。PromptMatic在优化过程中可以迭代回退：如果验证阶段发现提示词失效，会回到前面阶段重新修改子任务清单或者重写提示文本。在4个主流指令遵循基准数据集上开展实验：IFEval、MATH、GSM8K、BBH。PromptMatic相比直接使用原始提示、以及单阶段提示优化基线（AutoPrompt、DSPy、Metaprompt）获得显著提升。在IFEval（指令遵循评测集）上，相比基础模型基线提升+10.2%；相比最强单阶段提示优化基线提升+4.6%。消融实验证明：三个阶段缺一不可，验证阶段的测试用例生成是提升性能最关键的组件。PromptMatic仅通过提示优化，不需要微调模型权重，就能提升指令遵循能力。1 引言大语言模型在复杂指令任务上经常出现指令违背、忽略约束、遗漏子要求等问题。手工设计高质量提示词耗时、依赖经验，因此自动提示优化（Automatic Prompt Optimization, APO）成为研究热点。现有的自动提示优化方法大多属于单阶段范式：接收用户原始指令，直接改写/搜索得到更好的提示。这类方法存在两个短板：复杂指令包含多个约束、多条子要求，单轮改写容易丢失子目标，陷入局部最优；缺少独立验证环节，无法判断优化后的提示是否真的满足用户原始意图。人类编写提示词的思路通常是分步思考：先把大任务拆成子任务，再写分步指令，最后设计测试样例检查提示效果。PromptMatic借鉴这个思路，设计三阶段流水线，并且支持反馈回环：验证失败时，回溯到前面阶段重新优化。本文主要贡献提出PromptMatic多阶段提示优化框架：分解 → 精炼 → 验证，支持验证失败时回溯迭代；在4个基准上验证效果，在IFEval上大幅超越单阶段提示优化方法；开展消融实验，量化三个模块各自贡献，证明验证测试用例是性能增益核心来源；开源代码，提供完整脚本、评测配置，支持复现全部实验。2 相关工作2.1 自动提示优化 APOAutoPrompt、Metaprompt、OPRO、DSPy 等工作，使用模型自身搜索/改写提示词。DSPy通过编译提示、带反馈优化，属于单轮优化范式。这类方法大多直接对原始提示做变换，缺少显式任务分解与独立验证。PromptMatic与之最大区别：显式多阶段拆解 + 独立测试用例验证 + 可回溯迭代。2.2 指令遵循与提示分解已有研究证明，将复杂指令拆成子步骤可以提升模型执行效果，但大多是模型在推理时做任务分解，而不是优化提示词本身。PromptMatic在提示词侧提前分解任务结构，并且用测试用例校验提示质量。2.3 LLM测试用例生成利用LLM生成输入输出样例来校验提示有效性，之前多用于评估模型能力。PromptMatic将其嵌入提示优化闭环，用来指导提示词迭代改进。3 PromptMatic 方法整体流水线：原始用户指令 →【分解Decompose】→ 结构化子任务列表 →【精炼Refine】→ 优化后的分步提示 →【验证Validate】→ 生成测试样例，评估提示有效性如果验证失败 → 回溯，重新执行分解或精炼；循环直到满足终止条件，或达到最大迭代次数。3.1 阶段1：Decompose 任务分解输入：用户原始自然语言指令I II输出：结构化子任务清单S = [ s 1 , s 2 , . . . , s k ] S = [s_1, s_2, ..., s_k]S=[s1​,s