Decoding Large Language Diffusion Models with Foreseeing Movement

文章总结与翻译一、主要内容本文聚焦大型语言扩散模型（LLDMs）的解码顺序优化问题。LLDMs具备并行推理和可控生成的优势，但解码顺序对推理性能高度敏感，现有启发式方法仅关注局部信息而忽略长期影响。为此，作者提出两种解码方法：预见解码方法（FDM）：融合局部置信度（模型对当前token预测的不确定性）和全局置信度（token解码对未来的影响），通过两阶段搜索策略（先按局部置信度筛选候选token，再结合全局置信度决策）优化解码顺序，理论上证明其与自然分布的KL散度更低。加速版预见解码方法（FDM-A）：基于解码过程中局部与全局置信度决策的一致性分析，将解码分为探索、平衡和加速三阶段，仅在关键步骤（上下文不足或边界场景）启用FDM，其余阶段通过局部置信度并行解码，平衡性能与效率。实验在GSM8K、HumanEval等4个基准数据集和4种LLDM架构上验证，FDM持续优于启发式基线，且搜索宽度越大性能越好（体现推理时缩放特性）；FDM-A在性能损失极小的情况下实现3倍以上加速，显著优于现有动态解码方法。二、创新点首次明确LLDMs解码的局部与全局置信度双维度，提出融合两者的解码框架，突破传统启发式方法仅依赖局部信息的局限。设计FDM的两阶段搜索策略，通过动态剪枝和Top-K筛选压缩搜索空间，兼顾优化效果与计算可行性，且理论证明其分布拟合优势。提出FDM-A的自适应阶段划分机制，基于置信度反馈动