FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models

该文章提出了FlexAC框架，旨在解决多模态大型语言模型（MLLMs）在事实准确性与创造力间的固有权衡问题，实现对关联推理强度的灵活控制，同时还引入了新基准并通过实验验证了框架有效性。一、文章主要内容研究背景MLLMs在不同任务中需不同程度的关联推理，但现有方法缺乏调节推理强度的灵活性，在事实类和创意类场景中适应性受限。例如，现有幻觉缓解技术虽提升准确性，却会抑制关联推理能力，导致创意任务表现不佳。受认知科学中发散思维与聚合思维启发，MLLMs需灵活调节关联推理强度以兼顾事实推理与创意生成。核心发现中间层是塑造模型关联倾向的关键，该层中事实性响应与幻觉性响应的表征可清晰区分。修改中间层表征能有效改变关联推理的强度与方向。幻觉性表征的方向可激发关联推理能力，可作为调节的控制信号。FlexAC框架离线控制向量构建阶段：先收集事实-幻觉响应对，提取中间层隐藏特征并计算差异以编码关联方向；再筛选关联偏移最大的Top-K样本对，平均差异得到可靠引导向量；最后结合GPT-4o生成的特定任务高关联样本，构建任务特定关联向量。推理时控制阶段：将通用关联向量与任务特定关联向量注入中间层特征，同时引入引导强度校准机制，根据当前表征与关联方向的对