RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning

文章核心总结与翻译一、主要内容该研究针对大型语言模型（LLMs）的机器学习遗忘问题，提出了一种名为RapidUn的高效遗忘框架。核心目标是在保留模型通用知识的前提下，选择性地消除特定训练数据（如敏感信息、恶意内容）的影响，以满足隐私法规（如“被遗忘权”）和安全部署需求。关键背景与挑战现有LLM遗忘方法存在缺陷：全量重训练计算成本极高，而梯度上升、Fisher矩阵校正等近似方法缺乏针对性，对遗忘样本处理均匀化，导致遗忘不彻底或损害模型正常性能，尤其在遗忘集小且不平衡时问题突出。核心挑战包括：监督信号稀疏且嘈杂、优化不稳定、需兼顾效率与可解释性。框架核心设计RapidUn采用基于影响力驱动的参数高效遗忘策略，分为三个阶段：快速影响力估计：通过RapidIn模块计算token级梯度交互，量化遗忘集与保留集样本间的四向影响力（遗忘→遗忘、遗忘→保留、保留→遗忘、保留→保留）。方向融合：将四向影响力聚合为可解释的样本级分数，区分有害模式与有用知识的贡献。自适应权重映射：将影响力分数转换为有界权重，指导LoRA适配器的梯度更新（遗忘集梯度上升、保留集梯度下降），实现精准遗忘与知识保留的平衡。实验结果在Llama-3-8