The Impact of Fine-tuning Large Language Models on Automated Program Repair

文章主要内容总结该研究实证探究了不同微调技术对用于自动程序修复（APR）的大语言模型（LLMs）性能的影响。研究选取了6个基于代码预训练的先进LLMs（CodeGen、CodeT5、StarCoder、DeepSeekCoder、Bloom、CodeLlama2），在QuixBugs、Defects4J和HumanEval-Java三个主流APR基准上进行评估，对比了“不微调”“全量微调”和“参数高效微调（PEFT，包括LoRA和IA3）”三种训练方案的效果。研究发现：全量微调因数据分布差异和过拟合问题，会降低部分模型在基准测试中的性能；而参数高效微调通过限制可训练参数数量，能取得更优结果。此外，研究还分析了LoRA超参数对模型性能的影响，建立了预训练LLMs在APR任务上的性能基线，并提供了完整的实验复现包。创新点系统对比不同微调策略：首次在APR任务中系统比较“不微调”“全量微调”和“参数高效微调”三种方案，覆盖6个主流代码LLMs和3个基准数据集，揭示了不同微调技术的优劣。探索PEFT在APR中的潜力：深入分析LoRA和IA3两种参数高效微调技术的效果，发现其在减少计算成本的同时能提升修复性能，尤其LoRA表现更优。分析LoRA超参数影响：系统调整LoRA的秩（rank）和缩放因子（scaling factor），发现其对模型性能影响较小，为实际应用中参数设置提供参考。建立基线与复现资源：提供了预训练LLMs在A