Enhancing Japanese Large Language Models with Reasoning Vectors

文章主要内容本文聚焦于日语大语言模型（LLMs）推理能力提升的挑战与解决方案。由于日语在公共数据集、专家标注资源及大规模评估模型上的局限性，主流LLMs依赖的后训练技术（如监督微调SFT、强化学习RL）难以直接应用。为此，研究团队提出“推理向量（reasoning vectors）”方法：通过计算预训练模型与后训练推理模型的权重差异，提取推理向量，再将其注入日语目标模型，无需额外训练即可增强其推理能力。实验中，以Qwen-32B为预训练模型、s1-32B为后训练推理模型，将提取的推理向量应用于日语模型EZO，在AIME24（美国数学邀请赛，含英日双语版本）数据集上测试，结果显示注入推理向量后，日语模型性能随向量权重（w）增加持续提升，甚至超过原后训练推理模型，验证了该方法的有效性。创新点提出推理向量方法：受“任务向量（task vectors）”启发，通过权重差异提取推理能力的“向量表示”，实现跨模型的推理能力迁移，无需对目标模型进行额外训练或数据标注。解决低资源语言模型瓶颈：针对日语等资源有限的语言，避免了对大规模标注数据或专家资源的依赖，为低资源语言LLMs的性能提升提供了高效路径。验证有效性：实验证明推理向量可显著提升日语模型的推理性能，甚至超越原推理模型，为其他低资源语言的LLM优化提供了借鉴。翻译部分摘要后训练方法已提升了主流