Cross-Task Benchmarking and Evaluation of General-Purpose and Code-Specific Large Language Models

文章核心总结与创新点一、主要内容本文针对通用大型语言模型（LLMs）和代码专用LLMs，开展了跨任务基准测试与综合评估。研究选取5个通用LLM（如Llama系列、Vicuna-7B、Mistral-7B等）和3个代码专用LLM（如CodeLlama变体、StarCoder），在6类基准测试（涵盖语言能力、常识推理、数学推理、可信度）及CoNaLa代码解释数据集上进行全面对比。通过BLEU、ROUGE、CodeBERTScore等细粒度指标分析模型表现，重点探究了领域专用模型在跨领域任务中的泛化能力，最终为不同应用场景下的模型选择提供实证指导。二、创新点首次开展统一框架下的跨领域综合评估：整合语言、推理、可信度、代码解释等多维度基准，填补了此前通用与代码专用LLM跨领域对比研究的空白，实现了对模型能力的 holistic审视。揭示代码专用模型的跨领域优势：发现经结构化代码训练的模型（如CodeLlama-34B）不仅在代码任务中表现突出，在非编码任务（如数学推理、常识判断）中也能实现可量化的性能提升，验证了代码预训练对跨领域推理能力的正向迁移作用。提供细粒度的代码解释任务评估：基于CoNaLa数据集，结合词法（BLEU、ROUGE）和语义（CodeBERTScore）层面的多指标，系统对比两类模型的代码理解与自然语言转化能力。给出场景化模型选择指南：根据不同任务需求（如可信度优先、资源受