Large Language Models‘ Internal Perception of Symbolic Music

文章主要内容和创新点主要内容本文研究了大型语言模型（LLMs）对符号音乐的隐式建模能力。研究通过文本提示（描述音乐类型和风格的组合）让LLM生成符号音乐数据（MIDI文件），并通过识别和生成任务评估其效用：数据集生成：使用GPT-4生成了包含13个音乐类型（源自TOP-MAGD分类法）和25个风格（源自MASD框架）的MIDI数据集（LLM-MIDI），共16,250个文件，每个文件包含旋律、和弦、低音和节奏4个轨道，基于文本提示直接生成，不依赖显式音乐训练或模板。实验任务：分类任务：用LLM-MIDI训练卷积神经网络（CNN），进行音乐类型和风格分类，并与基于人类创作数据训练的模型对比。旋律补全任务：用LLM-MIDI训练Transformer模型，完成旋律续写任务，评估其对旋律结构的学习能力。结果：LLM能从文本中推断基本的音乐结构和时间关系，生成的音乐数据可用于训练下游模型，且性能优于随机水平；但与基于人类创作数据的模型相比仍有显著差距，凸显了LLM在音乐领域的潜力与局限性。创新点首次系统探究纯文本训练LLM的符号音乐建模能力：不同于依赖音乐预训练或专门架构的现有研究，本文使用未经过音乐微调的单一LLM，直接从文本提示生成MIDI数据，聚焦其从文本中隐式获取音乐知识的能