多模态情感分析数据集实战解析：五大主流数据集与避坑指南

做多模态情感分析大家碰到的第一道坎大概率不是模型怎么搭而是数据从哪来。文本情感分类有 IMDB、Yelp语音情感有 Emo-DB纯视频表情有 FER 系列但一旦要求“文本 语音 画面”一起上整个数据生态就完全不一样了。多模态情感分析这个方向数据集的获取门槛、文件格式、标注方式、模态对齐规则都跟单模态差得很远新手上来直接踩坑几乎是必然的。这篇文章我就围绕自己实际用过的数据集把 5 个真正在论文里高频出现、也适合实战练手的数据集一次讲透。每个数据集我都会给出下载入口、核心参数、标注体系以及我在下载和预处理过程中遇到的真实问题。文章后面还会单独开一节讲避坑指南那些官方 README 里不会写的细节基本都在这一节里了。如果你正准备入门多模态情感分析或者已经在做相关实验但被数据处理折磨得不行这篇文章值得花几分钟读完。内容不绕弯子全部以实操视角来写。1. 先想清楚你要的数据集解决的是哪一类问题1.1 多模态情感分析和单模态到底差在哪很多刚接触这个方向的人会问一句话我直接用文本模型跑情感分类准确率已经不错了为什么非要多模态这个问题的答案本质上就是多模态数据集存在的意义。现实中人类的情绪表达从来不是单通道的。一个人说“我真服了”如果只看文本这可能是吐槽也可能是真心称赞语气和表情决定了一切。语音的韵律特征、面部的微表情、甚至肢体动作都在提供文本之外的互补信息。多模态情感分析要做的就是把这几个通道的信息融合起来让模型的理解更接近人类真实的感知。所以多模态情感分析数据集普遍有一个共同特征数据以“片段”为单位组织一个片段同时包含文本转写、音频波形、视频帧或视觉特征并且对每个片段标注情感极性或情绪类别。与单模态数据集相比它有几个很不一样的地方。一是体积大视频数据动辄几十 GB二是标注维度多既有多分类情绪标签又有回归值的情感强度三是模态之间需要对齐文本中每个词对应语音的哪一段时间、视觉的哪几帧这个时间对齐关系是训练模型时绕不开的问题。我在实际测试集中的体验是单模态方法在多模态数据集上的表现差异非常大。有些样本仅靠文本就能判断情绪但约有三到四成的样本文本是中性描述真正的情感信息藏在语音语调和面部表情里。这也解释了为什么这个方向的 benchmark 一直在推高——多模态信息真正帮到了模型理解。1.2 选数据集的五个硬指标判断一个多模态情感分析数据集好不好用、适不适合自己的任务我一般看五个硬指标。这五个指标比看论文里的 benchmark 数字更实用。第一个是模态覆盖是否完整。有些所谓“多模态”数据集实际上只提供了文本和音频视频部分因为版权原因不公开或者需要额外申请。做多模态融合实验之前先确认你需要的每个模态都能拿到原始数据或官方特征。第二个是标签体系是否符合你的任务。有的数据集标注的是情感极性比如 positive / negative有的数据集标注的是离散情绪类别比如 angry、happy、sad还有的是维度标注也就是 valence愉悦度、arousal唤醒度、dominance支配度上的连续分数。想做分类和想做回归选的数据集完全不同。第三个是规模与说话人分布。如果你要训练一个大模型样本量最好在上万级别如果做小规模验证或者模型调参几千个样本也够用。但要注意说话人是否与 train/dev/test 划分重叠这直接关系到评估结果是否可信。第四个是数据格式和处理成本。有些数据集官方提供的是脱敏后的特征文件比如 BERT embedding 加 openSMILE 声学特征体积小、上手快有些数据集只有原始音视频需要自己切分、对齐、提特征处理成本差一个数量级。新手入门建议从官方特征做起的先把流程跑通再考虑原始数据。第五个是下载与版权限制。不少数据集要求填写申请、签署学术使用协议还有些数据因为来自电视节目或 YouTube 视频存在版权问题下载链条比较脆弱。选数据集之前先评估一下自己能不能顺利拿到数据不然写到一半发现下载不下来会严重影响节奏。2. 五个实战数据集逐个拆解这一节是文章的核心我把五个数据集按“新手友好”到“进阶挑战”的顺序来写。每个数据集都会说明来源背景、数据规模、模态组成、标注形式、下载方式以及我实际使用中遇到的坑。2.1 CMU-MOSI最适合入门练手的标准 benchmorkCMU-MOSI 全称是 CMU Multimodal Opinion-level Sentiment Intensity Dataset由卡内基梅隆大学开源发布来源是众包平台上志愿者录制的电影评论视频。这个数据集在多模态情感分析领域基本属于“新手村”级别绝大多数经典论文都在它上面跑过结果你搜“MOSI sentiment”能找到大量可对比的 baseline。数据规模方面它包含 93 个说话视频总共被切分成 2199 个意见片段utterance。每个片段是对电影某一点的评价短则一两秒长则十几秒。标注是情感强度值范围从 -3 到 30 表示中性正负表示情感极性。做分类任务时一般改成二分类positive / negative也可以直接做回归预测。三个模态信息都比较完整文本是视频的语言转写转录文本音频从视频原声中提取视觉信息则是视频抽帧后的人脸特征。文本通常使用 GloVe word embedding 或 BERT embedding 来编码音频特征常用 openSMILE 工具提取视觉特征早期用 Facet 商业软件提取后来很多人改用 OpenFace。这里有一个小小的坑Facet 特征因为授权问题已不易获取新手做对比实验时直接用论文中开源的特征文件反而更省事。下载链接方面CMU-MOSI 的官方数据入口在卡内基梅隆大学多模态计算实验室的页面http://immortal.multicomp.cs.cmu.edu/raw_datasets/同时社区里广泛使用的加载方式是 CMU-MultimodalSDKGitHub 地址https://github.com/A2Zadeh/CMU-MultimodalSDK这个 SDK 是老工程依赖 Python 2.7后续版本也支持 Python 3但依然容易出环境问题。后面第三节我会专门讲更省心的读取方式。2.2 CMU-MOSEIMOSI 的强化版研究主力CMU-MOSEI 全称 CMU Multimodal Opinion Sentiment and Emotion Intensity Dataset可以看作是 MOSI 的“Pro 版”。它同样出自卡内基梅隆大学但数据规模和数据多样性都提升了一个量级。MOSEI 包含来自 1000 个说话人的 23453 个视频片段数据总量约为 MOSI 的十倍。所有视频片段都来自 YouTube 上不同主题、不同风格的用户视频场景噪声、口音差异、说话方式差异都更接近真实环境。标签系统比 MOSI 复杂不少每个样本既包含 -3 到 3 的情感强度值也包含 6 类情绪标签anger、disgust、fear、happiness、sadness、surprise的强度标注。也就是说同一个样本你既可以用它做情感极性回归也可以拿它做多标签情绪分类选择非常灵活。这也是我目前自己做实验最喜欢用的数据集。规模适中单卡也能跑类别分布相对均衡而且因为语音和视频都来自真实网络环境模型的泛化性能在它上面的表现更说明问题。很多论文里直接称它为 MOSEI你在 Hugging Face 上也能搜到别人整理好的版本。MOSEI 的下载入口同样在 CMU 的多模态数据页面http://immortal.multicomp.cs.cmu.edu/raw_datasets/它和 MOSI 一样支持通过 CMU-MultimodalSDK 访问。需要注意网站上的文件名中 MOSI 和 MOSEI 容易搞混下载时仔细核对文件名。我见过有人把 MOSEI 当成 MOSI 下载结果特征维度对不上白白浪费半天时间。2.3 IEMOCAP对话场景情绪识别的老牌标杆IEMOCAP 全称 Interactive Emotional Dyadic Motion Capture Database由南加州大学 SAIL 实验室发布。这个数据集的历史比较早但生命力极强直到现在依然是对话场景情绪识别方向引用量最高的数据集之一。IEMOCAP 录制的是两名演员之间的即兴对话和脚本对话一共 5 个 session每个 session 由一对不同的演员参与总计约 12 小时的音视频数据。整个数据集包含约 10039 个话语utterance每个话语都有对应的音频波形、视频画面、文本转写以及额外的面部动作捕捉数据。标注系统有两套一套是离散情绪类别包括 angry、happy、sad、neutral、frustrated、excited 等另一套是维度标注也就是 valence、arousal、dominance 的连续分数。这两套标注让 IEMOCAP 既能做情绪分类也能做维度预测。IEMOCAP 还有一个其他数据集很少见的特点——它包含双人对话的交互上下文。很多研究在 IEMOCAP 上做对话情感识别会利用前后多个语轮的信息来提升当前语轮的情绪预测这是它相比于 MOSI/MOSEI 这类单人评价视频的最大区别。下载方式需要走申请流程官方地址https://sail.usc.edu/iemocap/进入页面后填写使用申请说明你的单位和研究用途同意用户协议后官方会把下载链接发到邮箱。整个过程一般需要几天时间如果着急用建议提前申请。有一个实际的坑IEMOCAP 官方打包数据里部分 session 的音视频文件比较大解压后记得检查一下是否完整我遇到过上传或转存过程中文件损坏的情况。2.4 MELD多人对话下的情绪传播与追踪MELD 全称 Multimodal EmotionLines Dataset是 EmotionLines 数据集的升级版。它的数据来源很特殊——美剧《老友记》的对话片段。正因为是电视剧它比实验室录制数据多了一层天然优势对话人数更多、情绪表达更丰富、场景切换更频繁更接近真实的人机对话或多人交互场景。MELD 包含约 1433 段对话总 utterance 数量在 13000 个以上。每个 utterance 都配有视频画面、音频波形和文本三模态信息。情绪标注为 7 类anger、disgust、fear、joy、neutral、sadness、surprise。另外每个 utterance 还标注了整体情感极性positive、negative、neutral方便直接用情感三分类作为辅助任务。对我来说MELD 最有价值的地方是“对话中情绪的动态变化”。同一个人在连续几轮对话里从开心到愤怒再到平静这种情绪转移过程在静态数据集里是看不到的。做对话系统、情绪追踪相关研究时MELD 几乎是绕不开的选择。官方开源地址在 GitHubhttps://github.com/declare-lab/MELD仓库里提供了文本数据、音频特征、视频相关信息以及官方划分的 train / dev / test 文件列表。需要注意原始视频因为版权原因不能直接提供官方给出了视频下载和处理脚本你需要自行从对应平台获取原片并切割。这个过程比较繁琐我在第三节会详细说。2.5 D-Vlog面向真实短视频场景的新选择D-Vlog 是由新加坡科技设计大学和 Salesforce Research 合作推出的多模态情感分析数据集。它最大的特点是数据来源完全是 YouTube 上的个人 vlog包含约 100 个完整 vlog 视频总共被切分成 38273 个短视频片段每个片段都带有文本转写、音频和视频帧。这个数据集解决的是前几个数据集都没完全覆盖的问题——非专业场景、非固定视角、非规范语言下的真实情感表达。vlog 拍摄者面对镜头时姿态随意环境噪声大但情感表达反而更真实。对做短视频内容理解、自媒体情感分析这类应用来说D-Vlog 是极佳的测试场。标注系统包括三分类情感标签positive / negative / neutral和维度标签valence、arousal、dominance整体标注粒度较细。官方介绍和资源地址https://github.com/declare-lab/d-vlog下载 D-Vlog 需要填写申请表单官方会提供 YouTube 视频 ID 列表和标注文件视频本体需要你通过脚本自行下载。因为数据来自视频平台部分视频可能因为各种原因不可访问导致文件缺失这一点要做好心理准备。我当时下载时大约有百分之几的视频 ID 下载失败需要一个一个检查并过滤掉。这里顺便提一句如果做生理信号相关的多模态情感识别DEAP 数据集也值得了解。DEAP 提供的是脑电、呼吸、皮肤电等生理信号结合视频画面的情感标注与前面五个基于语言表达的语料侧重点不同。热搜词里经常能看到 DEAP 数据集下载如果你主攻脑机接口方向可以作为补充参考。3. 从下载到预处理一条完整的实战流程选出数据集只是开始后面的下载、解压、对齐、特征提取每一步都可能卡住。这一节我按自己实操的顺序把完整流程和容易出坑的环节写清楚。3.1 下载不能只看链接还要看分发方式不同数据集的下载方式差别很大。MOSI 和 MOSEI 走得是“直接下载”路线从 CMU 页面把压缩包拉下来就行。但压缩包是 HDF5 格式的.csd文件体积不算大适合直接读取。如果你的网络环境对国外服务器访问不稳定下载可能会失败或中断建议用支持断点续传的下载工具不要用浏览器直接下。IEMOCAP 走的是“申请制”路线。填表成功后官方会发来一个下载地址里面有多个分卷压缩包文件名按 Session 编号区分。需要注意的是这些压缩包解压后两级目录会有一堆.wav和.avi文件目录层级较深写代码遍历时一定要用递归方式。MELD 和 D-Vlog 的视频部分本质上都不是“官方直接分发”而是官方给 ID 列表、你自己去视频平台拉取。MELD 仓库里有处理脚本D-Vlog 官方文档里也提供了下载参考。这里有两个实际经验第一用脚本批量下载时要设置好请求间隔避免高频请求被平台限流第二下载后要核对文件数量与标注文件中视频 ID 是否一一对应缺文件的要单独记录下来后续训练时从数据列表中剔除。3.2 多模态对齐最容易翻车的一步数据拿到手后接下来面临的第一个世界级难题就是多模态对齐。所谓对齐就是要搞清楚同一个情感片段里文本中的每个词对应音频的哪段时间、视频的哪几帧这样模型才能在一个统一的时间轴上融合信息。以 MOSI 和 MOSEI 为例官方在 HDF5 文件中提供了 align 和 unalign 两种形态的数据。aligned 表示文本中每个单词的特征向量已经和音频、视觉特征做了时间戳对齐每个时间步的三种特征可以一一对应unaligned 则保留了原始时间戳各模态特征长度不一致需要模型自行处理。这也是多模态融合算法的一个重要研究点对齐操作本身是否需要学习得到不同论文的做法差异很大。如果你用的是官方 HDF5 文件直接按 aligned 版本进行实验会省很多事。如果你打算自己从原始音视频提特征那对齐工作就需要自己完成。大致的流程是先用语音识别工具对音频转写文本并获得每个词的时间戳再用视频抽帧工具逐帧提取视觉信息最后根据时间戳把三个模态的向量按时间轴拼接或对齐。这个过程里哪怕只有 0.1 秒的偏差最后的融合结果都可能产生明显变化所以一定要先评估你用的语音识别工具在目标数据上的时间戳准确性。IEMOCAP 和 MELD 在官方发布时已经做了相对规范的句子级切分每个 utterance 有自己的起止时间对齐难度比 MOSI 小。但 Dialogue 场景下还要额外注意上下文语轮的衔接比如前后两个 utterance 之间如果有停顿或重叠如何处理边界需要统一规则。3.3 特征提取与切分的通行方案如果你不想直接用官方特征而是希望自己从原始数据出发提取特征这里给一套目前多模态情感分析论文里比较通行的方案照着做不会错。文本模态推荐直接把文本转成 BERT 或 RoBERTa 的 embedding。简单起见可以对每个词取最后一层 hidden state 的均值也可以直接取[CLS]向量作为整句表示再按时间步展开融进序列模型。早期的 GloVe embedding 仍然能跑但和预训练语言模型的差距比较明显除非是为了复现老论文否则不推荐再用。音频模态最经典的工具是 openSMILE它可以直接从 wav 文件提取 MFCC、能量、基频、过零率等一系列底层声学特征。对显存充足的朋友也可以用 wav2vec 2.0 或 HuBERT 提取深层语音表征在很多任务上比手工声学特征表现更好。视觉模态常用的工具是 OpenFace可以提取面部动作单元Action Units、头部姿态、眼睛注视方向等特征。如果你对表情识别更感兴趣还可以用预训练的面部表情识别模型直接抽特征向量。注意提取视觉特征时视频帧率和人脸的检测质量会直接影响特征效果尤其是 D-Vlog 这类自由拍摄的视频人脸频繁出画、角度偏转都很正常要注意处理检测不到人脸的视频帧。切分规则上我建议严格遵循各数据集的官方划分训练集用来训练验证集用来调参测试集在最终评估时只碰一次。很多人为了多拿训练数据把验证集合进训练集这会让实验结果失去可信度审稿人一眼就能看出来。4. 高频踩坑记录与排查思路这一节我会把实际操作中反复遇到的坑集中整理出来。这些问题我在刚接触时都吃过亏每一条都对应一个真实的故事。4.1 下载不了、文件损坏、链接失效怎么办多模态数据集文件体积都不小下载中断或文件损坏是家常便饭。我的第一个建议是任何数据集下载完成后先核对官方提供的校验信息比如 MD5 或者文件大小不一致就重新下载不要抱有侥幸心理。有一次我用 MOSEI 跑实验结果指标一直异常低排查了很久发现是下载的文件不完整部分样本的特征值全为零白白浪费了三天。第二个建议是不要把自己卡死在“官方链接”上。很多数据集论文发表后作者会在 GitHub Issues 里回复下载问题社区也会有人上传预处理好的版本到 Hugging Face Datasets 等平台。搜索时可以用“数据集名 Hugging Face”或“数据集名 preprocessed”作为关键词很多时候能找到社区维护的镜像或转换好的格式大大降低上手成本。当然用社区版本时要注意版本差异标注范围和划分方式可能和原版不完全一样。遇到申请制数据集迟迟不回邮件的情况可以检查一下申请时填写的邮箱是否支持接收国外邮件有些邮箱会把这类邮件丢进垃圾箱我周围不少人都遇到过。4.2 标签不一致和说话人泄漏不同数据集对“情感”的定义方式差别非常大。MOSI 和 MOSEI 标注的是情感强度IEMOCAP 标注的是具体情绪类别加维度分数MELD 是 7 类离散情绪D-Vlog 又变成了三分类情感极性。如果你想搞一个统一模型在这些数据集上做多任务训练标签体系的转换是一件极容易出错的事。常见做法是把连续的情感强度值映射到离散类别比如把 -3 到 -0.1 映射为 negative0.1 到 3 映射为 positive忽略 0 附近的中性样本再和 MELD 的三分类对齐。但不同论文里这个映射阈值取法不一复现的时候要注意你参考的那篇论文到底用了哪条规则。说话人泄漏是另一个容易被忽视但影响巨大的问题。IEMOCAP 只有 10 个说话人如果同一个演员的片段同时出现在训练集和测试集模型完全可以“记住”这个人的声音特征而不是真正理解情感结果虚高得离谱。标准做法是按 session 切分用 Session 1 到 4 训练Session 5 测试且避免说话人出现在多个 split。有些论文为了扩大训练数据跳过这个规则其指标的可信度要打问号。自己设计实验时务必提前检查说话人 ID 在划分中的重叠情况。4.3 训练效果不理想时的排查顺序多模态模型跑出来的效果不理想先别急着换模型我建议按下面的顺序排查。第一确认是否读对数据文件。HDF5 文件里往往有多个键值比如对齐版本和未对齐版本还有不同标签字段。先打印一个 batch 的 shape 和数值范围确认特征值不是全零、标签没有错位。第二确认特征是否做了归一化。不同模态的特征取值范围差异非常大文本 embedding 一般在 -1 到 1 之间音频特征的 MFCC 可能是几十到几百视觉特征又是另一套尺度。不做归一化数量级大的模态会直接压过其他模态融合层根本学不到有效信息。我习惯对每个模态分别做 z-score 归一化效果稳定。第三确认融合策略与数据规模是否匹配。小规模数据集上直接上复杂 Transformer 融合器容易过拟合有时候简单的拼接加 MLP 反而表现得更好。可以先跑一个单模态 baseline 作为参考线再逐步加入其他模态看每个模态对性能的贡献到底有多少。这个方法也能帮你发现是不是某个模态的特征提取出了问题。第四确认评估指标和损失函数是否匹配。做情感强度回归用 L1 或 L2 损失做分类用交叉熵做多标签情绪识别用带 sigmoid 的 binary cross entropy这些细节很多人一开始会忽略。指标选错或损失函数不匹配实验结果基本没有参考价值。附五个数据集对比总览最后放一张速查表方便你根据自己的任务直接定位。数据集来源规模模态标注类型适合任务获取难度CMU-MOSI众包电影评论视频2199 片段文本、音频、视觉情感强度-3 到 3入门 benchmark、多模态分类/回归低CMU-MOSEIYouTube 视频评论23453 片段文本、音频、视觉情感强度 6类情绪多模态分类/回归、多标签低IEMOCAP实验室双人对话约 10039 话语文本、音频、视觉、动作捕捉情绪类别 维度标注对话情绪识别、多模态融合中需申请MELD《老友记》对话13000 utterance文本、音频、视觉7 类情绪 三分类情感多人对话、情绪动态分析中视频需自行处理D-VlogYouTube vlog38273 片段文本、音频、视觉三分类情感 维度标注短视频内容理解、真实场景中高视频需自行下载我在实际使用中还有一个很深的体会多模态情感分析这个方向真正拉开实验差距的往往不是模型结构而是数据处理的细致程度。很多论文里轻描淡写的一句“we use the official features”背后可能是半个月的踩坑和调试。尤其是模态对齐这一块多花一点时间把数据吃透后面训练模型会顺畅很多。希望这份清单和避坑记录能帮你少走一些弯路。