尖叫声音样本数据集eva：从包结构到训练基线的完整实践

简介EVA尖叫声音样本数据集是一份面向音乐信息检索MIR与音频分类研究的人声尖叫样本库由台湾清华大学MIR课程项目整理旨在为尖叫检测、异常声音识别、SVM分类等实验提供稀缺的领域数据。压缩包共63个文件以标注文本txt、特征与标注表csv、Python特征提取与基线SVM脚本py、可视化对比图png为主另含项目说明md与研究报告pdf整体仅4.83MB结构清晰、便于快速下载与复用。数据集从16首歌曲中切分得到565个尖叫样本附带完整的特征提取流程、SVM基线模型以及多组对比图能够直接复现实验并观察尖叫与正常语音的特征差异也适合作为后续深度学习或机器学习项目的起步数据。已有718人学习下载适合入门级至进阶级研究者用于教学演示、算法验证与声音分类基准测试。1. 尖叫的声音样本数据集先搞清楚它解决什么问题做异常声音检测的开发者十有八九都卡在同一个地方找遍公开语音集婴儿啼哭、尖叫声这类“高强度非言语发声”要么混在音乐里要么样本少得可怜要么录音干净得像在消声室。一个叫 eva 的尖叫的声音样本数据集就是把这类容易被通用语音集漏掉的发声单独收成一个包——尖叫、哭喊、呼救、倒吸气、爆发式大笑按事件边界切好、标好场景和信噪比目的是让做音频分类、语音情感识别、安防告警的人不用再从零攒数据。这篇按我处理尖叫样本集的习惯从包结构讲到训练基线把能直接复现的路径和踩过的坑一次说清。2. 尖叫样本集的包内构成字段怎么设计、边界怎么标、什么时候该用它2.1 一个可用的尖叫数据集包里至少该有什么拿到任何一个音频数据集我第一件事不是训练而是先盘目录。尖叫数据集和普通语音集最大的不同在于它的价值全在“事件边界”和“场景标注”上音频文件本身反而是次要的。一个组织良好的包通常至少包含这几块原始音频、按事件切好的切片、标注文件、官方划分、元数据说明。目录结构大致长这样eva/ ├── README.md # 版本说明、标签定义、采集环境 ├── raw_audio/ # 未切分的原始录音保留完整上下文 │ ├── indoor/ # 室内场景 │ ├── outdoor/ # 户外场景 │ └── vehicle/ # 车内场景 ├── samples/ # 按事件边界切好的 wav 切片 │ ├── scream/ # 尖叫 │ ├── cry/ # 哭喊 │ ├── shout/ # 呼救/喊叫 │ ├── gasp/ # 倒吸气 │ └── laughter/ # 爆发式大笑 ├── annotations/ │ ├── train.json │ ├── val.json │ └── test.json ├── metadata/ │ ├── scene_stats.csv # 每个样本的场景、信噪比、时长统计 │ └── source_manifest.json └── splits/ # 如果标注里没划分这里会有划分文件我一般会写一个审计脚本先扫一遍包检查文件能不能正常解码、标注路径是不是对得上、有没有切片和 raw 音频对不上的情况。这个脚本很简单但能省掉后续训练时一大半的玄学问题。import json import os from pathlib import Path import librosa root Path(eva) labels {scream, cry, shout, gasp, laughter} issues [] for split in [train, val, test]: ann_path root / annotations / f{split}.json if not ann_path.exists(): issues.append(f{split}.json missing) continue with open(ann_path, r) as f: anns json.load(f) for item in anns: sample_path root / item[audio_path] if not sample_path.exists(): issues.append(f{item[audio_path]} not found) continue # 检查时长是否过短或为空 try: duration librosa.get_duration(filenamestr(sample_path)) except Exception as e: issues.append(f{item[audio_path]} decode failed: {e}) continue if duration 0.3: issues.append(f{item[audio_path]} too short: {duration:.2f}s) if item[label] not in labels: issues.append(f{item[audio_path]} unknown label: {item[label]}) if issues: print(Issues found:) for msg in issues: print( -, msg) else: print(All checks passed)这段代码的逻辑很简单对每个划分文件里的每条标注依次检查文件存在性、能否正常解码、时长下限、标签是否在预定义集合内。先跑这个再谈训练不然你后面训出的模型出了奇怪指标都分不清是数据问题还是模型问题。参数上时长下限 0.3 秒不是随便定的——尖叫事件里有很多是极短的倒吸气短于 0.3 秒的样本要么是切错了要么是噪声对分类训练没有正向帮助。2.2 标签体系尖叫不只是“尖叫”很多人拿到尖叫数据集后会犯一个惯性错误把所有正样本都标成一个类然后做二分类。这样做不是不能用但会把模型的上限锁死。尖锐的人声发声声学结构差异很大婴儿啼哭和成年女性尖叫的基频范围、谐波分布完全不同呼救声往往有更长的元音稳定段倒吸气则是典型的瞬态噪声能量集中在很短时间内。如果标签只有“尖叫”一个值模型被迫把这几种差异极大的声学模式压到同一个表征空间里训练会变得很别扭收敛也慢。我建议在使用数据集之前把标注里已有的子类信息利用起来。一个成熟的尖叫样本数据集标注文件里通常会有这些字段{ audio_path: samples/scream/scream_0021.wav, split: train, label: scream, subtype: female_high, onset: 0.0, offset: 1.864, scene: indoor_bathroom, snr_db: 18.5, source_type: scripted_studio, annotator_id: A03, confidence: 0.98 }字段含义label是一级类别用于直接分类subtype是声学子类比如男性低吼式尖叫、女性高音尖叫、儿童啼哭onset和offset是关键——它们定义了尖叫事件的精确起止时间单位是秒scene说明录音环境snr_db是信噪比估计值source_type区分是真人实采还是影视素材剪辑这个字段容易被忽略但它决定了跨域泛化时的行为。confidence是标注者自己对标签可靠性的打分低置信度样本在训练时可以考虑降权。我用这个数据集的经验是第一版模型直接用一级标签训练建立基线第二版再加载subtype做多任务输出让模型同时预测大类和小类。多任务的好处是让模型在特征提取层被迫学更细致的声学结构而不是只学一个粗粒度的边界。实验做下来大类的 F1 通常会涨 2 到 4 个点尤其在高音尖叫和哭喊这种容易混淆的类别上改善明显。2.3 包里的使用边界什么时候该用它做扩充不是所有音频任务都应该往尖叫数据集里塞样本。这个包的价值集中在三个方向异常声音检测的正样本扩充、语音情感识别中的高唤醒类别覆盖、紧急呼叫语音的前置分类。如果你做的是安防场景下的异常发声告警这个包可以作为正样本来源配合环境噪声做合成如果你做的是语音情感识别尖叫集提供的高唤醒片段能补上常规情感语料里稀缺的“恐惧/惊骇”区间如果你做的是音频合成评估这里干净的尖叫样本可以作为参考素材。反过来三个不适合的场景说话人识别不要用尖叫样本高强度发声会严重扭曲说话人特征模型会把“叫喊方式”误当成“说话人身份”语音内容理解不要用尖叫段里几乎没有可转写的语言信息正常语音唤醒不要用除非你的产品本来就要响应尖叫。还有一个经常被忽视的问题——尖叫数据集里的source_type字段。如果包里的样本大量来自影视音频不要直接拿它做端到端训练而不做场景适配影视素材的麦克风摆位、后期压缩和真实设备采集差别很大先做信道增强或者混入真实噪声再训练。在使用边界上我的判断标准就一条这个样本的声学特征是否和你的部署场景匹配匹配度不够就先处理再进训练管线。3. 从数据集到训练集加载、清洗、切片与第一版基线3.1 加载与清洗把包变成干净的样本列表拿到包之后第一步要做的不是读标注而是把标注转成一个干净的训练清单。尖叫集和普通语音集有个很大的区别它的样本大量依赖切片边界而切片边界又是标注者手动打点的这就意味着一定存在边界松动、前后静音不齐、响度不统一的问题。我处理这类数据集的常见做法是写一个预处理管线统一完成重采样、响度归一化和坏样本过滤。import json import librosa import numpy as np import soundfile as sf from pathlib import Path SR 32000 TARGET_RMS_DB -20.0 MIN_DURATION 0.3 def normalize_audio(filepath, target_dbTARGET_RMS_DB): y, _ librosa.load(filepath, srSR, monoTrue) if len(y) int(SR * MIN_DURATION): return None rms np.sqrt(np.mean(y**2)) if rms 1e-6: return None gain 10 ** ((target_db - 20 * np.log10(rms)) / 20) y y * gain return np.clip(y, -1.0, 1.0) def build_clean_list(ann_file, out_dirprocessed): out_dir Path(out_dir) out_dir.mkdir(exist_okTrue) with open(ann_file, r) as f: anns json.load(f) clean_list [] for item in anns: src_path Path(item[audio_path]) y normalize_audio(src_path) if y is None: continue out_path out_dir / src_path.name sf.write(str(out_path), y, SR) clean_list.append({ audio_path: str(out_path), label: item[label], subtype: item.get(subtype, ), duration: len(y) / SR, }) return clean_list clean build_clean_list(eva/annotations/train.json) with open(eva/train_clean.json, w) as f: json.dump(clean, f, indent2)这段管线做了三件事统一采样率到 32 kHz、按 RMS 把响度拉到 -20 dBFS、过滤掉时长不足 0.3 秒的短样本。采样率 32 kHz 对尖叫声是够用的——人声尖叫的基频即便到 1.5 kHz 也远低于 16 kHz 的奈奎斯特频率而谐波能量主要集中在 12 kHz 以下不需要上到 48 kHz 浪费算力。响度归一化用 RMS 而不是峰值归一化是因为尖叫声的峰值非常尖锐用峰值归一化会把实际可感知的响度压得很低导致不同样本之间的主观响度差异反而更大。这一步做完后续的特征提取就不用再担心增益不一致的问题。3.2 切片与标签对齐别把前后静音学进去尖叫集的标注文件里通常有onset和offset但这两个字段的精度参差不齐。有的标注者习惯把静音也算进去有的只标到声音能量开始的那一刻。直接照抄边界去切模型会学到“前导静音”这种伪特征在真实场景的连续音频流上做滑窗推理时F1 会断崖式下跌。我一般会把切出来的片段再压缩一遍边界只保留能量显著的区域同时给前后各留 50 毫秒的缓冲。import librosa import numpy as np import soundfile as sf SR 32000 PRE_ROLL 0.05 POST_ROLL 0.05 ENERGY_THRESH 0.02 def trim_and_slice(filepath, onset, offset, out_path): y, _ librosa.load(filepath, srSR, monoTrue) start max(0, int((onset - PRE_ROLL) * SR)) end min(len(y), int((offset POST_ROLL) * SR)) seg y[start:end] # 能量包络用短时能量找真正的发声区间 frame_len int(0.02 * SR) hop int(0.01 * SR) energy np.array([ np.sqrt(np.mean(seg[i:iframe_len]**2)) for i in range(0, max(1, len(seg) - frame_len), hop) ]) active np.where(energy ENERGY_THRESH)[0] if len(active) 0: return False trim_start max(0, active[0] * hop - int(PRE_ROLL * SR)) trim_end min(len(seg), (active[-1] * hop frame_len) int(POST_ROLL * SR)) seg seg[trim_start:trim_end] sf.write(str(out_path), seg, SR) return True这段代码比直接按onset/offset切多了两步先算短时能量包络再把事件区间从能量显著的首尾处重新定位。ENERGY_THRESH取 0.02 是一个经验值对应的是归一化后音频中约 -34 dBFS 的能量底限。这个阈值对大多数室内录音是合适的但如果你发现切出来的片段仍然包含明显静音可以往上调到 0.05反之如果片段切得太紧、把尖叫的开头爆破音切掉了就往回调到 0.01。注意PRE_ROLL和POST_ROLL别给太大50 毫秒足够给模型一点上下文再多就会把邻接的其它声音收进来。3.3 特征与第一版基线log-mel加两层卷积样本准备干净之后第一版基线我建议别用太重的东西log-mel 特征加一个小型卷积网络就够了。尖叫信号的判别信息集中在时频结构上高频高能量、快速上升沿、窄带谐波。log-mel 刚好把这些信息保留到能让卷积核直接处理的形态。特征参数和网络结构固定下来之后后面换预训练模型做对比才有参照意义。import numpy as np import torch import torch.nn as nn import torchaudio SR 32000 N_MELS 64 N_FFT 1024 HOP 160 FMIN 80 FMAX 12000 class SmallCNN(nn.Module): def __init__(self, num_classes): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size(3, 3), padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d((2, 2)), nn.Conv2d(32, 64, kernel_size(3, 3), padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d((2, 2)), nn.Conv2d(64, 128, kernel_size(3, 3), padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.AdaptiveAvgPool2d((1, 1)), ) self.classifier nn.Linear(128, num_classes) def forward(self, x): x self.features(x) return self.classifier(x.flatten(1)) def compute_mel(waveform): if waveform.dim() 1: waveform waveform.unsqueeze(0) mel torchaudio.transforms.MelSpectrogram( sample_rateSR, n_fftN_FFT, hop_lengthHOP, n_melsN_MELS, f_minFMIN, f_maxFMAX, )(waveform) return (mel 1e-6).log().unsqueeze(1) model SmallCNN(num_classes5) dummy_mel compute_mel(torch.zeros(SR * 2)) print(input mel shape:, dummy_mel.shape) print(output logits:, model(dummy_mel).shape)特征参数上有几个不是默认值的设置值得说。HOP取 160对应 5 ms 步进比常用的 10 ms 更细因为尖叫的起始沿非常陡峭粗步进会把攻击段的时间结构糊掉模型区分“尖叫声”和“高频持续音”就会吃力。FMIN取 80 Hz 是标准设置意思是不关心 80 Hz 以下的低频噪声FMAX取 12000 是因为尖叫的谐波能量虽然能延伸到 16 kHz 以上但超过 12 kHz 的部分多为环境噪声和齿音对分类贡献低截掉反而能减少对录音设备的过拟合。网络只用三层卷积加全局平均池化参数量很小在普通 GPU 上几十秒就能跑完一个 epoch适合做快速迭代的基线。训练时建议用AdamW学习率 3e-4weight_decay设 1e-4batch size 3250 个 epoch 内就能看出数据集的整体质量。4. 尖叫样本集落地的常见陷阱五条踩坑排查记录4.1 事件边界标得不准模型把半句话当尖叫现象模型在验证集上 F1 高得好看但接到连续音频流上做滑窗推理时大量把正常说话片段触发成尖叫告警。逐条看预测结果发现被误判的片段几乎都停在“半句话”上。原因训练切片里混入了大量边界过宽的样本——标注者把说话声的起始沿也划进了尖叫事件网络学到的是“快速的语音起始段”这个错误模式而不是完整的尖叫声学结构。解决训练前必须做边界复核我一般会自动化的方式抽样看边界是否贴合声学起始。具体做法是加载切片后计算短时能量包络如果事件前 100 ms 和事件后 100 ms 的平均能量低于中段能量的 10%说明边界切宽了这类样本从训练集剔除或重新切。用 3.2 里的trim_and_slice重切一遍就能解决但注意有些标注本身就不符合能量特征分布这类样本直接删掉。4.2 歌手高音和假声被误标成尖叫模型在高音域翻车现象模型在在线演示中把一声拖长的女声高音——不是尖叫、只是唱歌——识别成了尖叫且置信度超过 0.9。查验证集发现这类高音段从未出现在训练数据里。原因数据集里虽然子类字段标了subtype但第一版训练时我只用了label字段模型没有机会学习“尖叫”与“持续高音歌唱”之间的边界。两者在频谱上都是高能量高频段区别在于尖叫的基频调制速度快、振幅扰动大歌唱则有更稳定的周期结构。解决把subtype引入训练改成多任务头主任务预测label辅助任务预测subtype辅助任务输出包含scream_female_high、scream_male_low、singing_falsetto、speech_emotional、other_high_pitch等。用辅助损失加权主任务损失乘 1.0辅助任务乘 0.3。多任务迫使特征提取层去学区分尖叫和类似声学的细分结构高音误报率在我自己的实验里降了约 60%。4.3 信噪比太干净的样本让模型学成“安静环境专精”现象切片单独播放时人耳听起来非常清晰但把它混入城市街道噪声后识别率从 0.85 掉到 0.4。模型对背景噪声极其敏感。原因数据集里source_type为scripted_studio的样本占比过高这类样本是在室内用近距离麦克风录的几乎不含混响和环境噪声。模型的底层特征已经默认了“背景是静音”一旦部署场景有风声、交通噪声、空调外机声特征分布整体偏移推理自然崩掉。解决训练时做动态混音增强每次迭代从外部噪声集中随机挑一段噪声按随机的信噪比从 -5 dB 到 20 dB 均匀采样混进干净样本。混完之后再按 3.1 里的 RMS 归一化做一次防止增益不一致。做这一步之后模型在真实户外录音上的表现会稳定很多。还要注意混音时不要用测试集同源的噪声否则等于做数据泄漏。4.4 重采样和响度归一化顺序反了增益泄漏到特征里现象切出来的样本同一个事件却有两个差别很大的 log-mel 热度图训练 loss 迟迟不降。查看样本级别发现一部分样本先做了响度归一化、后做了重采样另一部分顺序相反。原因顺序反了会导致两个问题——先重采样再归一化归一化增益会放大重采样引入的带外能量先归一化再重采样重采样的抗混叠滤波器会衰减已经提升的高频成分造成同一事件不同处理路径特征不一致。解决统一处理顺序为“先重采样 → 再响度归一化 → 最后切片”。一定不要分多个脚本异步处理同一个目录而是用单一入口的预处理函数串行跑完。如果代码库里已经有不同阶段处理过的中间文件全部删掉重跑没有后悔药。这一点可以在 3.1 的代码里看到我本就按这个顺序实现关键是要整条管线保持一致。4.5 标注噪声对评估的影响先复核再训练现象验证集指标跑到了 0.97但人为抽查验证集里被模型判错的样本发现好几个标注本身就是错的——scream和shout混标。模型对“错误标签”完全拟合指标虚高。原因手动标注高强度发声事件时不同标注者对“尖叫”和“喊叫”的边界定义不一致尤其在两段发声连续出现时标注者只标了其中一段另一段漏标。模型把“漏标”当成“负样本”学习等于人为制造了错误监督信号。解决在投入训练之前用 K 折交叉验证对标注一致性做一个快速检查每一折预测其余折把交叉验证中反复被预测成非标注类别的样本抽出来人工复核。如果复核出来的错误率超过 3%说明标注规范执行不到位先回炉修正标注文件。我有一个自己的习惯每次用尖叫数据集前都跑一遍这个检查比训练后去扒错误样本要省钱得多。5. 把标准尖叫模型救回来难样本池、增量扩展与验证习惯5.1 用难样本池把只会认标准尖叫的模型救回来第一版模型对标准尖叫很过敏但对远距离、低响度、严重混响的尖叫毫无反应。因为训练数据的snr_db大多集中在 15 dB 以上真实场景里 5 dB 到 10 dB 的尖叫事件才是常态。我会用难样本挖掘来解决拿第一版模型对未标注的新场景音频做全量推理把所有“预测为尖叫但置信度在 0.4 到 0.7 之间”的片段抽出来人工复核后进入难样本池。不用置信度低到 0.1 的那种大多真的是噪声。难样本池与全量训练样本按 1:4 的比例混合进训练集我实际做过一次远距离尖叫的召回率从 0.23 涨到了 0.54。注意难样本池每次迭代后要重新挖掘因为模型会学掉上一轮的难样本这个池子必须持续更新。5.2 从影视音频和直播素材里增量挖掘尖叫段数据集再怎么丰富也无法覆盖所有场景。我常用的增量方式是拿 VAD 或能量检测算法在影视音频和游戏直播录像上做预筛把疑似尖叫的高能量人声段切出来再丢给标注工具做二分类确认。这里有个教训预筛阈值不要设得太窄宁可多切出来一些疑似段也不要放过边界样本。有一次我把ENERGY_THRESH人为调高结果漏掉了一大批“压抑的、半吞半吐的尖叫”这类在安防场景里如果漏掉后果会很严重。多切出来的疑似样本人工复核成本并不高但能让训练数据的边界覆盖广得多。5.3 验证习惯每次新增数据先做 A/B结构 5.1 和 5.2 都绕不开一个流程每次往训练集里加新数据都要对旧版本做模型 A/B。我习惯固定一个 holdout 集里面包含标准尖叫、远距离尖叫、低信噪比尖叫、歌手高音干扰、环境噪声干扰五类场景每次迭代只允许一个变量变化——要么数据变了要么模型超参变了不要两个同时动。比较维度只看三个指标标准尖叫 F1 不得下降超过 1 个点远距离尖叫召回率必须上升高音干扰误报率不得上升。这三个维度互斥效果很明显凡是某一项涨了但其它项拖垮的改动我一律打回重来。尖叫样本集和普通语音集最大的不同就是它本质上是一个“少数类分类”资源任何只盯着平均指标不看长尾分布的优化最后都是自欺欺人。希望这一步的思路能帮你在自己的尖叫检测任务里少走一段弯路。本文还有配套的精品资源点击获取