基于PYNQ-Z2的声源定位系统：FPGA采样与GCC-PHAT算法实战

简介针对嵌入式与FPGA方向的学习者基于PYNQ-Z2开发板的声源定位系统项目包提供了从底层FFT算法到上层界面显示的完整工程实现。项目共164个文件、约11.27MB以C源码、头文件及CMake构建脚本为主辅以演示图片和可执行程序核心模块涵盖FFT频谱分析、声源定位解算、样条插值与主控流程调度可完整查看数据从采集到定位输出的处理链路。项目为作者经导师指导完成的高分方案评审分98分目录结构清晰包含构建过程所需的各种辅助文件适合计算机、电子类专业作为课程设计或期末大作业参考。目前已有340余人学习下载如需快速上手声源定位、麦克风阵列信号处理或PYNQ软硬件协同开发可直接对照核心代码与整体框架进行二次修改与调试。1. 拿到这份基于PYNQ-Z2的声源定位代码你先要知道它能干什么一块PYNQ-Z2开发板摆在桌上想让它听出声音从哪个方向来这就是“基于PYNQ-Z2的声源定位系统”这套源码在做的事。它不是一个单纯点灯级的demo而是一套从麦克风硬件接入、FPGA采样、Python算法到可视化显示的完整闭环跑通之后你能在浏览器里看到声源实时方位角也能把整个过程整理成课设或毕设的答辩素材。对想入门PYNQ-Z2和麦克风阵列的工程师来说它最大的价值是把“声源定位”这个听起来很信号处理的方向拆成一个个能在板卡上验证的步骤。拿到源码如果只是想复制粘贴跑一下反而浪费了它你需要理解FPGA与ARM各自该干什么再决定怎么改、怎么调、怎么给自己加功能。2. 声源定位系统的架构分工与算法选型PL采样、PS算角、GCC-PHAT打底PYNQ-Z2和普通单片机最大的区别是它开机之后就是一个带 Linux 系统和 Python 运行时的小主机同时底下还有一块可编程逻辑。很多第一次接触它的人会问声源定位这种“算角度”的活到底应该在 Python 里做还是在 FPGA 里做答案是两边都做只是做的部分不一样。这套系统的常见架构是PL可编程逻辑负责和麦克风打交道把 PDM 比特流变成规整的 PCM 数据再通过 DMA 送进内存PSARM 处理器上的 Python 负责读数据、跑时延估计算法、算角度、画界面。这样划分不是炫技而是因为实时采集和数值计算对平台的要求完全不同硬把它们放在一起只会两头都做不好。2.1 PL与PS的分工为什么采样必须交给FPGAPDM 麦克风输出的是 1bit 密度流也就是用“单位时间内脉冲数量的多少”来表示模拟信号幅度。要还原声音必须用固定时钟不停地采样、累加、抽取。如果让 ARM 用 GPIO 去轮询这种比特流GPIO 翻转时间不稳定倒是小事最致命的是 Linux 的进程调度、中断响应会让采样间隔产生抖动。这种抖动在听感上只是一点底噪但在声源定位里是灾难。时延估计需要微秒量级的时间对齐毫秒级抖动会让计算结果完全不可信。所以 PL 端的固定职责通常是产生 PDM 时钟、读取 PDM 数据、做积分和抽取滤波、把双通道数据按帧对齐、再用 DMA 一次性搬到 DDR 内存。而 PS 端只做它擅长的事跑 GCC-PHAT、换算角度、做界面和交互。PYNQ 框架本身已经把 PL 封装成可调用的 overlayPython 代码里只要打开 DMA 通道按帧读取数据即可。如果反过来全部用 Python 采样角度数据基本是废的。这一条决定了整个项目能不能成立。2.2 定位算法选型GCC-PHAT为什么是这份源码的主算法声源定位有几条常见技术路线选型时主要看三个维度需要几个麦克风、计算量多大、抗混响能力如何。作为一份既要跑得动又要能讲明白的课设或毕设源码GCC-PHAT 是性价比最高的选择。算法路线最少麦克风数计算量抗混响落地难度能量/强度差2很小差低但角度精度太差TDOA GCC-PHAT2小较强低源码可读性好SRP-PHAT 波束扫描4以上大强中需要网格搜索MUSIC / ESPRIT4以上大差高对通道一致性敏感深度学习定位4以上推理小训练大取决于数据高调试像黑匣子GCC-PHAT 的基本思路是两个麦克风收到同一段声源信号时间上有先后对两路信号做互功率谱再用 PHAT 加权抹平幅度影响只保留相位信息最后反变换得到广义互相关函数峰值位置就是时间差。它只用两路信号就能给出一个方向角帧长 512 到 1024 点就能跑48kHz 采样率下单帧计算量几乎不构成压力。相比 SRP-PHAT 要在空间里做二维网格搜索GCC-PHAT 的时延峰直接从一个数组里找到代码短、可视化容易、答辩时公式和程序一一对应。这也正是它成为这类源码主流算法的原因。缺点也很明确单一声源假设、混响太强时会看错峰这两点会在后面聊排查方法不影响它作为主算法的地位。2.3 麦克风布局与通道数两麦出角度四麦消模糊标题里写着“源码高分项目”一般这类源码会做到四路麦克风但起点通常是两路。两麦接收到的信号只能给出“余弦角度”也就是用时间差换算成声源相对麦克风连线中垂线的偏角范围在 0 到 180 度之间而且前后是模糊的来自正前方和正后方的两个声源产生的时延可能完全相同。阵列形式通道数能输出什么主要问题双麦线阵2一维方位角前后模糊三麦平面阵3方位角无前后模糊需要布成非共线四麦矩形阵4方位角可做俯仰/消模糊标定和同步更复杂麦克风间距决定时延范围。两个麦克风相距 6 厘米声音传播耗时约 0.175 毫秒对应 48kHz 采样率大约只有 8 个采样点。也就是说时延不是一个宽范围搜索问题而是一个窄范围内找亚采样精度峰值的精细问题。这也是为什么 GCC-PHAT 要做加权而不是直接找两路信号的最大绝对差。四麦矩形阵的做法常见是两两组合算时延再从多组时延里投票或最小二乘拟合出平面波入射方向。这对“高分项目”来说是个天然加分点因为代码可以在双麦逻辑上逐步扩展从 2.2 到 4 路麦克风的数据通路只需复制通道主算法从二维角度输出升级为空间投票即可。3. 环境准备与硬件接线镜像烧录、PDM麦克风接入与源码部署拿到压缩包之后不要急着在电脑上解压看代码。这套系统的运行环境在板卡上先要把 PYNQ-Z2 从开箱状态变成能跑 Python 和 FPGA 逻辑的状态。整个准备过程分三步烧录系统镜像、接好麦克风、把源码放进板卡文件系统。3.1 镜像烧录用SD卡把PYNQ-Z2变成可编程的运行环境PYNQ-Z2 的启动介质是 SD 卡这比 USB 启动可靠也比板载 Flash 方便换系统版本只需要重新写卡。第一次使用前先把厂商发布的 PYNQ 镜像写到 SD 卡里建议选至少 16GB 的卡速度等级高一点因为 Notebook 里会频繁读写数据。在宿主机上插入读卡器后首先用lsblk确认设备名千万不要把镜像写到系统硬盘上。假设 SD 卡对应/dev/sdX写入命令如下# 先卸载SD卡上已挂载的分区然后整卡写入 sudo umount /dev/sdX1 2/dev/null || true sudo dd ifpynq_z2.img of/dev/sdX bs4M statusprogress convfsync syncifpynq_z2.img是镜像路径换成你实际下载的文件名of/dev/sdX必须指向整个 SD 卡而不是某个分区否则引导分区无法被正确创建。bs4M是每次读写 4MB相比默认 512 字节快很多写完后sync确保缓存落盘再拔出读卡器。卡插回板卡连上网线并上电常见镜像默认静态 IP 是 192.168.2.99如果在局域网里获取的是 DHCP 地址需要去路由器后台找。能从宿主机 ping 通这个 IP就说明镜像烧录成功。注意镜像写卡之后最好不要直接在卡上改文件之后再写入新的镜像会被覆盖。源码部署应该在镜像跑通之后再进行。3.2 PDM麦克风接线与供电四根线决定整个系统的生死常见源码里的麦克风方案是 PDM 接口模块它比 I2S 麦克风少两条线比模拟麦少一路 ADC 电路正好适合 FPGA 做解调。接线一般就五根信号麦克风模块引脚接到PYNQ-Z2的位置说明VDD 3.3V树莓派接头或Arduino 3.3V引脚只能接3.3V不能接5VGND对应的GND引脚两路麦克风必须共地CLKPL可控GPIOPDM解调时钟DATAPL可控GPIO单bit数据流L/R Select3.3V或GND选择输出到左/右声道如果用的是双PDM模块L/R Select 决定它输出的时隙如果直接用两个单PDM麦克风就把两个 DATA 分别接到两个不同 GPIOCLK 共用。物理接线看似简单最容易翻车的是供电PDM 模块是 3.3V 逻辑接到 5V 引脚轻则采样值饱和重则烧 PL 端 IO。接好之后先不要跑定位算法先用逻辑分析仪或直接在 PL 里读 GPIO 状态确认 CLK 上有稳定时钟。常见 PDM 时钟在 1.024MHz 到 3.072MHz 之间如果时钟频率和抽取倍数的乘积对不上采样率后面所有角度都会带固定偏差这一点在第 5 章还会展开。3.3 把源码部署到板卡scp、解压与Notebook启动板卡启动后默认用户名是xilinx密码也是xilinx。源码压缩包通常先放到宿主机再通过 scp 拷到板卡/home/xilinx目录下然后在板卡上解压。# 在宿主机上执行把压缩包传到板卡 scp sound_location_project.zip xilinx192.168.2.99:/home/xilinx/ # 登录板卡并解压 ssh xilinx192.168.2.99 cd /home/xilinx unzip sound_location_project.zip -d sound_loc cd sound_loc ls -la # 启动Jupyter供宿主机浏览器访问 sudo jupyter notebook --ip0.0.0.0 --port9090 --no-browser --allow-rootssh登录之后先看目录结构。一套完整的这类源码一般会包含顶层 notebook 文件、PL 端的 bitstream 与硬件约束文件、Python 模块或函数库、以及一份说明文档。如果只有 notebook 和 Python 文件而没有 bitstream说明你需要用 FPGA 工具链重新综合源码里的工程这一步不是复制粘贴能跳过的。打开浏览器访问192.168.2.99:9090运行 notebook 里的 overlay 加载单元格。能在输出区看到成功信息才说明 PL 逻辑已经加载到板卡如果报错优先检查镜像版本和 bitstream 是否匹配这条也会在常见问题里详细说。4. 核心代码拆解从PDM原始流到时延和角度的一次完整闭环整个系统从“声音到达麦克风”到“在界面上画出方位角”中间经历四个环节PDM 解码、抽取滤波、时延估计、角度映射。前两个在 PL 侧完成后两个在 Python 里完成。这一章按调用顺序把代码逐段拆开讲。4.1 PL侧的最小PDM解调设计积分器、抽取和DMA缓冲PDM 信号本身不是一个可以直接做 FFT 的 PCM 流需要先把每个时钟周期里的 1 和 0 累加起来。最简单的做法是“积分加抽取”每 N 个 PDM 时钟周期把累加值作为一个 PCM 采样点输出。N 通常就是抽取倍数例如 PDM 时钟 3.072MHz、抽取 64 倍得到 48kHz 的采样率。module cic1_decimator #( parameter DECIM 64 // 抽取倍数3.072MHz / 64 48kHz )( input wire clk, // PDM时钟 input wire rst, input wire pdm_in, // 麦克风数据 output reg signed [31:0] pcm_out, output reg valid ); reg [$clog2(DECIM)-1:0] cnt 0; reg signed [31:0] accum 0; always (posedge clk) begin if (rst) begin cnt 0; accum 0; valid 0; end else if (cnt DECIM - 1) begin pcm_out accum; // 输出一个采样点 valid 1b1; accum 0; cnt 0; end else begin valid 1b0; // 1计10计-1累加结果正比于模拟幅度 accum accum (pdm_in ? 32sd1 : -32sd1); cnt cnt 1; end end endmodule这段代码的逻辑是每个 PDM 时钟沿判断一次数据1 使累加器加 10 使累加器减 1。当计数到 63 时把累加结果作为 PCM 采样点输出并清零。DECIM参数直接决定采样率如果你的 PDM 时钟是 2.048MHz 且想要 16kHz 采样率抽取倍数就是 128改参数即可。pcm_out的位宽是 32 位实际有效数据只占低十几位取高位会丢失精度取低位会有直流偏置。真实工程里还要再加一级 CIC 滤波器做整形再级联一个半带滤波器。这里给出的是一阶积分器作用不是替代完整滤波器而是告诉你源码里 PL 模块最核心的骨架长什么样。两个通道的pcm_out再拼成一个双通道帧用 DMA 一次搬运到内存PS 端读到的两路数据就是时间对齐的。注意如果你的源码里 PL 侧已经有现成 bitstream并不需要重写这段 Verilog。只有当你改了采样率、换了麦克风或想加通道时才需要回到 FPGA 工程重新综合并生成新 bitstream。4.2 PS侧GCC-PHAT时延估计核心Python函数与参数PS 端拿到的是两路 PCM 数据下一步要计算时延。GCC-PHAT 的实现并不长核心代码可以浓缩成一个函数。以下实现不依赖 scipy只用 numpy方便在 PYNQ 的 Notebook 里直接跑import numpy as np def gcc_phat(ref, target, fs, max_tau0.0005): 广义互相关-PHAT时延估计。 ref: 参考通道(通常取左麦) target: 目标通道(右麦) fs: PCM采样率 max_tau: 时延搜索范围上限(秒) n len(ref) # 加汉宁窗减少帧截断带来的频谱泄漏 w np.hanning(n) X1 np.fft.rfft(ref * w) X2 np.fft.rfft(target * w) # 互功率谱并做PHAT加权只保留相位抹平幅度 G X1 * np.conj(X2) G / np.abs(G) 1e-10 # 逆变换回时域用fftshift把峰值移到数组中央 cc np.fft.irfft(G, nn) cc np.fft.fftshift(cc) # 限制在物理可能的时延范围内避免远处旁瓣冒充主峰 tau_axis (np.arange(n) - n / 2) / fs mask np.abs(tau_axis) max_tau idx np.argmax(cc * mask) return tau_axis[idx], cc[idx]max_tau是关键参数它由麦克风间距决定。两麦相距 6 厘米时最大物理时延约 0.175 毫秒代码里留 0.5 毫秒的余量足够如果你用的是 1 米间隔的大阵列就要加大到 3 毫秒左右。max_tau设得太大房间反射产生的旁瓣容易超过真实峰设得太小则会切掉极限角度。Hann 窗对 GCC-PHAT 的改善幅度没有对频谱分析那么明显但仍然建议保留因为它能削弱帧边沿不连续造成的高频伪峰。1e-10是防止分母为零的常数在混响严重的房间里把它调大到1e-3到1e-2实际上是对低能量频率的 PHAT 权重做衰减能减少反射峰干扰代价是主峰变钝。4.3 主循环从DMA缓冲到角度估计与阈值过滤有了时延估计函数还需要一个主循环把数据流接进来并把时延换算成角度。常见的换算公式是“时延乘以声速除以麦克风间距再取反余弦”def angle_from_delay(tau, d0.06, c343.0): 把时延差换算成方位角(度)d为麦克风间距(m) cos_theta tau * c / d cos_theta max(-1.0, min(1.0, cos_theta)) # 防止数值越界 return np.degrees(np.arccos(cos_theta)) # 主循环每次DMA读完一帧就做一次时延和角度估计 FRAME 1024 while running: ref dma0.read(FRAME) # 左麦一帧 tar dma1.read(FRAME) # 右麦一帧 tau, strength gcc_phat(ref, tar, fs48000, max_tau0.0005) if strength threshold: # 阈值一般取0.25~0.35 deg angle_from_delay(tau, d0.06) deg round(deg, 1) print(f声源方向: {deg}°) else: print(信号太弱或不在有效区域)strength是相关峰的高度表示两帧信号在最优时延下有多“像”。干净环境下应该接近 1有混响时降到 0.3 到 0.6。把阈值设得太低会把能量很弱的杂音也当成声源设得太高小声说话时结果会断断续续。0.25 到 0.35 是一个比较稳的起点。这个主循环看起来直观但直接用单帧结果通常会有角度跳变因为反射和噪声会让某一帧的峰值偏离真实位置。实际源码里很少直接打印单帧角度而是把最近 7 到 15 帧的角度放进一个列表取中值再显示中值结果。中值滤波在这里比均值滤波好用它能直接扔掉个别离谱的跳变而均值会被一个错误的大角度拖走。5. 声源定位项目常见问题与排查采样同步、混响和板卡玄学跑通第一版“能出角度”不算难真正消耗时间的是让它稳定、可信。以下几条都是这类项目里最常见的坑按“现象、原因、解决”的方式逐个说清。5.1 两个通道样本不同步静止声源的角度一直漂现象把手机放在麦克风阵列正前方固定不动输出的角度却在 -40 度和 40 度之间来回跳移动声源时方向看起来完全正确静止时反而没法看。原因两路 PCM 数据在 DMA 缓冲里没有按帧对齐。PL 侧如果分别用两条 DMA 通道搬运左右麦数据PS 侧分别read两次读取的起始时刻并不一致或者 PL 在打包时两路数据的写入延迟不同都会造成固定或浮动的样本偏移。样本偏一个点时延就错一个采样周期角度偏十几度是常事。解决把左右麦数据在 PL 端拼成同一个双通道缓冲区一次 DMA 搬运PS 只在这个缓冲上一次读完左右两帧另外在每次采集启动时给两路同时发一个复位脉冲保证计数从同一拍开始。判断是否对齐的办法给左麦单独播放 1kHz 单音右麦静音看时延估计是否稳定为一个固定值。5.2 混响一强时延峰跑到反射音上现象在空教室里说话定位基本准靠墙说话或拍手时角度明显偏拍手这类脉冲声源定位结果忽左忽右像随机数。原因GCC-PHAT 默认单声源假设PHAT 加权把所有频率的相位都拉平混响反射在互相关函数里会形成第二尖峰。如果反射峰比直达声峰略高argmax就会选中错误方向。解决三招组合使用。第一把 4.2 代码里的1e-10调大到 1e-3 量级削弱低能量频率对应的反射分量第二把帧长从 1024 缩短到 512减少反射覆盖的时长第三用中值滤波而不是均值滤波单帧选错峰时中值能把跳变压掉。如果还是不对说明这个房间混响时间太长要么换阵列间距要么上 SRP-PHAT 空间搜索GCC-PHAT 的物理上限就在那里。5.3 PDM时钟与实际采样率不一致角度永远带固定偏差现象所有角度的测量结果都比真实角度整体偏移同一个方向比如真实 30 度测成 20 度真实 60 度测成 50 度偏移量基本恒定。原因一类是抽取倍数的参数和实际 PDM 时钟对不上采样率fs算错时延被成比例缩放另一类是左右声道接反时延符号翻转所有角度镜像偏转。最容易忽视的是 L/R Select 引脚电平左右声道互换后时延正负颠倒是必然结果。解决先做镜像测试软件里交换两个通道再定位如果角度从偏正变成偏负说明声道映射错了如果偏移方向不变则核对 PDM 时钟频率与抽取倍数。最后用零度校正收尾扬声器正对阵列中垂线播放单音理想时延应为 0如果测出固定非零值把它作为系统偏差在角度换算里减掉。5.4 overlay位流不匹配notebook加载就报错现象运行 overlay 加载单元格时直接报错或者加载成功后 DMA 读取到的数据全是 0代码本身没有改动过。原因bitstream 是针对特定镜像版本和特定 PL 工程综合出来的PYNQ 镜像升级或板卡重新刷写过overlay 内部寄存器映射和板级描述可能对不上导致加载失败。还有一个常见场景是拿默认 overlay 硬跑定位代码默认 overlay 里根本没有 PDM 解调和 DMA 通道数据通路不存在。解决先确认源码要求的镜像版本和板卡当前版本一致再确认加载的是源码自带的 bitstream比如sound_loc.bit或sound_loc.hwh而不是通用 overlay。如果你改过 PL 侧参数必须用 FPGA 集成环境重新综合把生成的.bit和.hwh拷回同一目录并重启 kernel 重新加载再跑定位流程。5.5 近场声源角度乱跳声源离麦克风太近现象对着麦克风说话只有十几厘米远输出角度不停跳离到半米之外反而稳定同一个软件代码没任何改动。原因这套系统默认用远场平面波模型。远场假设声波到达阵列时是平行波前时延只和角度相关近场时波前是球面波时延同时受角度和距离影响再用平面波公式换算角度就会失真。解决先说使用约束声源到阵列的距离至少是阵列尺寸的 3 倍。6cm 间距的阵列声源放 20cm 以上才安全。真要支持近场就把两麦的时延模型改成球面波方程组用声源距离和角度两个未知数做最小二乘拟合但这就不是 GCC-PHAT 的主场了属于给高分项目加分的进阶玩法需要重新推导几何关系。6. 进阶技巧用扫角实验验证定位精度把结果变成答辩材料6.1 扫角评估脚本跑通定位之后下一步不是继续加功能而是先量化系统到底准不准。我习惯写一个扫角脚本把扬声器固定在 0 度、30 度、60 度、90 度几个位置每个位置连续采集 100 帧统计均值和标准差同时记录有效帧率。有效帧率就是相关峰强度超过阈值的帧数占总帧数的比例在答辩里是一个很有说服力的指标。results [] for target_deg in [0, 30, 60, 90]: angles [] for i in range(100): ref dma0.read(FRAME) tar dma1.read(FRAME) tau, strength gcc_phat(ref, tar, fs48000) if strength 0.25: deg angle_from_delay(tau, d0.06) angles.append(deg) time.sleep(0.01) valid np.array(angles) results.append({ target: target_deg, mean: round(np.mean(valid), 1), std: round(np.std(valid), 2), valid_rate: round(len(valid) / 100, 2), })标准差小于 5 度说明系统稳定均值与目标值差 2 到 3 度在室内环境里就算很好的结果如果某个角度标准差特别大优先回头看是不是 5.2 的混响问题。用这个表格把结果填进去比贴几张波形图更能说明问题。目标角度实测均值标准差有效帧率0°填入实测填入实测填入实测30°填入实测填入实测填入实测60°填入实测填入实测填入实测90°填入实测填入实测填入实测6.2 让结果看得见也留得下最后可以做一点锦上添花的事把原始音频也录下来定位时用一个线程把双通道 PCM 写成 WAV 文件复盘时重新跑一遍 GCC-PHAT能清楚看到是哪一帧峰值选错了远比在实机上盯着界面猜问题方便。如果时间允许把定位结果叠加到实时频谱图上声源移动时视角上会有更直观的冲击力。我个人的习惯是调试期间所有“角度乱跳”的原始录音都单独存一个文件标上房间位置和声源距离调试告一段落后统一回放。很多看起来像玄学的问题回放时发现就是采样不同步或声道反了半小时就能定位到原因不用第二天到实验室继续试。先量化再调参这比对着代码空想要高效得多。希望帮到你。本文还有配套的精品资源点击获取