2024全国大学生集成电路创新创业大赛获奖作品,基于紫光同创FPGA的音频处理系统。由本人负责的软件部分项目代码工程。
语音处理技术广泛应用在手机、视频会议系统、金融安全、刑侦等多种领域,本赛题要求采用紫光同创FPGA实现多种功能的音频信号处理,并对处理后的音频效果进行实时展示、对处理前后的音频频谱进行实时展示,基础的语音处理包含音频去噪、实时人声调整(男中音类型音频调整为女低音类型等)、音频回声消除、音乐消除;提高要求包括:将采集后的音频信号通过紫光同创PCIE或者以太网输入到上位机进行更丰富的实时效果展示,如音频人物画像(性别、年龄、情绪等)、采用卷积神经网络对从FPGA采集后的音频进行分类(爆炸、尖叫、唤醒等功能),并进行声纹识别,并给出系统处理延迟数据(声纹识别、音频分类功能不限于FPGA或者通过FPGA采集传输到上位机实现,但将FPGA处理音频识别、音频分类作为加分项,将处理延迟作为加分项)。
(1) 通过FPGA完成给定音频源的音频信号采集并实现音频去噪功能,并通过自备喇叭或者耳机展示音频去噪效果;
(4) 通过FPGA完成给定音频源的音乐和人声分离。
(2)请自备音频源,完成音频的实时人物画像,包括但不限于性别、年龄、情绪等,其中FPGA完成信号的采集传输或者实现人物音频实时画像;
(4)采用卷积神经网络对音频进行分类或者实时分类,包括但不限于爆炸、尖叫、唤醒等功能)等,其中FPGA完成信号的采集传输或者卷积网络分类。
本项目只包括软件实现,不包含上板处理。