PaddleSpeech 声音分类核心模块 SoundClassifier 源码解析基于 PANNs 预训练骨干的音频分类器【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech导读SoundClassifier是 PaddleSpeech 音频分类Audio Classificationcls子系统中连接预训练音频骨干网络与任务分类头的核心封装其定义位于 classifier.py并对外暴露在 API 文档 paddlespeech.cls.models.panns.classifier 中。本文以该模块为骨架逐层拆解它的构造参数、forward 数据流、PANNs 骨干网络设计、预训练权重加载机制并结合 ESC-50 示例的配置文件与训练/推理/导出脚本说明如何完整落地一个环境声音分类任务。SoundClassifier 模块在 PaddleSpeech 中的定位在 PaddleSpeech 的代码体系中paddlespeech.cls.models目录存放音频分类Audio Tagging / Sound Classification相关模型其中panns/子目录包含两部分panns.pyPANNsPretrained Audio Neural Networks大规模预训练音频神经网络系列的骨干网络实现包括CNN6、CNN10、CNN14三个网络以及对应的cnn6、cnn10、cnn14工厂函数classifier.py本篇文章的主体SoundClassifier一个轻量级分类封装层负责在骨干网络之上添加 dropout 与全连接分类头将音频特征提取与具体类别判定解耦。从 models/init.py 可以看出cls.models包直接导出了panns模块的全部符号而 panns/init.py 又通过from .classifier import *与from .panns import *将SoundClassifier、CNN14、CNN10、CNN6、cnn14、cnn10、cnn6全部汇总导出。因此在实际使用中通常这样引入from paddlespeech.cls.models import SoundClassifier from paddlespeech.cls.models import cnn14SoundClassifier 类设计构造函数与参数语义SoundClassifier继承自paddle.nn.Layer完整定义如下见 classifier.pyclass SoundClassifier(nn.Layer): Model for sound classification which uses panns pretrained models to extract embeddings from audio files. def __init__(self, backbone, num_class, dropout0.1): super(SoundClassifier, self).__init__() self.backbone backbone self.dropout nn.Dropout(dropout) self.fc nn.Linear(self.backbone.emb_size, num_class) def forward(self, x): # x: (batch_size, num_frames, num_melbins) - (batch_size, 1, num_frames, num_melbins) x x.unsqueeze(1) x self.backbone(x) x self.dropout(x) logits self.fc(x) return logits三个构造参数参数类型说明backbonepaddle.nn.LayerPANNs 骨干网络实例须实现emb_size属性embedding 维度并接受(batch, 1, frames, melbins)输入num_classint目标任务的类别数决定分类头fc的输出维度dropoutfloat默认0.1骨干输出后、分类头之前的 Dropout 比率用于抑制过拟合关键设计点依赖 backbone 的emb_size属性nn.Linear(self.backbone.emb_size, num_class)在构造时读取骨干网络的 embedding 维度因此所有可接入的骨干CNN6/CNN10为512CNN14为2048都必须声明emb_size类属性backbone 与分类头解耦SoundClassifier本身不做任何特征提取只负责接住 backbone 的输出 → Dropout → 全连接映射到类别空间这意味着更换骨干网络如从cnn14换为更轻量的cnn6时无需改动分类器代码forward 中的维度变换输入x的 shape 为(batch_size, num_frames, num_melbins)首先通过unsqueeze(1)变成(batch_size, 1, num_frames, num_melbins)——新增的维度是 CNN 需要的单通道channel维随后送入 backbone 提取特征最后输出 shape 为(batch_size, num_class)的 logits。骨干网络PANNs CNN 系列的结构与 Embedding 机制SoundClassifier的 backbone 全部来自 PANNs 论文PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition。在 panns.py 中三个骨干的规模对照如下骨干卷积块数每块卷积核emb_size预训练权重CNN64 个ConvBlock5x5每块 1 层卷积5×5 核5×5512panns_cnn6.pdparamsCNN104 个ConvBlock每块 2 层卷积3×3 核3×3512panns_cnn10.pdparamsCNN146 个ConvBlock每块 2 层卷积3×3 核3×32048panns_cnn14.pdparams卷积块基础组件ConvBlockpanns.py由两个3×3卷积padding1bias_attrFalse、两个BatchNorm2D与 ReLU 激活组成并支持三种池化策略pool_typemax最大池化pool_typeavg平均池化pool_typeavgmax平均池化与最大池化结果相加PANNs 论文中常用的增强池化策略其他取值会抛出Exception提示仅支持max、avg与avgmax。ConvBlock5x5panns.py则是单层5×5卷积padding2加 BatchNorm、ReLU 的轻量结构用于CNN6。CNN14 前向过程Embedding 提取模式以CNN14为例panns.py其 forward 流程为输入(batch, 1, frames, melbins)先做transpose([0, 3, 2, 1])交换轴经过bn0对 64 维 mel 特征做批归一化后再转置回来依次经过 6 个ConvBlock前 5 块池化核为(2, 2)最后一块为(1, 1)每块之后紧跟p0.2的 Dropoutx.mean(axis3)压缩 mel 维x.max(axis2) x.mean(axis2)在时间帧维度上融合 max-pooling 与 mean-pooling 结果得到 2048 维特征经过p0.5Dropout 与fc12048 →emb_size此处也是 2048后根据extract_embedding标志二选一extract_embeddingTrue再经过一次p0.5Dropout直接输出 embedding 特征SoundClassifier的 backbone 均使用此模式extract_embeddingFalse通过fc_audiosetemb_size→ 527输出 AudioSet 的 527 类 sigmoid 多标签概率。CNN10、CNN6的结构与CNN14类似只是卷积块数量与通道数规模更小CNN6/CNN10最大通道 512CNN14最大通道 2048且fc_audioset固定映射到 527 类 AudioSet 标签空间。预训练权重加载工厂函数与 MODEL_HOMEpanns.py在模块级维护了预训练权重地址表panns.py三个工厂函数cnn14、cnn10、cnn6均遵循同一套逻辑以cnn14为例def cnn14(pretrained: boolFalse, extract_embedding: boolTrue) - CNN14: model CNN14(extract_embeddingextract_embedding) if pretrained: state_dict load_state_dict_from_url( urlpretrained_model_urls[cnn14], pathos.path.join(MODEL_HOME, panns)) model.set_state_dict(state_dict) return model要点pretrainedTrue时通过 download.py 中的load_state_dict_from_url从 BOS 对象存储下载.pdparams权重并缓存到MODEL_HOME/panns目录MODEL_HOME由 env.py 统一管理用户可配置模型缓存根目录权重只覆盖骨干网络参数SoundClassifier的分类头fc是随机初始化的需要在下游任务上微调训练extract_embedding默认True即工厂函数默认返回embedding 提取器形态的骨干与SoundClassifier的用法完全对齐。训练、推理与导出SoundClassifier 的三种实战姿势paddlespeech/cls/exps/panns/下的三个脚本展示了SoundClassifier的完整生命周期。1. 训练train.pytrain.py 中的模型构建片段backbone_class dynamic_import(model_conf[backbone]) backbone backbone_class(pretrainedTrue, extract_embeddingTrue) model SoundClassifier(backbone, num_classdata_conf[num_classes]) model paddle.DataParallel(model)关键流程通过 dynamic_import.py 的dynamic_import按配置文件中的字符串如paddlespeech.cls.models:cnn14动态加载骨干骨干加载预训练权重pretrainedTrue分类头随机初始化特征侧使用paddle.audio.features.LogMelSpectrogram提取 log-mel 特征并transpose为[N, length, n_mels]送入模型损失函数为paddle.nn.loss.CrossEntropyLoss()优化器为 Adam学习率从配置读取训练过程中按log_freq打印 loss/acc/学习率并周期性在验证集上评估dev_acc后保存model.pdparams与model.pdopt检查点到checkpoint_dir/epoch_N/。2. 推理predict.pypredict.py 展示了如何用训练好的检查点做单文件预测model SoundClassifier( backbonebackbone_class(pretrainedFalse, extract_embeddingTrue), num_classlen(ds_class.label_list)) model.set_state_dict(paddle.load(predicting_conf[checkpoint])) model.eval() feat extract_features(predicting_conf[audio_file], **feat_conf) logits model(feat) probs F.softmax(logits, axis1).numpy()其中extract_features用soundfile_load读音频并重采样到feat_conf[sr]再经LogMelSpectrogram提取特征。预测时对 logits 做 softmax按概率降序输出top_k个类别及其置信度。3. 导出静态图export_model.pyexport_model.py 用paddle.jit.to_static将动态图模型转为静态图并保存model SoundClassifier( backbonecnn14(pretrainedFalse, extract_embeddingTrue), num_classlen(ESC50.label_list)) model.set_state_dict(paddle.load(args.checkpoint)) model.eval() model paddle.jit.to_static( model, input_spec[ paddle.static.InputSpec(shape[None, None, 64], dtypepaddle.float32) ], full_graphTrue) paddle.jit.save(model, os.path.join(args.output_dir, inference))注意input_spec的最后一维固定为64与 ESC-50 配置中n_mels: 64对应——mel 通道数必须与训练时保持一致导出的inference静态图模型可用于服务端部署。完整落地ESC-50 环境声音分类示例PaddleSpeech 的examples/esc50/cls0示例以 ESC-50 数据集2000 条 5 秒环境录音、50 个语义类别见 esc50.py 中label_list的 50 类定义完整演示了上述流程。核心配置 panns.yaml 与训练代码中的字段一一对应data: dataset: paddle.audio.datasets:ESC50 num_classes: 50 train: mode: train split: 1 dev: mode: dev split: 1 model: backbone: paddlespeech.cls.models:cnn14 feature: sr: 32000 n_fft: 1024 hop_length: 320 window: hann win_length: 1024 f_min: 50.0 f_max: 14000.0 n_mels: 64 training: epochs: 50 learning_rate: 0.00005 num_workers: 2 batch_size: 16 checkpoint_dir: ./checkpoint save_freq: 10 log_freq: 10 predicting: audio_file: /audio/dog.wav top_k: 10 checkpoint: ./checkpoint/epoch_50/model.pdparams配置项与代码的对应关系data.num_classes50传入SoundClassifier(num_class...)同时len(ESC50.label_list)与之相等feature区块全部透传给LogMelSpectrogram其中n_mels: 64决定了模型的输入通道数也与export_model.py的InputSpec一致training区块驱动 train.py 的训练循环epochs、batch_size、learning_rate、checkpoint_dir 等predicting区块驱动 predict.py 的单文件预测top_k控制输出前几个类别。运行入口 run.sh 按 stage 划分四个阶段stage 1训练、stage 2推理、stage 3导出静态图、stage 4静态图模型推理分别对应上述三个脚本与本地推理脚本。小结从 API 文档到可运行分类器的完整链路回到本文起点——paddlespeech.cls.models.panns.classifier.rst 中通过automodule指令暴露的正是SoundClassifier这个类。它的设计价值在于组合而非继承用backboneDropoutLinear三层结构实现预训练特征提取 可微调分类头的经典迁移学习范式一套接口适配多骨干CNN6/CNN10/CNN14通过统一的emb_size属性协议接入模型规模与精度可按需权衡512 vs 2048 维 embedding全生命周期配套训练train.py、单文件推理predict.py、静态图导出export_model.py三条调用链均以SoundClassifier为模型载体配合 ESC-50 示例配置即可端到端复现环境声音分类任务。【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PaddleSpeech 声音分类核心模块 SoundClassifier 源码解析：基于 PANNs 预训练骨干的音频分类器
PaddleSpeech 声音分类核心模块 SoundClassifier 源码解析基于 PANNs 预训练骨干的音频分类器【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech导读SoundClassifier是 PaddleSpeech 音频分类Audio Classificationcls子系统中连接预训练音频骨干网络与任务分类头的核心封装其定义位于 classifier.py并对外暴露在 API 文档 paddlespeech.cls.models.panns.classifier 中。本文以该模块为骨架逐层拆解它的构造参数、forward 数据流、PANNs 骨干网络设计、预训练权重加载机制并结合 ESC-50 示例的配置文件与训练/推理/导出脚本说明如何完整落地一个环境声音分类任务。SoundClassifier 模块在 PaddleSpeech 中的定位在 PaddleSpeech 的代码体系中paddlespeech.cls.models目录存放音频分类Audio Tagging / Sound Classification相关模型其中panns/子目录包含两部分panns.pyPANNsPretrained Audio Neural Networks大规模预训练音频神经网络系列的骨干网络实现包括CNN6、CNN10、CNN14三个网络以及对应的cnn6、cnn10、cnn14工厂函数classifier.py本篇文章的主体SoundClassifier一个轻量级分类封装层负责在骨干网络之上添加 dropout 与全连接分类头将音频特征提取与具体类别判定解耦。从 models/init.py 可以看出cls.models包直接导出了panns模块的全部符号而 panns/init.py 又通过from .classifier import *与from .panns import *将SoundClassifier、CNN14、CNN10、CNN6、cnn14、cnn10、cnn6全部汇总导出。因此在实际使用中通常这样引入from paddlespeech.cls.models import SoundClassifier from paddlespeech.cls.models import cnn14SoundClassifier 类设计构造函数与参数语义SoundClassifier继承自paddle.nn.Layer完整定义如下见 classifier.pyclass SoundClassifier(nn.Layer): Model for sound classification which uses panns pretrained models to extract embeddings from audio files. def __init__(self, backbone, num_class, dropout0.1): super(SoundClassifier, self).__init__() self.backbone backbone self.dropout nn.Dropout(dropout) self.fc nn.Linear(self.backbone.emb_size, num_class) def forward(self, x): # x: (batch_size, num_frames, num_melbins) - (batch_size, 1, num_frames, num_melbins) x x.unsqueeze(1) x self.backbone(x) x self.dropout(x) logits self.fc(x) return logits三个构造参数参数类型说明backbonepaddle.nn.LayerPANNs 骨干网络实例须实现emb_size属性embedding 维度并接受(batch, 1, frames, melbins)输入num_classint目标任务的类别数决定分类头fc的输出维度dropoutfloat默认0.1骨干输出后、分类头之前的 Dropout 比率用于抑制过拟合关键设计点依赖 backbone 的emb_size属性nn.Linear(self.backbone.emb_size, num_class)在构造时读取骨干网络的 embedding 维度因此所有可接入的骨干CNN6/CNN10为512CNN14为2048都必须声明emb_size类属性backbone 与分类头解耦SoundClassifier本身不做任何特征提取只负责接住 backbone 的输出 → Dropout → 全连接映射到类别空间这意味着更换骨干网络如从cnn14换为更轻量的cnn6时无需改动分类器代码forward 中的维度变换输入x的 shape 为(batch_size, num_frames, num_melbins)首先通过unsqueeze(1)变成(batch_size, 1, num_frames, num_melbins)——新增的维度是 CNN 需要的单通道channel维随后送入 backbone 提取特征最后输出 shape 为(batch_size, num_class)的 logits。骨干网络PANNs CNN 系列的结构与 Embedding 机制SoundClassifier的 backbone 全部来自 PANNs 论文PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition。在 panns.py 中三个骨干的规模对照如下骨干卷积块数每块卷积核emb_size预训练权重CNN64 个ConvBlock5x5每块 1 层卷积5×5 核5×5512panns_cnn6.pdparamsCNN104 个ConvBlock每块 2 层卷积3×3 核3×3512panns_cnn10.pdparamsCNN146 个ConvBlock每块 2 层卷积3×3 核3×32048panns_cnn14.pdparams卷积块基础组件ConvBlockpanns.py由两个3×3卷积padding1bias_attrFalse、两个BatchNorm2D与 ReLU 激活组成并支持三种池化策略pool_typemax最大池化pool_typeavg平均池化pool_typeavgmax平均池化与最大池化结果相加PANNs 论文中常用的增强池化策略其他取值会抛出Exception提示仅支持max、avg与avgmax。ConvBlock5x5panns.py则是单层5×5卷积padding2加 BatchNorm、ReLU 的轻量结构用于CNN6。CNN14 前向过程Embedding 提取模式以CNN14为例panns.py其 forward 流程为输入(batch, 1, frames, melbins)先做transpose([0, 3, 2, 1])交换轴经过bn0对 64 维 mel 特征做批归一化后再转置回来依次经过 6 个ConvBlock前 5 块池化核为(2, 2)最后一块为(1, 1)每块之后紧跟p0.2的 Dropoutx.mean(axis3)压缩 mel 维x.max(axis2) x.mean(axis2)在时间帧维度上融合 max-pooling 与 mean-pooling 结果得到 2048 维特征经过p0.5Dropout 与fc12048 →emb_size此处也是 2048后根据extract_embedding标志二选一extract_embeddingTrue再经过一次p0.5Dropout直接输出 embedding 特征SoundClassifier的 backbone 均使用此模式extract_embeddingFalse通过fc_audiosetemb_size→ 527输出 AudioSet 的 527 类 sigmoid 多标签概率。CNN10、CNN6的结构与CNN14类似只是卷积块数量与通道数规模更小CNN6/CNN10最大通道 512CNN14最大通道 2048且fc_audioset固定映射到 527 类 AudioSet 标签空间。预训练权重加载工厂函数与 MODEL_HOMEpanns.py在模块级维护了预训练权重地址表panns.py三个工厂函数cnn14、cnn10、cnn6均遵循同一套逻辑以cnn14为例def cnn14(pretrained: boolFalse, extract_embedding: boolTrue) - CNN14: model CNN14(extract_embeddingextract_embedding) if pretrained: state_dict load_state_dict_from_url( urlpretrained_model_urls[cnn14], pathos.path.join(MODEL_HOME, panns)) model.set_state_dict(state_dict) return model要点pretrainedTrue时通过 download.py 中的load_state_dict_from_url从 BOS 对象存储下载.pdparams权重并缓存到MODEL_HOME/panns目录MODEL_HOME由 env.py 统一管理用户可配置模型缓存根目录权重只覆盖骨干网络参数SoundClassifier的分类头fc是随机初始化的需要在下游任务上微调训练extract_embedding默认True即工厂函数默认返回embedding 提取器形态的骨干与SoundClassifier的用法完全对齐。训练、推理与导出SoundClassifier 的三种实战姿势paddlespeech/cls/exps/panns/下的三个脚本展示了SoundClassifier的完整生命周期。1. 训练train.pytrain.py 中的模型构建片段backbone_class dynamic_import(model_conf[backbone]) backbone backbone_class(pretrainedTrue, extract_embeddingTrue) model SoundClassifier(backbone, num_classdata_conf[num_classes]) model paddle.DataParallel(model)关键流程通过 dynamic_import.py 的dynamic_import按配置文件中的字符串如paddlespeech.cls.models:cnn14动态加载骨干骨干加载预训练权重pretrainedTrue分类头随机初始化特征侧使用paddle.audio.features.LogMelSpectrogram提取 log-mel 特征并transpose为[N, length, n_mels]送入模型损失函数为paddle.nn.loss.CrossEntropyLoss()优化器为 Adam学习率从配置读取训练过程中按log_freq打印 loss/acc/学习率并周期性在验证集上评估dev_acc后保存model.pdparams与model.pdopt检查点到checkpoint_dir/epoch_N/。2. 推理predict.pypredict.py 展示了如何用训练好的检查点做单文件预测model SoundClassifier( backbonebackbone_class(pretrainedFalse, extract_embeddingTrue), num_classlen(ds_class.label_list)) model.set_state_dict(paddle.load(predicting_conf[checkpoint])) model.eval() feat extract_features(predicting_conf[audio_file], **feat_conf) logits model(feat) probs F.softmax(logits, axis1).numpy()其中extract_features用soundfile_load读音频并重采样到feat_conf[sr]再经LogMelSpectrogram提取特征。预测时对 logits 做 softmax按概率降序输出top_k个类别及其置信度。3. 导出静态图export_model.pyexport_model.py 用paddle.jit.to_static将动态图模型转为静态图并保存model SoundClassifier( backbonecnn14(pretrainedFalse, extract_embeddingTrue), num_classlen(ESC50.label_list)) model.set_state_dict(paddle.load(args.checkpoint)) model.eval() model paddle.jit.to_static( model, input_spec[ paddle.static.InputSpec(shape[None, None, 64], dtypepaddle.float32) ], full_graphTrue) paddle.jit.save(model, os.path.join(args.output_dir, inference))注意input_spec的最后一维固定为64与 ESC-50 配置中n_mels: 64对应——mel 通道数必须与训练时保持一致导出的inference静态图模型可用于服务端部署。完整落地ESC-50 环境声音分类示例PaddleSpeech 的examples/esc50/cls0示例以 ESC-50 数据集2000 条 5 秒环境录音、50 个语义类别见 esc50.py 中label_list的 50 类定义完整演示了上述流程。核心配置 panns.yaml 与训练代码中的字段一一对应data: dataset: paddle.audio.datasets:ESC50 num_classes: 50 train: mode: train split: 1 dev: mode: dev split: 1 model: backbone: paddlespeech.cls.models:cnn14 feature: sr: 32000 n_fft: 1024 hop_length: 320 window: hann win_length: 1024 f_min: 50.0 f_max: 14000.0 n_mels: 64 training: epochs: 50 learning_rate: 0.00005 num_workers: 2 batch_size: 16 checkpoint_dir: ./checkpoint save_freq: 10 log_freq: 10 predicting: audio_file: /audio/dog.wav top_k: 10 checkpoint: ./checkpoint/epoch_50/model.pdparams配置项与代码的对应关系data.num_classes50传入SoundClassifier(num_class...)同时len(ESC50.label_list)与之相等feature区块全部透传给LogMelSpectrogram其中n_mels: 64决定了模型的输入通道数也与export_model.py的InputSpec一致training区块驱动 train.py 的训练循环epochs、batch_size、learning_rate、checkpoint_dir 等predicting区块驱动 predict.py 的单文件预测top_k控制输出前几个类别。运行入口 run.sh 按 stage 划分四个阶段stage 1训练、stage 2推理、stage 3导出静态图、stage 4静态图模型推理分别对应上述三个脚本与本地推理脚本。小结从 API 文档到可运行分类器的完整链路回到本文起点——paddlespeech.cls.models.panns.classifier.rst 中通过automodule指令暴露的正是SoundClassifier这个类。它的设计价值在于组合而非继承用backboneDropoutLinear三层结构实现预训练特征提取 可微调分类头的经典迁移学习范式一套接口适配多骨干CNN6/CNN10/CNN14通过统一的emb_size属性协议接入模型规模与精度可按需权衡512 vs 2048 维 embedding全生命周期配套训练train.py、单文件推理predict.py、静态图导出export_model.py三条调用链均以SoundClassifier为模型载体配合 ESC-50 示例配置即可端到端复现环境声音分类任务。【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleSpeech创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考