人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载VITSConditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech是 PaddleSpeech 中用于**端到端文转语音TTS**的核心模型它绕开了传统声学模型 声码器的两阶段流水线直接从文本索引生成原始波形。本篇以 docs/source/api/paddlespeech.t2s.models.vits.vits.rst 所记载的paddlespeech.t2s.models.vits.vits模块为骨架结合其背后的 vits.py 源码与示例配置逐层拆解 VITS 的生成器/判别器架构、全部构造参数、训练前向逻辑、推理与语音转换接口帮助读者掌握在 PaddleSpeech 中定制与调用 VITS 的完整方法。一、模块定位一个类承载完整 VITS 模型paddlespeech.t2s.models.vits.vits是 PaddleSpeech 中 VITS 模型的顶层封装模块其 RST API 文档通过 Sphinxautomodule指令自动生成模块级 API 参考。该模块的核心是一个VITS(nn.Layer)类源码注释明确说明它是 VITS module (generator discriminator)——即一个类同时持有生成器与判别器用于端到端训练与推理。模块开头定义了两个关键的注册表见 vits.pyAVAILABLE_GENERATERS当前仅注册了vits_generator对应VITSGeneratorAVAILABLE_DISCRIMINATORS注册了 5 种判别器包括hifigan_period_discriminator、hifigan_scale_discriminator、hifigan_multi_period_discriminator、hifigan_multi_scale_discriminator以及默认使用的hifigan_multi_scale_multi_period_discriminator。这些判别器全部复用于 HiFiGAN 模型目录体现了 VITS 与 HiFiGAN 在对抗训练组件上的共享设计。从源码结构看VITS类的组件划分可以概括为子模块类文件文本编码器TextEncoderConformer 架构text_encoder.py后验编码器PosteriorEncoderWaveNet 堆叠posterior_encoder.py残差耦合流ResidualAffineCouplingBlockresidual_coupling.py随机时长预测器StochasticDurationPredictorduration_predictor.py声码器解码器HiFiGANGeneratorgenerator.py单调对齐搜索maximum_pathCython 加速monotonic_align/core.pyx训练/评估VITSUpdater/VITSEvaluatorvits_updater.py二、VITS 类构造参数详解VITS.__init__的完整签名vits.py分为三个部分基础参数、生成器参数generator_params与判别器参数discriminator_params。2.1 基础参数参数默认值含义idim: int必填输入词表大小vocabulary sizeodim: int必填声学特征维度由于 VITS 是端到端 text-to-wave 模型实际输出通道为 1此参数仅用于兼容性sampling_rate: int22050采样率训练时不使用推理保存波形时引用generator_type: strvits_generator生成器类型需在注册表中discriminator_type: strhifigan_multi_scale_multi_period_discriminator判别器类型cache_generator_outputs: boolTrue是否缓存生成器输出构造时有一个重要的兼容性处理当generator_type vits_generator时代码会自动将idim与odim写入生成器参数generator_params.update(vocabsidim, aux_channelsodim)vits.py。也就是说vocabs词表大小与aux_channels声学特征通道数无需在生成器参数里重复配置会自动从数据侧推断。此外构造完成后会执行reset_parameters()对全模块初始化并额外对generator.decoder与generator.text_encoder再次重置参数。reset_parameters的实现细节vits.py也值得关注对卷积层Conv1D/Conv1DTranspose/Conv2D/Conv2DTranspose和线性层使用kaiming_uniform_asqrt(5)偏置按1/sqrt(fan_in)均匀初始化对BatchNorm/GroupNorm/LayerNorm权重置 1、偏置置 0对Embedding使用正态初始化且 padding 索引强制置 0。2.2 生成器参数generator_params默认参数如下覆盖了生成器全部子模块的配置generator_params { hidden_channels: 192, # 隐藏层通道数 spks: None, # 说话人数1 时启用 sid 嵌入 langs: None, # 语言数1 时启用 lid 嵌入 spk_embed_dim: None, # 说话人嵌入维度如 X-vector0 时启用 global_channels: -1, # 全局条件通道数 segment_size: 32, # 解码器输入段长 # ---- 文本编码器Conformer---- text_encoder_attention_heads: 2, text_encoder_ffn_expand: 4, # FFN 扩展倍数linear_units hidden * expand text_encoder_blocks: 6, # Conformer 块数 text_encoder_positionwise_layer_type: conv1d, text_encoder_positionwise_conv_kernel_size: 1, text_encoder_positional_encoding_layer_type: rel_pos, text_encoder_self_attention_layer_type: rel_selfattn, text_encoder_activation_type: swish, text_encoder_normalize_before: True, text_encoder_dropout_rate: 0.1, text_encoder_positional_dropout_rate: 0.0, text_encoder_attention_dropout_rate: 0.0, text_encoder_conformer_kernel_size: 7, use_macaron_style_in_text_encoder: True, use_conformer_conv_in_text_encoder: True, # ---- 解码器HiFiGAN 声码器---- decoder_kernel_size: 7, decoder_channels: 512, # 初始通道数 decoder_upsample_scales: [8, 8, 2, 2], # 上采样倍数总上采样因子 256 decoder_upsample_kernel_sizes: [16, 16, 4, 4], decoder_resblock_kernel_sizes: [3, 7, 11], decoder_resblock_dilations: [[1, 3, 5], [1, 3, 5], [1, 3, 5]], use_weight_norm_in_decoder: True, # ---- 后验编码器WaveNet---- posterior_encoder_kernel_size: 5, posterior_encoder_layers: 16, posterior_encoder_stacks: 1, posterior_encoder_base_dilation: 1, posterior_encoder_dropout_rate: 0.0, use_weight_norm_in_posterior_encoder: True, # ---- 残差耦合流 ---- flow_flows: 4, flow_kernel_size: 5, flow_base_dilation: 1, flow_layers: 4, flow_dropout_rate: 0.0, use_weight_norm_in_flow: True, use_only_mean_in_flow: True, # ---- 随机时长预测器 ---- stochastic_duration_predictor_kernel_size: 3, stochastic_duration_predictor_dropout_rate: 0.5, stochastic_duration_predictor_flows: 4, stochastic_duration_predictor_dds_conv_layers: 3, }各参数在 generator.py 中有完整 docstring。几个关键设计点多说话人/多语言条件spks 1时创建global_emb nn.Embedding(spks, global_channels)spk_embed_dim 0时创建spemb_proj nn.Linear(spk_embed_dim, global_channels)投影预训练说话人嵌入langs 1时创建lang_emb。这三者都会转化为global_channels维的全局条件g并相加融合见 generator.py。注意启用任何条件通道的前提是global_channels 0否则会触发断言。文本编码器采用 Conformer源码注释明确说明与原始 VITS 的相对位置 Transformer 不同PaddleSpeech 实现使用带卷积的 Conformer 架构text_encoder.py编码器实现在paddlespeech.t2s.modules.transformer.encoder.ConformerEncoder。上采样因子upsample_factor np.prod(decoder_upsample_scales)默认8*8*2*2 256即解码器把 32 长度的段上采样为32*256 8192个采样点。use_only_mean_in_flow控制流中是否只用均值分支默认开启降低推理时的随机性来源。2.3 判别器参数discriminator_params默认使用hifigan_multi_scale_multi_period_discriminator同时包含**多尺度Multi-Scale与多周期Multi-Period**两条判别路径discriminator_params { scales: 1, # 多尺度分支数量 scale_downsample_pooling: AvgPool1D, scale_downsample_pooling_params: {kernel_size: 4, stride: 2, padding: 2}, scale_discriminator_params: { in_channels: 1, out_channels: 1, kernel_sizes: [15, 41, 5, 3], channels: 128, max_downsample_channels: 1024, max_groups: 16, bias: True, downsample_scales: [2, 2, 4, 4, 1], nonlinear_activation: leakyrelu, nonlinear_activation_params: {negative_slope: 0.1}, use_weight_norm: True, use_spectral_norm: False, }, follow_official_norm: False, periods: [2, 3, 5, 7, 11], # 多周期分支的周期集合 period_discriminator_params: { in_channels: 1, out_channels: 1, kernel_sizes: [5, 3], channels: 32, downsample_scales: [3, 3, 3, 3, 1], max_downsample_channels: 1024, bias: True, nonlinear_activation: leakyrelu, nonlinear_activation_params: {negative_slope: 0.1}, use_weight_norm: True, use_spectral_norm: False, }, }其中periods [2, 3, 5, 7, 11]是周期判别器的核心超参它把波形按不同周期重塑后分别判别与多尺度判别器共同构成 MSMPD 结构。三、前向传播生成器与判别器的缓存式交替计算VITS.forward通过布尔开关forward_generator在生成器与判别器之间切换vits.pyforward_generatorTrue走_forward_generatorforward_generatorFalse走_forward_discrminator源码中该拼写如此。两个分支内部结构几乎一致核心是缓存机制self.reuse_cache_gen True if not self.cache_generator_outputs or self._cache is None: self.reuse_cache_gen False outs self.generator(text..., text_lengths..., featsfeats, ...) else: outs self._cache if self.training and self.cache_generator_outputs and not self.reuse_cache_gen: self._cache outs在训练中判别器回合会复用生成器回合的输出self._cache避免同一 batch 上重复跑生成器显著节省计算量。判别器回合使用_forward_discrminator且缓存条件不要求self.training这与 vits_updater.py 中update_core的回合制训练是配套设计的turns [discriminator, generator]或反向排列取决于generator_first。VITSGenerator.forwardgenerator.py的完整计算链路为文本编码x, m_p, logs_p, x_mask text_encoder(text, text_lengths)——得到文本隐藏表示、先验均值/对数方差与 mask全局条件按spks / spk_embed_dim / langs计算g后验编码z, m_q, logs_q, y_mask posterior_encoder(feats, feats_lengths, gg)——从声学特征编码出隐变量流变换z_p flow(z, y_mask, gg)——把后验分布映射到先验空间单调对齐搜索在paddle.no_grad()下计算负交叉熵neg_x_ent调用maximum_path求得单调注意力attn此步骤用 Cython 实现加速见 monotonic_align/core.pyx时长预测w attn.sum(2)统计每帧时长dur_nll duration_predictor(x, x_mask, ww, gg)并除以 mask 求和做归一化特征扩长用注意力矩阵把文本均值m_p、对数方差logs_p扩展到特征帧数随机段采样get_random_segments(z, feats_lengths, segment_size)随机切出 32 帧段解码wav decoder(z_segments, gg)上采样得到最终波形。forward返回 7 元组(wav, dur_nll, attn, z_start_idxs, x_mask, y_mask, (z, z_p, m_p, logs_p, m_q, logs_q))其中最后一个元组供 KL 损失计算使用。四、推理接口noise_scale 与 alpha 的调节艺术VITS.inferencevits.py是部署时最常用的接口签名与默认值如下def inference( self, text, # 文本索引 (T_text,) featsNone, # 声学特征 (T_feats, aux_channels) sidsNone, spembsNone, lidsNone, durationsNone, # 真实时长teacher forcing 用 noise_scale0.667, # 流的噪声尺度 noise_scale_dur0.8, # 时长预测器的噪声尺度 alpha1.0, # 语速控制参数 max_lenNone, # 特征序列最大长度 use_teacher_forcingFalse, ) - Dict[str, paddle.Tensor]返回字典包含三个键wav生成的波形张量(T_wav,)att_w单调注意力权重(T_feats, T_text)duration预测的时长(T_text,)。推理分为两种路径generator.py教师强迫use_teacher_forcingTrue要求传入feats从真实特征出发走后验编码器 流 对齐搜索得到dur再直接解码真实z常用于训练诊断或评测标准自回归式生成由duration_predictor以inverseTrue反推 log 时长w exp(logw) * x_mask * alpha后向上取整得到整数时长dur再通过_generate_path构造单调路径把先验均值扩到帧级采样z_p m_p randn * exp(logs_p) * noise_scale经逆流回到后验空间后由声码器解码。三个推理超参的物理含义值得说明noise_scale加在流采样上的高斯噪声尺度越大音色/韵律随机性越强默认 0.667noise_scale_dur时长预测器逆变换时的噪声尺度控制发音节奏的随机性默认 0.8alpha直接乘在时长上1 放慢语速1 加快语速是推理时最常用的变速手段。模块还提供了便捷封装VITSInference(nn.Layer)vits.py只需model.inference(text, sids)即可返回wav适合与 CLIP 推理流程或服务端对接。五、语音转换VITS 的隐藏能力VITS.voice_conversionvits.py实现了基于 VITS 的说话人转换利用生成器中内容信息在隐变量、说话人信息在全局条件的分离特性def voice_conversion(self, feats, sids_srcNone, sids_tgtNone, spembs_srcNone, spembs_tgtNone, lidsNone):算法流程见 generator.py用源说话人条件g_src驱动后验编码器与流把真实特征编码为内容隐变量z_p用目标说话人条件g_tgt执行逆流z_hat flow(z_p, y_mask, gg_tgt, inverseTrue)由解码器在g_tgt下重建波形实现内容不变、音色切换。源码中的断言逻辑要求sids与spembs至少提供其中一种not sids_none or not spembs_none即要么用说话人 ID 嵌入要么用预训练说话人嵌入。PaddleSpeech 的 aishell3 示例就基于此能力提供了vc0/vc1/vc2等语音转换方案。六、训练侧实现VITSUpdater 的回合制对抗训练训练逻辑封装在 vits_updater.py 的VITSUpdater中其关键配置如下超参默认值含义generator_train_start_steps0生成器开始训练的步数discriminator_train_start_steps100000判别器开始训练的步数先只训生成器 10 万步lambda_adv1.0对抗损失权重lambda_mel45.0Mel 谱损失权重lambda_feat_match2.0特征匹配损失权重lambda_dur1.0时长 NLL 损失权重lambda_kl1.0KL 散度损失权重generator_firstFalse回合顺序默认先判别器后生成器训练回合中生成器总损失为gen_loss mel_loss * lambda_mel kl_loss * lambda_kl dur_loss * lambda_dur \ adv_loss * lambda_adv feat_match_loss * lambda_feat_match其中mel_loss是生成波形与真实波形的 Mel 谱 L1 损失kl_loss使用后验/先验分布的对数尺度与 mask 计算dur_loss来自随机时长预测器的负对数似然。判别器回合则用real_loss fake_loss更新并在生成器回合用paddle.no_grad()屏蔽判别器梯度、在判别器回合对生成器输出detach()保证两个网络的梯度互不串扰。回合结束时按updates_per_epoch步进学习率调度器并重置self.model._cache。配套的VITSEvaluator在evaluate_core中计算同样的损失指标前缀为eval/用于验证集评估。七、真实配置对照从 csmsc 单说话人到 aishell3 多说话人PaddleSpeech 为 VITS 提供了可直接运行的示例配置与源码默认参数高度一致单说话人中文标准女声examples/csmsc/vits配套 conf/default.yaml多说话人examples/aishell3/vits配套 conf/default.yaml。以 csmsc 配置为例其音频前端参数为fs: 22050 # 采样率 n_fft: 1024 # FFT 大小 n_shift: 256 # 帧移约 12.5ms win_length: null # 窗长null 时等于 n_fft window: hann # 窗函数模型部分的generator_params与 2.2 节默认值几乎一一对应差别仅在于csmsc 配置spks: -1单说话人不启用条件嵌入、global_channels: -1、use_conformer_conv_in_text_encoder: False且text_encoder_conformer_kernel_size: -1即文本编码器退化为无卷积的 Transformer 形式。而 aishell3 等多说话人场景则需将spks设为说话人数且global_channels 0并配合spk_id数据字段。示例目录还提供了完整的训练与推理脚本链local/preprocess.sh数据预处理、local/train.sh训练、local/synthesize.sh从文本合成、local/synthesize_e2e.sh端到端合成、local/inference.sh推理以及export2lite.sh、paddle2onnx.sh、lite_predict.sh等模型导出与端侧部署脚本可配合 README.md 中的步骤从零复现。八、总结paddlespeech.t2s.models.vits.vits模块是 PaddleSpeech 端到端 TTS 能力的核心实现它以VITS类统一封装生成器与判别器通过注册表机制支持灵活的组件替换通过生成器输出缓存支撑高效的回合制对抗训练并同时提供 TTS 推理、语速控制alpha、随机性控制noise_scale/noise_scale_dur与语音转换voice_conversion四大能力。理解该模块的参数体系与前向链路是在 PaddleSpeech 中定制 VITS 模型、接入多说话人/多语言条件以及部署端到端语音合成系统的起点。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐UNiLM 仓库 edgelm(fairseq)中 RoBERTa 微调 CommonsenseQA 的完整实践任务注册、sentence_ranking 评分与超参搜索UNiLM 仓库 edgelm fairseq 中 RoBERTa 微调 CommonsenseQA 的完整实践任务注册、sentence_ranking 评人工智能语音音频Neon Endpoint Persistent Unlogged Files StorageEPUFS设计解析基于 S3 的端点非日志文件持久化方案Neon Endpoint Persistent Unlogged Files StorageEPUFS设计解析基于 S3 的端点非日志文件持久化方案 导人工智能语音音频NLP媒体生成PaddleSpeech 端到端 TTS 合成实战synthesize_e2e 模块架构、参数与源码级解析PaddleSpeech 端到端 TTS 合成实战synthesize_e2e 模块架构、参数与源码级解析 PaddleSpeech 的 paddlespee人工智能语音音频上一篇3分钟学会用WorkshopDL免费下载Steam创意工坊模组的终极指南下一篇Instant 速率限制Rate Limits完全指南用权限规则实现令牌桶限流创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PaddleSpeech VITS 模块源码解析：端到端 TTS 生成器、判别器与推理接口全解
人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载VITSConditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech是 PaddleSpeech 中用于**端到端文转语音TTS**的核心模型它绕开了传统声学模型 声码器的两阶段流水线直接从文本索引生成原始波形。本篇以 docs/source/api/paddlespeech.t2s.models.vits.vits.rst 所记载的paddlespeech.t2s.models.vits.vits模块为骨架结合其背后的 vits.py 源码与示例配置逐层拆解 VITS 的生成器/判别器架构、全部构造参数、训练前向逻辑、推理与语音转换接口帮助读者掌握在 PaddleSpeech 中定制与调用 VITS 的完整方法。一、模块定位一个类承载完整 VITS 模型paddlespeech.t2s.models.vits.vits是 PaddleSpeech 中 VITS 模型的顶层封装模块其 RST API 文档通过 Sphinxautomodule指令自动生成模块级 API 参考。该模块的核心是一个VITS(nn.Layer)类源码注释明确说明它是 VITS module (generator discriminator)——即一个类同时持有生成器与判别器用于端到端训练与推理。模块开头定义了两个关键的注册表见 vits.pyAVAILABLE_GENERATERS当前仅注册了vits_generator对应VITSGeneratorAVAILABLE_DISCRIMINATORS注册了 5 种判别器包括hifigan_period_discriminator、hifigan_scale_discriminator、hifigan_multi_period_discriminator、hifigan_multi_scale_discriminator以及默认使用的hifigan_multi_scale_multi_period_discriminator。这些判别器全部复用于 HiFiGAN 模型目录体现了 VITS 与 HiFiGAN 在对抗训练组件上的共享设计。从源码结构看VITS类的组件划分可以概括为子模块类文件文本编码器TextEncoderConformer 架构text_encoder.py后验编码器PosteriorEncoderWaveNet 堆叠posterior_encoder.py残差耦合流ResidualAffineCouplingBlockresidual_coupling.py随机时长预测器StochasticDurationPredictorduration_predictor.py声码器解码器HiFiGANGeneratorgenerator.py单调对齐搜索maximum_pathCython 加速monotonic_align/core.pyx训练/评估VITSUpdater/VITSEvaluatorvits_updater.py二、VITS 类构造参数详解VITS.__init__的完整签名vits.py分为三个部分基础参数、生成器参数generator_params与判别器参数discriminator_params。2.1 基础参数参数默认值含义idim: int必填输入词表大小vocabulary sizeodim: int必填声学特征维度由于 VITS 是端到端 text-to-wave 模型实际输出通道为 1此参数仅用于兼容性sampling_rate: int22050采样率训练时不使用推理保存波形时引用generator_type: strvits_generator生成器类型需在注册表中discriminator_type: strhifigan_multi_scale_multi_period_discriminator判别器类型cache_generator_outputs: boolTrue是否缓存生成器输出构造时有一个重要的兼容性处理当generator_type vits_generator时代码会自动将idim与odim写入生成器参数generator_params.update(vocabsidim, aux_channelsodim)vits.py。也就是说vocabs词表大小与aux_channels声学特征通道数无需在生成器参数里重复配置会自动从数据侧推断。此外构造完成后会执行reset_parameters()对全模块初始化并额外对generator.decoder与generator.text_encoder再次重置参数。reset_parameters的实现细节vits.py也值得关注对卷积层Conv1D/Conv1DTranspose/Conv2D/Conv2DTranspose和线性层使用kaiming_uniform_asqrt(5)偏置按1/sqrt(fan_in)均匀初始化对BatchNorm/GroupNorm/LayerNorm权重置 1、偏置置 0对Embedding使用正态初始化且 padding 索引强制置 0。2.2 生成器参数generator_params默认参数如下覆盖了生成器全部子模块的配置generator_params { hidden_channels: 192, # 隐藏层通道数 spks: None, # 说话人数1 时启用 sid 嵌入 langs: None, # 语言数1 时启用 lid 嵌入 spk_embed_dim: None, # 说话人嵌入维度如 X-vector0 时启用 global_channels: -1, # 全局条件通道数 segment_size: 32, # 解码器输入段长 # ---- 文本编码器Conformer---- text_encoder_attention_heads: 2, text_encoder_ffn_expand: 4, # FFN 扩展倍数linear_units hidden * expand text_encoder_blocks: 6, # Conformer 块数 text_encoder_positionwise_layer_type: conv1d, text_encoder_positionwise_conv_kernel_size: 1, text_encoder_positional_encoding_layer_type: rel_pos, text_encoder_self_attention_layer_type: rel_selfattn, text_encoder_activation_type: swish, text_encoder_normalize_before: True, text_encoder_dropout_rate: 0.1, text_encoder_positional_dropout_rate: 0.0, text_encoder_attention_dropout_rate: 0.0, text_encoder_conformer_kernel_size: 7, use_macaron_style_in_text_encoder: True, use_conformer_conv_in_text_encoder: True, # ---- 解码器HiFiGAN 声码器---- decoder_kernel_size: 7, decoder_channels: 512, # 初始通道数 decoder_upsample_scales: [8, 8, 2, 2], # 上采样倍数总上采样因子 256 decoder_upsample_kernel_sizes: [16, 16, 4, 4], decoder_resblock_kernel_sizes: [3, 7, 11], decoder_resblock_dilations: [[1, 3, 5], [1, 3, 5], [1, 3, 5]], use_weight_norm_in_decoder: True, # ---- 后验编码器WaveNet---- posterior_encoder_kernel_size: 5, posterior_encoder_layers: 16, posterior_encoder_stacks: 1, posterior_encoder_base_dilation: 1, posterior_encoder_dropout_rate: 0.0, use_weight_norm_in_posterior_encoder: True, # ---- 残差耦合流 ---- flow_flows: 4, flow_kernel_size: 5, flow_base_dilation: 1, flow_layers: 4, flow_dropout_rate: 0.0, use_weight_norm_in_flow: True, use_only_mean_in_flow: True, # ---- 随机时长预测器 ---- stochastic_duration_predictor_kernel_size: 3, stochastic_duration_predictor_dropout_rate: 0.5, stochastic_duration_predictor_flows: 4, stochastic_duration_predictor_dds_conv_layers: 3, }各参数在 generator.py 中有完整 docstring。几个关键设计点多说话人/多语言条件spks 1时创建global_emb nn.Embedding(spks, global_channels)spk_embed_dim 0时创建spemb_proj nn.Linear(spk_embed_dim, global_channels)投影预训练说话人嵌入langs 1时创建lang_emb。这三者都会转化为global_channels维的全局条件g并相加融合见 generator.py。注意启用任何条件通道的前提是global_channels 0否则会触发断言。文本编码器采用 Conformer源码注释明确说明与原始 VITS 的相对位置 Transformer 不同PaddleSpeech 实现使用带卷积的 Conformer 架构text_encoder.py编码器实现在paddlespeech.t2s.modules.transformer.encoder.ConformerEncoder。上采样因子upsample_factor np.prod(decoder_upsample_scales)默认8*8*2*2 256即解码器把 32 长度的段上采样为32*256 8192个采样点。use_only_mean_in_flow控制流中是否只用均值分支默认开启降低推理时的随机性来源。2.3 判别器参数discriminator_params默认使用hifigan_multi_scale_multi_period_discriminator同时包含**多尺度Multi-Scale与多周期Multi-Period**两条判别路径discriminator_params { scales: 1, # 多尺度分支数量 scale_downsample_pooling: AvgPool1D, scale_downsample_pooling_params: {kernel_size: 4, stride: 2, padding: 2}, scale_discriminator_params: { in_channels: 1, out_channels: 1, kernel_sizes: [15, 41, 5, 3], channels: 128, max_downsample_channels: 1024, max_groups: 16, bias: True, downsample_scales: [2, 2, 4, 4, 1], nonlinear_activation: leakyrelu, nonlinear_activation_params: {negative_slope: 0.1}, use_weight_norm: True, use_spectral_norm: False, }, follow_official_norm: False, periods: [2, 3, 5, 7, 11], # 多周期分支的周期集合 period_discriminator_params: { in_channels: 1, out_channels: 1, kernel_sizes: [5, 3], channels: 32, downsample_scales: [3, 3, 3, 3, 1], max_downsample_channels: 1024, bias: True, nonlinear_activation: leakyrelu, nonlinear_activation_params: {negative_slope: 0.1}, use_weight_norm: True, use_spectral_norm: False, }, }其中periods [2, 3, 5, 7, 11]是周期判别器的核心超参它把波形按不同周期重塑后分别判别与多尺度判别器共同构成 MSMPD 结构。三、前向传播生成器与判别器的缓存式交替计算VITS.forward通过布尔开关forward_generator在生成器与判别器之间切换vits.pyforward_generatorTrue走_forward_generatorforward_generatorFalse走_forward_discrminator源码中该拼写如此。两个分支内部结构几乎一致核心是缓存机制self.reuse_cache_gen True if not self.cache_generator_outputs or self._cache is None: self.reuse_cache_gen False outs self.generator(text..., text_lengths..., featsfeats, ...) else: outs self._cache if self.training and self.cache_generator_outputs and not self.reuse_cache_gen: self._cache outs在训练中判别器回合会复用生成器回合的输出self._cache避免同一 batch 上重复跑生成器显著节省计算量。判别器回合使用_forward_discrminator且缓存条件不要求self.training这与 vits_updater.py 中update_core的回合制训练是配套设计的turns [discriminator, generator]或反向排列取决于generator_first。VITSGenerator.forwardgenerator.py的完整计算链路为文本编码x, m_p, logs_p, x_mask text_encoder(text, text_lengths)——得到文本隐藏表示、先验均值/对数方差与 mask全局条件按spks / spk_embed_dim / langs计算g后验编码z, m_q, logs_q, y_mask posterior_encoder(feats, feats_lengths, gg)——从声学特征编码出隐变量流变换z_p flow(z, y_mask, gg)——把后验分布映射到先验空间单调对齐搜索在paddle.no_grad()下计算负交叉熵neg_x_ent调用maximum_path求得单调注意力attn此步骤用 Cython 实现加速见 monotonic_align/core.pyx时长预测w attn.sum(2)统计每帧时长dur_nll duration_predictor(x, x_mask, ww, gg)并除以 mask 求和做归一化特征扩长用注意力矩阵把文本均值m_p、对数方差logs_p扩展到特征帧数随机段采样get_random_segments(z, feats_lengths, segment_size)随机切出 32 帧段解码wav decoder(z_segments, gg)上采样得到最终波形。forward返回 7 元组(wav, dur_nll, attn, z_start_idxs, x_mask, y_mask, (z, z_p, m_p, logs_p, m_q, logs_q))其中最后一个元组供 KL 损失计算使用。四、推理接口noise_scale 与 alpha 的调节艺术VITS.inferencevits.py是部署时最常用的接口签名与默认值如下def inference( self, text, # 文本索引 (T_text,) featsNone, # 声学特征 (T_feats, aux_channels) sidsNone, spembsNone, lidsNone, durationsNone, # 真实时长teacher forcing 用 noise_scale0.667, # 流的噪声尺度 noise_scale_dur0.8, # 时长预测器的噪声尺度 alpha1.0, # 语速控制参数 max_lenNone, # 特征序列最大长度 use_teacher_forcingFalse, ) - Dict[str, paddle.Tensor]返回字典包含三个键wav生成的波形张量(T_wav,)att_w单调注意力权重(T_feats, T_text)duration预测的时长(T_text,)。推理分为两种路径generator.py教师强迫use_teacher_forcingTrue要求传入feats从真实特征出发走后验编码器 流 对齐搜索得到dur再直接解码真实z常用于训练诊断或评测标准自回归式生成由duration_predictor以inverseTrue反推 log 时长w exp(logw) * x_mask * alpha后向上取整得到整数时长dur再通过_generate_path构造单调路径把先验均值扩到帧级采样z_p m_p randn * exp(logs_p) * noise_scale经逆流回到后验空间后由声码器解码。三个推理超参的物理含义值得说明noise_scale加在流采样上的高斯噪声尺度越大音色/韵律随机性越强默认 0.667noise_scale_dur时长预测器逆变换时的噪声尺度控制发音节奏的随机性默认 0.8alpha直接乘在时长上1 放慢语速1 加快语速是推理时最常用的变速手段。模块还提供了便捷封装VITSInference(nn.Layer)vits.py只需model.inference(text, sids)即可返回wav适合与 CLIP 推理流程或服务端对接。五、语音转换VITS 的隐藏能力VITS.voice_conversionvits.py实现了基于 VITS 的说话人转换利用生成器中内容信息在隐变量、说话人信息在全局条件的分离特性def voice_conversion(self, feats, sids_srcNone, sids_tgtNone, spembs_srcNone, spembs_tgtNone, lidsNone):算法流程见 generator.py用源说话人条件g_src驱动后验编码器与流把真实特征编码为内容隐变量z_p用目标说话人条件g_tgt执行逆流z_hat flow(z_p, y_mask, gg_tgt, inverseTrue)由解码器在g_tgt下重建波形实现内容不变、音色切换。源码中的断言逻辑要求sids与spembs至少提供其中一种not sids_none or not spembs_none即要么用说话人 ID 嵌入要么用预训练说话人嵌入。PaddleSpeech 的 aishell3 示例就基于此能力提供了vc0/vc1/vc2等语音转换方案。六、训练侧实现VITSUpdater 的回合制对抗训练训练逻辑封装在 vits_updater.py 的VITSUpdater中其关键配置如下超参默认值含义generator_train_start_steps0生成器开始训练的步数discriminator_train_start_steps100000判别器开始训练的步数先只训生成器 10 万步lambda_adv1.0对抗损失权重lambda_mel45.0Mel 谱损失权重lambda_feat_match2.0特征匹配损失权重lambda_dur1.0时长 NLL 损失权重lambda_kl1.0KL 散度损失权重generator_firstFalse回合顺序默认先判别器后生成器训练回合中生成器总损失为gen_loss mel_loss * lambda_mel kl_loss * lambda_kl dur_loss * lambda_dur \ adv_loss * lambda_adv feat_match_loss * lambda_feat_match其中mel_loss是生成波形与真实波形的 Mel 谱 L1 损失kl_loss使用后验/先验分布的对数尺度与 mask 计算dur_loss来自随机时长预测器的负对数似然。判别器回合则用real_loss fake_loss更新并在生成器回合用paddle.no_grad()屏蔽判别器梯度、在判别器回合对生成器输出detach()保证两个网络的梯度互不串扰。回合结束时按updates_per_epoch步进学习率调度器并重置self.model._cache。配套的VITSEvaluator在evaluate_core中计算同样的损失指标前缀为eval/用于验证集评估。七、真实配置对照从 csmsc 单说话人到 aishell3 多说话人PaddleSpeech 为 VITS 提供了可直接运行的示例配置与源码默认参数高度一致单说话人中文标准女声examples/csmsc/vits配套 conf/default.yaml多说话人examples/aishell3/vits配套 conf/default.yaml。以 csmsc 配置为例其音频前端参数为fs: 22050 # 采样率 n_fft: 1024 # FFT 大小 n_shift: 256 # 帧移约 12.5ms win_length: null # 窗长null 时等于 n_fft window: hann # 窗函数模型部分的generator_params与 2.2 节默认值几乎一一对应差别仅在于csmsc 配置spks: -1单说话人不启用条件嵌入、global_channels: -1、use_conformer_conv_in_text_encoder: False且text_encoder_conformer_kernel_size: -1即文本编码器退化为无卷积的 Transformer 形式。而 aishell3 等多说话人场景则需将spks设为说话人数且global_channels 0并配合spk_id数据字段。示例目录还提供了完整的训练与推理脚本链local/preprocess.sh数据预处理、local/train.sh训练、local/synthesize.sh从文本合成、local/synthesize_e2e.sh端到端合成、local/inference.sh推理以及export2lite.sh、paddle2onnx.sh、lite_predict.sh等模型导出与端侧部署脚本可配合 README.md 中的步骤从零复现。八、总结paddlespeech.t2s.models.vits.vits模块是 PaddleSpeech 端到端 TTS 能力的核心实现它以VITS类统一封装生成器与判别器通过注册表机制支持灵活的组件替换通过生成器输出缓存支撑高效的回合制对抗训练并同时提供 TTS 推理、语速控制alpha、随机性控制noise_scale/noise_scale_dur与语音转换voice_conversion四大能力。理解该模块的参数体系与前向链路是在 PaddleSpeech 中定制 VITS 模型、接入多说话人/多语言条件以及部署端到端语音合成系统的起点。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐UNiLM 仓库 edgelm(fairseq)中 RoBERTa 微调 CommonsenseQA 的完整实践任务注册、sentence_ranking 评分与超参搜索UNiLM 仓库 edgelm fairseq 中 RoBERTa 微调 CommonsenseQA 的完整实践任务注册、sentence_ranking 评人工智能语音音频Neon Endpoint Persistent Unlogged Files StorageEPUFS设计解析基于 S3 的端点非日志文件持久化方案Neon Endpoint Persistent Unlogged Files StorageEPUFS设计解析基于 S3 的端点非日志文件持久化方案 导人工智能语音音频NLP媒体生成PaddleSpeech 端到端 TTS 合成实战synthesize_e2e 模块架构、参数与源码级解析PaddleSpeech 端到端 TTS 合成实战synthesize_e2e 模块架构、参数与源码级解析 PaddleSpeech 的 paddlespee人工智能语音音频上一篇3分钟学会用WorkshopDL免费下载Steam创意工坊模组的终极指南下一篇Instant 速率限制Rate Limits完全指南用权限规则实现令牌桶限流创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考