简介这是基于MATLAB实现PSOLA算法的语音处理资源包面向语音信号处理研究人员与入门开发者提供从音高检测、有声段标记、峰值候选查找到重叠添加合成的完整实现链路。压缩包共62个文件包含61个功能化MATLAB脚本与1个示例音频代码按功能划分为音高检测、有声段识别、分割点计算和语音合成等模块整体仅78KB结构紧凑便于阅读。已有170人学习下载。脚本通过主程序串联各步骤可处理wav样本完成音高缩放与时长调整并附带多种实现变体如基础合成、加权合成及通用合成。研究者可借此比对不同分割与重叠策略的效果也可基于现有函数扩展自相关、倒谱等音高检测方法或改造合成模块以适配新场景。对于希望快速上手经典算法、复现实验并做二次改进的读者这套源码提供清晰的函数边界与示例音频能够有效降低入门门槛。1. 拿到 PSOLA.zip 后先搞清楚它解决什么问题PSOLAPitch Synchronous Overlap Add基音同步叠接相加是语音信号处理里最经典的变调与变速工具。你在语音处理资源站里看到“PSOLA.zip_PSOLA_PSOLA网站”这样的包名时通常意味着这个压缩包里装着一个基于 PSOLA 的源码工程、可执行程序或工具脚本网站名称只是作者发布资源时留下的水印式命名。把包解压出来之后里面一般是.py、.m、.c或编译产物外加几段测试音频。这个技术解决的问题很具体在不改变语义的前提下单独修改一段语音的音高或单独修改播放速度且不能事后听到明显的“罐头声”或爆音。如果你正做语音变声、配音素材预处理、字幕音画同步或给 TTS 做韵律控制这个包就是可以立刻拿来做实验的起点。2. PSOLA 算法拆开看基音同步与叠接相加的底层逻辑2.1 为什么不能直接重采样音高和时长被绑定了把整段语音直接按倍数重采样会让声音变高或变低同时播放时长也跟着变音高和时长无法解耦。这也是很多初学者把“变调”错做成“变速”的原因。TD-PSOLOA 和普通的重采样处理不同它先找到语音中每个基音周期的起点位置再把这些以“周期”为单位的小片段拆出来最后通过调整片段的排列顺序和片段内部的采样点用叠接相加的方式重新合成信号从而分别控制音高和时长。这个思路的关键点在于“基音同步”。语音中的浊音段有明显的周期性相邻两个峰值之间的间隔就是基音周期。如果我们在变换时依然按照原来的周期边界做切分再用 Hanning 窗把每个周期包起来重组时的相位关系会比较自然不会出现共振峰被破坏后那种“机器人声”。2.2 两个核心操作改变周期密度和改变片段重复率PSOLA 对音高和时长的控制分为两个方向。提高音高让每个基音周期内部的采样数变少高频处实际是把原周期做线性插值压缩再按原来的周期边界叠接降低音高则是把周期内部重采样拉长。时长控制则走另一条路如果要延长语音在合适的位置把相邻基音片段重复一次并保持每个片段的原始采样长度如果要缩短时长就删除一部分片段。因此音高移动的本质是“周期内重采样”时长缩放的本质是“周期片段的复制与删除”两者叠加起来就同时改变音高和时长。需要说明的是这里描述的是 TD-PSOLA 的做法即直接在时域处理基音周期。LSLPCPSOLA 会把残差信号和声道滤波器分开处理但工程落地时 TD-PSOLA 更常用。实现成本低、参数少而且对单语音频效果足够好。多音轨里的音乐、打击乐或者噪声段PSOLA 处理起来会糊因为那些信号不具备稳定的基音周期所以算法内部必须有清音/浊音判断对清音段只做时长拉伸而不做音高转移才能避免噪声被同步打碎。2.3 从波形看算法周期切割、加窗、叠接用数学语言描述输入波形x[n]采样率sr通过自相关检测得到每个周期的起始位置t_i。取窗长大约为周期长度的两倍窗函数通常用 Hanning 窗中心对准周期内的峰值点t_i period/2。变换后得到新位置u_j把窗口系数和原波形相乘后叠加到输出位置。合成公式可以写成output[u_j m] frame_i[m] * window[m] output_sum[u_j m] window[m] * window[m] # 能量归一化其中frame_i取自原信号x[t_i - win_len//2 : t_i win_len//2]window是同样长度的 Hanning 窗。实际实现里通常不保存单独的累积数组而是把窗口系数二次方直接除以总和用重叠部分归一化这样能避免相邻窗叠加时出现音量抖动。这个式子虽然简单但非常关键凡是听到“咕嘟咕嘟”的喘气声多半是归一化没做或者标记点位置定位到了不稳定的振动上。TD-PSOLA 实现中的伪码流程通常是基音检测 → 清浊音标记 → 周期位置重采样 → 加窗叠接。下面一章会给出一个能跑通的最小 Python 版本方便你把 PSOLA.zip 里的代码和这一套理论对应起来。3. 本地跑通 PSOLA 最小实现从 zip 里的源码到可运行 demo3.1 解压前的三个检查校验和、目录层级、文件编码从网站下载的 PSOLA.zip 和普通源码包一样先用unzip -l查看目录结构确认是否包含测试音频和依赖清单。常见做法是unzip -l PSOLA.zip unzip -t PSOLA.zip第一条命令列出压缩包内容第二条检查 zip 的 CRC 完整性。挂在资源站的包经常在下载中途被截断如果不做这一步解压时提示“invalid zip archive: could not find EOCD”的概率很高。还有一点常被忽略Windows 上解压出来的中文文件名会乱码或不解压失败原因是 zip 内部编码使用了 GBK而 Linux 的unzip会按 UTF-8 解释。解决办法是unzip -O gbk PSOLA.zip或者用 7-Zip 选择编码后再解压。这里不建议去搜什么 zip 压缩包密码破解工具如果包被加密且没有提供口令那要么联系原作者要么从合法的公开镜像重新拉取花时间破解不值得。解压后你大概率会看到一个psola目录里面包含main.py、psola.py、requirements.txt和test.wav。先用命令行跑起来确认环境依赖再修改代码。3.2 最小可运行代码基于自相关的 TD-PSOLA 实现为了让核心逻辑明确我把整个算法压缩成不到 90 行只做“音高移动”和“时长伸缩”两个函数。它不依赖任何第三方 DSP 库只用numpy和scipy.io.wavfile读写音频。import numpy as np from scipy.io import wavfile def autocorrelation_period(x, sr, fmin60, fmax400): 根据自相关峰值估计基音周期返回每个采样点的周期长度 n len(x) period np.zeros(n, dtypenp.float32) frame 512 hop 128 # 转成 int16 范围 x x / (np.max(np.abs(x)) 1e-9) for start in range(0, n - frame, hop): seg x[start:start frame] corr np.correlate(seg, seg, modefull)[frame-1:] lag_min int(sr / fmax) lag_max int(sr / fmin) corr[:lag_min] 0 if corr[lag_max:].max() 0: continue peak np.argmax(corr[lag_max:]) lag_max period[start:start frame] peak return period def make_window(win_len): Hanning 窗两端为零保证叠接相加时没有突变 return np.hanning(win_len).astype(np.float32) def td_psola(x, sr, pitch_factor1.0, stretch_factor1.0): pitch_factor 1 音调变高 1 音调变低 stretch_factor 1 拉长时长 1 缩短时长 period_est autocorrelation_period(x, sr) n len(x) # 找到所有浊音峰值点 marks [] step max(int(period_est.mean()), 80) pos step // 2 while pos n - step: local_start max(0, int(pos - step/2)) local_end min(n, int(pos step/2)) if local_end local_start: break m local_start int(np.argmax(x[local_start:local_end])) marks.append(m) pos m int(period_est[m]) if len(marks) 2: raise ValueError(检测不到足够的基音周期检查音频是否为浊音信号) # 生成新的标记位置 if pitch_factor ! 1.0: new_marks [] for i in range(len(marks)): # 只对边界做插值不改变内部波形 rel i / (len(marks) - 1) new_pos marks[0] (marks[-1] - marks[0]) * rel new_pos (i - rel * (len(marks) - 1)) * (1 - pitch_factor) * 100 new_marks.append(new_pos) else: new_marks marks if stretch_factor ! 1.0: new_marks np.array(new_marks) * stretch_factor # 合成输出 out_len int(n * stretch_factor 10000) out np.zeros(out_len, dtypenp.float32) norm np.zeros(out_len, dtypenp.float32) half 256 win make_window(half * 2) for orig, newm in zip(marks, new_marks): start max(0, orig - half) end min(n, orig half) if end - start 2: continue frame x[start:end].astype(np.float32) w make_window(len(frame)) l len(frame) out_start int(newm) - len(frame) // 2 if out_start 0 or out_start l out_len: continue out[out_start:out_startl] frame * w norm[out_start:out_startl] w * w # 防止除零 norm np.maximum(norm, 1e-8) out out / norm return out这段代码里autocorrelation_period的帧长 512 对应 16kHz 采样率下约 32ms足以覆盖最低 60Hz 的基频step用平均周期约 80 个采样点保证峰值点之间不会重叠。td_psola中生成新的标记位置时我使用了插值加一个带符号偏移的方式近似实现音高变换。严格来说TD-PSOLA 改变音高需要把每个周期内部数据重采样到新的长度再按新周期边界叠接上面这个简化版本用了“调整窗口中心间距”来模拟便于理解原理。要得到专业的听感你要用scipy.signal.resample对每个标记区间做重采样并把时长伸缩后的标记序列作为叠接中心。3.3 运行与参数验证调用这个最小函数先原样跑一遍再逐步调整参数sr, audio wavfile.read(test.wav) # 如果音频是双声道先取单声道 if audio.ndim 1: audio audio.mean(axis1) out_high td_psola(audio.astype(np.float32), sr, pitch_factor1.4, stretch_factor1.0) wavfile.write(high.wav, sr, (out_high * 32767).astype(np.int16)) out_slow td_psola(audio.astype(np.float32), sr, pitch_factor1.0, stretch_factor1.5) wavfile.write(slow.wav, sr, (out_slow * 32767).astype(np.int16))如果你听到明显金属声先检查pitch_factor是否超过 1.5。TD-PSOLA 的稳定区间是 0.6 到 1.8超出后需要进行谱包络修正这不是时域方法能解决的。stretch_factor若大于 2建议叠加“按无声/有声区域分段处理”否则词与词之间的停顿也被拉长听感不自然。把win_len换成固定 512不用2 * period会在语速变化时导致共振峰断裂这也是很多 PSOLA demo 输出音质的差异所在。4. 调参、踩坑与文件工程细节让 PSOLA 输出干净话音4.1 PSOLA 的五个必调参数与推荐范围当你从 zip 包里的示例代码开始改最常遇到的参数是这些整理成表方便直接照抄参数作用推荐范围过大/过小的后果基音检测帧长决定基频分析的时间分辨率20-40ms太小则周期估计抖动太大则基频变化快的语音被平滑叠加窗长决定每个周期片段包含多少邻域上下文2-3 个基音周期过长会让声音变浑过短会产生切碎感重叠因子相邻周期片段的叠接比例0.5-1.0过小有抽动声过大会产生低通感基音周期上下限约束搜索范围避免半倍频错误男性 60-200Hz女性 150-400Hz搜到倍频或半倍频会直接跑调清音门限区分浊音/清音和静音按能量比 0.3-0.7 设阈值误把 f/s 等清音当浊音处理会发“吱吱”声实际处理中我建议先把fmin/fmax设窄减少倍频误差然后用目标音高和原始音高之比控制pitch_factor而不是手动去改窗长。很多 zip 里自带的 GUI 工具会暴露更多参数但核心也就是上表这些。参数改完后续要做一次完整的“无变换”测试也就是把所有因子设为 1.0 后对比原声如果这个环节就出现音量漂移或节奏不稳说明标记位置已经偏移需要先解决基音检测问题。4.2 解压和文件读写的常见坑用 zip 包时除了完整性校验你还会遇到几个和音频处理直接相关的坑。第一是采样率不一致。包里的test.wav可能是 44100Hz但 MATLAB 脚本写死fs16000直接跑出来的结果音调会低很多。第二是位深问题。scipy.io.wavfile.read返回的int16数组转成float32时需要除以 32768写完再乘回 32767否则会有直流偏移和削波。第三是zipfile在 Python 里读取时如果压缩包里有 UTF-8 文件名和 GBK 文件名混用最好先解压到本地再处理不要在内存流里反复 seek否则遇到损坏的 zip 中心目录就会报Could not find EOCD并且难以恢复。处理这些音频文件时我一般会先写一小段脚本统一转格式再进入核心算法import wave import numpy as np def read_audio_mono(path): with wave.open(path, rb) as w: sr w.getframerate() n_ch w.getnchannels() frames w.readframes(w.getnframes()) data np.frombuffer(frames, dtypenp.int16) if n_ch 1: data data.reshape(-1, n_ch).mean(axis1) return sr, data.astype(np.float32) / 32768.0这里直接判断声道数并转为单声道同时把采样点归一化到[-1, 1]。如果你想处理 24bit WAVnp.int16就不适用了要改用np.int32并按 8388607 归一化这是一个容易在真实语音库上翻车的细节。4.3 信号边界处理首尾静音和相位对齐PSOLA 合成时最容易被忽略的是首尾静音。头尾 50ms 以上的静音如果有噪声检测到的周期位置会非常随机合成结果会带有“噗噗”声。正确做法是先用能量检测切掉首尾静音或至少保留原始静音长度不参与基音同步处理。时长伸缩后静音部分需要单独按比例拉伸而不是让 PSOLA 把它们当无声浊音处理。另一个常见问题是语音中间出现吞咽声、呼吸声这种非平稳段自相关会把异常峰值当成基音周期。如果你在 GitHub 上找到的 zip 包里已经带有vad.py或pitch_mark.py尽量用里面写好的端点检测功能。之前有人直接把我上面的简化代码跑在电话录音上基音检测窗口里有一段键盘敲击声合成的声音立刻变成“机器人说话”原因不是 PSOLA 本身有问题而是基音标记点被噪声带偏了。5. 用 PSOLA 做变声和时长控制的验证技巧5.1 用基音跟踪曲线验证音高是否正确跑完音高变换后不要只靠耳朵听用一段脚本来提取输出音频的基频曲线再和原始音频的基频曲线对比。常见做法是计算每帧的自相关并取峰值然后检查变换前后的比例关系def detect_pitch_track(x, sr, frame1024, hop512): pitches [] for start in range(0, len(x) - frame, hop): seg x[start:startframe] corr np.correlate(seg, seg, modefull)[frame-1:] corr[:int(sr/400)] 0 if corr[int(sr/50):].max() 1e-6: pitches.append(0) else: lag np.argmax(corr[int(sr/50):]) int(sr/50) pitches.append(sr / lag) return np.array(pitches)得到两条基频曲线后计算out_pitch / in_pitch。对于pitch_factor1.4的情况这个比例应该在 1.35 到 1.45 之间。如果出现整段跟丢或跳变到二倍频就可以回到第 4 章去收紧 fmin/fmax 范围。这种验证方式比看波形更可靠因为波形相位的微小差异不会影响基音比例。5.2 用时长标记验证节奏伸缩是否精准时长控制有没有达标最直接的验证方法是在原始音频中标注若干个辅音起始位置再在输出音频中找对应位置。如果没有标注工具可以统计非静音帧的数量。原始 WAV 的非静音帧数为n_voice输出 WAV 的为n_out比值应该接近stretch_factor。静音段如果也按同一比例拉伸总时长比会正好等于stretch_factor而语音段的非静音时长比也能保持这个值说明周期片段的复制/删除做得干净。这个验证还能顺带发现一个问题如果stretch_factor2.0但听感上只是停顿变长、语速没变慢多少说明代码里的静音处理占了时长比例过大。此时要把静音部分的拉伸系数设为1.0只拉伸浊音和清音区段。5.3 与网站集成时的成熟方案如果你是从 PSOLA 网站下载压缩包来搭建自己的在线变声服务上线前要注意实时性的瓶颈并不在合成而在基音检测和音频上传。Web 端常见的做法是前端录音后把 16kHz 单声道 PCM 封装成 WAV后端用psola核心库处理再转成 MP3 返回给用户。为了避免直接处理长文件建议先切片每一段 30 秒内做 PSOLA段边界处保留 100ms 交叉淡化。批量处理时把原始音频重采样到 16kHz 与 PSOLA 内部默认采样率一致可以少写很多参数透传逻辑。如果你发现下载到的 zip 包里面是 C 语言的实现需要编译成动态库那就在main.c中暴露一个psola_process(float* in, int n, float pitch, float speed)函数再用 Python 的ctypes做封装。C 实现的延迟在 10ms 内比 Python 快一个数量级。不过核心标记算法仍然可以用 Python 的 numpy 先做离线验证等听感确认之后再迁移到 C。如果你用 LPC-PSOLA还要额外验证声道参数插值后的稳定性这时要在后端加一个pitch/coeff一致性检查否则输出偶发“咔嚓”声。所有验证脚本都放进tests/目录用自动化命令运行回归成本会低得多。“PSOLA.zip_PSOLA_PSOLA网站”这类包名虽然看起来杂乱但内容本质没有变化它交付的是基音同步叠接相加的实现和相关工具。解压、跑通、调参、验证按这条链路走就能把这个经典算法从压缩包变成可用的语音处理管线。本文还有配套的精品资源点击获取 PSOLA算法：基音同步叠接相加实现语音变调与变速
简介这是基于MATLAB实现PSOLA算法的语音处理资源包面向语音信号处理研究人员与入门开发者提供从音高检测、有声段标记、峰值候选查找到重叠添加合成的完整实现链路。压缩包共62个文件包含61个功能化MATLAB脚本与1个示例音频代码按功能划分为音高检测、有声段识别、分割点计算和语音合成等模块整体仅78KB结构紧凑便于阅读。已有170人学习下载。脚本通过主程序串联各步骤可处理wav样本完成音高缩放与时长调整并附带多种实现变体如基础合成、加权合成及通用合成。研究者可借此比对不同分割与重叠策略的效果也可基于现有函数扩展自相关、倒谱等音高检测方法或改造合成模块以适配新场景。对于希望快速上手经典算法、复现实验并做二次改进的读者这套源码提供清晰的函数边界与示例音频能够有效降低入门门槛。1. 拿到 PSOLA.zip 后先搞清楚它解决什么问题PSOLAPitch Synchronous Overlap Add基音同步叠接相加是语音信号处理里最经典的变调与变速工具。你在语音处理资源站里看到“PSOLA.zip_PSOLA_PSOLA网站”这样的包名时通常意味着这个压缩包里装着一个基于 PSOLA 的源码工程、可执行程序或工具脚本网站名称只是作者发布资源时留下的水印式命名。把包解压出来之后里面一般是.py、.m、.c或编译产物外加几段测试音频。这个技术解决的问题很具体在不改变语义的前提下单独修改一段语音的音高或单独修改播放速度且不能事后听到明显的“罐头声”或爆音。如果你正做语音变声、配音素材预处理、字幕音画同步或给 TTS 做韵律控制这个包就是可以立刻拿来做实验的起点。2. PSOLA 算法拆开看基音同步与叠接相加的底层逻辑2.1 为什么不能直接重采样音高和时长被绑定了把整段语音直接按倍数重采样会让声音变高或变低同时播放时长也跟着变音高和时长无法解耦。这也是很多初学者把“变调”错做成“变速”的原因。TD-PSOLOA 和普通的重采样处理不同它先找到语音中每个基音周期的起点位置再把这些以“周期”为单位的小片段拆出来最后通过调整片段的排列顺序和片段内部的采样点用叠接相加的方式重新合成信号从而分别控制音高和时长。这个思路的关键点在于“基音同步”。语音中的浊音段有明显的周期性相邻两个峰值之间的间隔就是基音周期。如果我们在变换时依然按照原来的周期边界做切分再用 Hanning 窗把每个周期包起来重组时的相位关系会比较自然不会出现共振峰被破坏后那种“机器人声”。2.2 两个核心操作改变周期密度和改变片段重复率PSOLA 对音高和时长的控制分为两个方向。提高音高让每个基音周期内部的采样数变少高频处实际是把原周期做线性插值压缩再按原来的周期边界叠接降低音高则是把周期内部重采样拉长。时长控制则走另一条路如果要延长语音在合适的位置把相邻基音片段重复一次并保持每个片段的原始采样长度如果要缩短时长就删除一部分片段。因此音高移动的本质是“周期内重采样”时长缩放的本质是“周期片段的复制与删除”两者叠加起来就同时改变音高和时长。需要说明的是这里描述的是 TD-PSOLA 的做法即直接在时域处理基音周期。LSLPCPSOLA 会把残差信号和声道滤波器分开处理但工程落地时 TD-PSOLA 更常用。实现成本低、参数少而且对单语音频效果足够好。多音轨里的音乐、打击乐或者噪声段PSOLA 处理起来会糊因为那些信号不具备稳定的基音周期所以算法内部必须有清音/浊音判断对清音段只做时长拉伸而不做音高转移才能避免噪声被同步打碎。2.3 从波形看算法周期切割、加窗、叠接用数学语言描述输入波形x[n]采样率sr通过自相关检测得到每个周期的起始位置t_i。取窗长大约为周期长度的两倍窗函数通常用 Hanning 窗中心对准周期内的峰值点t_i period/2。变换后得到新位置u_j把窗口系数和原波形相乘后叠加到输出位置。合成公式可以写成output[u_j m] frame_i[m] * window[m] output_sum[u_j m] window[m] * window[m] # 能量归一化其中frame_i取自原信号x[t_i - win_len//2 : t_i win_len//2]window是同样长度的 Hanning 窗。实际实现里通常不保存单独的累积数组而是把窗口系数二次方直接除以总和用重叠部分归一化这样能避免相邻窗叠加时出现音量抖动。这个式子虽然简单但非常关键凡是听到“咕嘟咕嘟”的喘气声多半是归一化没做或者标记点位置定位到了不稳定的振动上。TD-PSOLA 实现中的伪码流程通常是基音检测 → 清浊音标记 → 周期位置重采样 → 加窗叠接。下面一章会给出一个能跑通的最小 Python 版本方便你把 PSOLA.zip 里的代码和这一套理论对应起来。3. 本地跑通 PSOLA 最小实现从 zip 里的源码到可运行 demo3.1 解压前的三个检查校验和、目录层级、文件编码从网站下载的 PSOLA.zip 和普通源码包一样先用unzip -l查看目录结构确认是否包含测试音频和依赖清单。常见做法是unzip -l PSOLA.zip unzip -t PSOLA.zip第一条命令列出压缩包内容第二条检查 zip 的 CRC 完整性。挂在资源站的包经常在下载中途被截断如果不做这一步解压时提示“invalid zip archive: could not find EOCD”的概率很高。还有一点常被忽略Windows 上解压出来的中文文件名会乱码或不解压失败原因是 zip 内部编码使用了 GBK而 Linux 的unzip会按 UTF-8 解释。解决办法是unzip -O gbk PSOLA.zip或者用 7-Zip 选择编码后再解压。这里不建议去搜什么 zip 压缩包密码破解工具如果包被加密且没有提供口令那要么联系原作者要么从合法的公开镜像重新拉取花时间破解不值得。解压后你大概率会看到一个psola目录里面包含main.py、psola.py、requirements.txt和test.wav。先用命令行跑起来确认环境依赖再修改代码。3.2 最小可运行代码基于自相关的 TD-PSOLA 实现为了让核心逻辑明确我把整个算法压缩成不到 90 行只做“音高移动”和“时长伸缩”两个函数。它不依赖任何第三方 DSP 库只用numpy和scipy.io.wavfile读写音频。import numpy as np from scipy.io import wavfile def autocorrelation_period(x, sr, fmin60, fmax400): 根据自相关峰值估计基音周期返回每个采样点的周期长度 n len(x) period np.zeros(n, dtypenp.float32) frame 512 hop 128 # 转成 int16 范围 x x / (np.max(np.abs(x)) 1e-9) for start in range(0, n - frame, hop): seg x[start:start frame] corr np.correlate(seg, seg, modefull)[frame-1:] lag_min int(sr / fmax) lag_max int(sr / fmin) corr[:lag_min] 0 if corr[lag_max:].max() 0: continue peak np.argmax(corr[lag_max:]) lag_max period[start:start frame] peak return period def make_window(win_len): Hanning 窗两端为零保证叠接相加时没有突变 return np.hanning(win_len).astype(np.float32) def td_psola(x, sr, pitch_factor1.0, stretch_factor1.0): pitch_factor 1 音调变高 1 音调变低 stretch_factor 1 拉长时长 1 缩短时长 period_est autocorrelation_period(x, sr) n len(x) # 找到所有浊音峰值点 marks [] step max(int(period_est.mean()), 80) pos step // 2 while pos n - step: local_start max(0, int(pos - step/2)) local_end min(n, int(pos step/2)) if local_end local_start: break m local_start int(np.argmax(x[local_start:local_end])) marks.append(m) pos m int(period_est[m]) if len(marks) 2: raise ValueError(检测不到足够的基音周期检查音频是否为浊音信号) # 生成新的标记位置 if pitch_factor ! 1.0: new_marks [] for i in range(len(marks)): # 只对边界做插值不改变内部波形 rel i / (len(marks) - 1) new_pos marks[0] (marks[-1] - marks[0]) * rel new_pos (i - rel * (len(marks) - 1)) * (1 - pitch_factor) * 100 new_marks.append(new_pos) else: new_marks marks if stretch_factor ! 1.0: new_marks np.array(new_marks) * stretch_factor # 合成输出 out_len int(n * stretch_factor 10000) out np.zeros(out_len, dtypenp.float32) norm np.zeros(out_len, dtypenp.float32) half 256 win make_window(half * 2) for orig, newm in zip(marks, new_marks): start max(0, orig - half) end min(n, orig half) if end - start 2: continue frame x[start:end].astype(np.float32) w make_window(len(frame)) l len(frame) out_start int(newm) - len(frame) // 2 if out_start 0 or out_start l out_len: continue out[out_start:out_startl] frame * w norm[out_start:out_startl] w * w # 防止除零 norm np.maximum(norm, 1e-8) out out / norm return out这段代码里autocorrelation_period的帧长 512 对应 16kHz 采样率下约 32ms足以覆盖最低 60Hz 的基频step用平均周期约 80 个采样点保证峰值点之间不会重叠。td_psola中生成新的标记位置时我使用了插值加一个带符号偏移的方式近似实现音高变换。严格来说TD-PSOLA 改变音高需要把每个周期内部数据重采样到新的长度再按新周期边界叠接上面这个简化版本用了“调整窗口中心间距”来模拟便于理解原理。要得到专业的听感你要用scipy.signal.resample对每个标记区间做重采样并把时长伸缩后的标记序列作为叠接中心。3.3 运行与参数验证调用这个最小函数先原样跑一遍再逐步调整参数sr, audio wavfile.read(test.wav) # 如果音频是双声道先取单声道 if audio.ndim 1: audio audio.mean(axis1) out_high td_psola(audio.astype(np.float32), sr, pitch_factor1.4, stretch_factor1.0) wavfile.write(high.wav, sr, (out_high * 32767).astype(np.int16)) out_slow td_psola(audio.astype(np.float32), sr, pitch_factor1.0, stretch_factor1.5) wavfile.write(slow.wav, sr, (out_slow * 32767).astype(np.int16))如果你听到明显金属声先检查pitch_factor是否超过 1.5。TD-PSOLA 的稳定区间是 0.6 到 1.8超出后需要进行谱包络修正这不是时域方法能解决的。stretch_factor若大于 2建议叠加“按无声/有声区域分段处理”否则词与词之间的停顿也被拉长听感不自然。把win_len换成固定 512不用2 * period会在语速变化时导致共振峰断裂这也是很多 PSOLA demo 输出音质的差异所在。4. 调参、踩坑与文件工程细节让 PSOLA 输出干净话音4.1 PSOLA 的五个必调参数与推荐范围当你从 zip 包里的示例代码开始改最常遇到的参数是这些整理成表方便直接照抄参数作用推荐范围过大/过小的后果基音检测帧长决定基频分析的时间分辨率20-40ms太小则周期估计抖动太大则基频变化快的语音被平滑叠加窗长决定每个周期片段包含多少邻域上下文2-3 个基音周期过长会让声音变浑过短会产生切碎感重叠因子相邻周期片段的叠接比例0.5-1.0过小有抽动声过大会产生低通感基音周期上下限约束搜索范围避免半倍频错误男性 60-200Hz女性 150-400Hz搜到倍频或半倍频会直接跑调清音门限区分浊音/清音和静音按能量比 0.3-0.7 设阈值误把 f/s 等清音当浊音处理会发“吱吱”声实际处理中我建议先把fmin/fmax设窄减少倍频误差然后用目标音高和原始音高之比控制pitch_factor而不是手动去改窗长。很多 zip 里自带的 GUI 工具会暴露更多参数但核心也就是上表这些。参数改完后续要做一次完整的“无变换”测试也就是把所有因子设为 1.0 后对比原声如果这个环节就出现音量漂移或节奏不稳说明标记位置已经偏移需要先解决基音检测问题。4.2 解压和文件读写的常见坑用 zip 包时除了完整性校验你还会遇到几个和音频处理直接相关的坑。第一是采样率不一致。包里的test.wav可能是 44100Hz但 MATLAB 脚本写死fs16000直接跑出来的结果音调会低很多。第二是位深问题。scipy.io.wavfile.read返回的int16数组转成float32时需要除以 32768写完再乘回 32767否则会有直流偏移和削波。第三是zipfile在 Python 里读取时如果压缩包里有 UTF-8 文件名和 GBK 文件名混用最好先解压到本地再处理不要在内存流里反复 seek否则遇到损坏的 zip 中心目录就会报Could not find EOCD并且难以恢复。处理这些音频文件时我一般会先写一小段脚本统一转格式再进入核心算法import wave import numpy as np def read_audio_mono(path): with wave.open(path, rb) as w: sr w.getframerate() n_ch w.getnchannels() frames w.readframes(w.getnframes()) data np.frombuffer(frames, dtypenp.int16) if n_ch 1: data data.reshape(-1, n_ch).mean(axis1) return sr, data.astype(np.float32) / 32768.0这里直接判断声道数并转为单声道同时把采样点归一化到[-1, 1]。如果你想处理 24bit WAVnp.int16就不适用了要改用np.int32并按 8388607 归一化这是一个容易在真实语音库上翻车的细节。4.3 信号边界处理首尾静音和相位对齐PSOLA 合成时最容易被忽略的是首尾静音。头尾 50ms 以上的静音如果有噪声检测到的周期位置会非常随机合成结果会带有“噗噗”声。正确做法是先用能量检测切掉首尾静音或至少保留原始静音长度不参与基音同步处理。时长伸缩后静音部分需要单独按比例拉伸而不是让 PSOLA 把它们当无声浊音处理。另一个常见问题是语音中间出现吞咽声、呼吸声这种非平稳段自相关会把异常峰值当成基音周期。如果你在 GitHub 上找到的 zip 包里已经带有vad.py或pitch_mark.py尽量用里面写好的端点检测功能。之前有人直接把我上面的简化代码跑在电话录音上基音检测窗口里有一段键盘敲击声合成的声音立刻变成“机器人说话”原因不是 PSOLA 本身有问题而是基音标记点被噪声带偏了。5. 用 PSOLA 做变声和时长控制的验证技巧5.1 用基音跟踪曲线验证音高是否正确跑完音高变换后不要只靠耳朵听用一段脚本来提取输出音频的基频曲线再和原始音频的基频曲线对比。常见做法是计算每帧的自相关并取峰值然后检查变换前后的比例关系def detect_pitch_track(x, sr, frame1024, hop512): pitches [] for start in range(0, len(x) - frame, hop): seg x[start:startframe] corr np.correlate(seg, seg, modefull)[frame-1:] corr[:int(sr/400)] 0 if corr[int(sr/50):].max() 1e-6: pitches.append(0) else: lag np.argmax(corr[int(sr/50):]) int(sr/50) pitches.append(sr / lag) return np.array(pitches)得到两条基频曲线后计算out_pitch / in_pitch。对于pitch_factor1.4的情况这个比例应该在 1.35 到 1.45 之间。如果出现整段跟丢或跳变到二倍频就可以回到第 4 章去收紧 fmin/fmax 范围。这种验证方式比看波形更可靠因为波形相位的微小差异不会影响基音比例。5.2 用时长标记验证节奏伸缩是否精准时长控制有没有达标最直接的验证方法是在原始音频中标注若干个辅音起始位置再在输出音频中找对应位置。如果没有标注工具可以统计非静音帧的数量。原始 WAV 的非静音帧数为n_voice输出 WAV 的为n_out比值应该接近stretch_factor。静音段如果也按同一比例拉伸总时长比会正好等于stretch_factor而语音段的非静音时长比也能保持这个值说明周期片段的复制/删除做得干净。这个验证还能顺带发现一个问题如果stretch_factor2.0但听感上只是停顿变长、语速没变慢多少说明代码里的静音处理占了时长比例过大。此时要把静音部分的拉伸系数设为1.0只拉伸浊音和清音区段。5.3 与网站集成时的成熟方案如果你是从 PSOLA 网站下载压缩包来搭建自己的在线变声服务上线前要注意实时性的瓶颈并不在合成而在基音检测和音频上传。Web 端常见的做法是前端录音后把 16kHz 单声道 PCM 封装成 WAV后端用psola核心库处理再转成 MP3 返回给用户。为了避免直接处理长文件建议先切片每一段 30 秒内做 PSOLA段边界处保留 100ms 交叉淡化。批量处理时把原始音频重采样到 16kHz 与 PSOLA 内部默认采样率一致可以少写很多参数透传逻辑。如果你发现下载到的 zip 包里面是 C 语言的实现需要编译成动态库那就在main.c中暴露一个psola_process(float* in, int n, float pitch, float speed)函数再用 Python 的ctypes做封装。C 实现的延迟在 10ms 内比 Python 快一个数量级。不过核心标记算法仍然可以用 Python 的 numpy 先做离线验证等听感确认之后再迁移到 C。如果你用 LPC-PSOLA还要额外验证声道参数插值后的稳定性这时要在后端加一个pitch/coeff一致性检查否则输出偶发“咔嚓”声。所有验证脚本都放进tests/目录用自动化命令运行回归成本会低得多。“PSOLA.zip_PSOLA_PSOLA网站”这类包名虽然看起来杂乱但内容本质没有变化它交付的是基音同步叠接相加的实现和相关工具。解压、跑通、调参、验证按这条链路走就能把这个经典算法从压缩包变成可用的语音处理管线。本文还有配套的精品资源点击获取