简介这份文档是南京邮电大学通达学院「语音时频参数的提取和应用」与「语音编码」实验的完整报告面向通信、信息处理及语音信号处理方向的本科生与实验指导教师帮助读者理解短时平稳性、帧长选取等基础概念并完成从参数提取到清浊音分类的完整实验流程。包内共1个doc文件压缩包约969KB内容涵盖实验目的、原理、方法、程序与结果分析可直接对照MATLAB代码与问题解答进行复盘。实验围绕短时功率、短时过零率、频谱、语谱图、谐波乘积谱、基音周期与共振峰频率等核心参数展开要求编写stpower、stzerocross、hpspectrum及voiunvoi等函数并利用时域波形与基于DFT的对数幅度谱完成浊音/清音划分和基音估计。目前已有97人学习适合需要系统掌握语音时频分析、对照实验步骤与结果分析查漏补缺的读者参考。1. 语音时频参数提取与编码实验从一段波形到一套可复现的流水线很多做语音信号处理的朋友第一次拿到“语音时频参数提取和应用和语音编码实验”这类任务时往往卡在同一个地方波形能读进来图也能画出来但真要按实验要求把时域、频域、时频域参数一项项算准再喂给编码器做压缩对比就发现每一步都有坑。短时能量窗长选多少、基频用自相关还是倒谱、梅尔滤波器组怎么排、编码前后失真怎么量化这些细节没人讲透实验报告就只能靠截图凑。这篇笔记就按一线做实验的顺序把语音时频参数提取到语音编码验证的完整链路拆开给出能直接抄的代码、参数和排错思路。适合正在做语音信号处理课程实验、准备语音编码对比方案或者想把参数提取脚本沉淀成工具的同学。2. 语音时频参数提取先分清你要的是哪一层参数语音信号本质是短时平稳的所以几乎所有时频参数都建立在“分帧加窗”这个前提上。但很多人一上来就调库结果算出来的参数物理意义对不上编码器那边也没法用。这一章先把参数分层讲清楚再落到具体实现。2.1 时域参数短时能量、短时过零率与基频时域参数是最容易上手、也最容易被低估的一层。短时能量反映帧内幅度强弱短时过零率反映频谱的粗略高低频分布基频则决定音高。三者组合起来基本能完成清音/浊音判决和端点检测。常见做法是帧长 20~30 ms、帧移 10 ms。采样率 16 kHz 时帧长 400 点、帧移 160 点是比较稳的起点。窗函数用汉明窗避免频谱泄漏。下面是一段可直接运行的 Python 代码读取 wav 并计算这三类时域参数。import numpy as np import wave def read_wav(path): with wave.open(path, rb) as f: fs f.getframerate() n f.getnframes() data f.readframes(n) # 16 bit PCM 转 float x np.frombuffer(data, dtypenp.int16).astype(np.float32) / 32768.0 return fs, x def frame_signal(x, frame_len, hop_len): # 不足一帧的尾部直接丢弃避免补零引入虚假能量 n_frames 1 (len(x) - frame_len) // hop_len frames np.stack([x[i*hop_len : i*hop_lenframe_len] for i in range(n_frames)]) return frames def short_time_energy(frames): return np.sum(frames ** 2, axis1) def short_time_zcr(frames): # 相邻样点符号变化次数归一化到帧长 signs np.sign(frames) signs[signs 0] 1 return np.sum(np.abs(np.diff(signs, axis1)) 0, axis1) / (frames.shape[1] - 1) def estimate_pitch_autocorr(frame, fs, fmin70, fmax400): # 自相关法估基频限制搜索范围减少倍频错误 frame frame - np.mean(frame) corr np.correlate(frame, frame, modefull)[len(frame)-1:] lag_min int(fs / fmax) lag_max int(fs / fmin) if lag_max len(corr): return 0.0 segment corr[lag_min:lag_max] if np.max(segment) 0: return 0.0 lag lag_min np.argmax(segment) return fs / lag fs, x read_wav(test.wav) frames frame_signal(x, int(0.025*fs), int(0.010*fs)) energy short_time_energy(frames) zcr short_time_zcr(frames) pitch np.array([estimate_pitch_autocorr(f, fs) for f in frames])这段代码里frame_len和hop_len决定了时间分辨率与频率分辨率的权衡帧越长能量和基频越稳但时间定位越模糊。fmin和fmax要根据说话人调整成年男声下限可到 70 Hz女声和童声上限可到 400 Hz。自相关法在低信噪比下容易把第一共振峰误判成基频所以实际实验里常加一个中心削波或倒谱法做交叉验证。2.2 频域与时频域参数FFT、梅尔滤波器组与语谱图频域参数的核心是把一帧时域信号变到频域再按人耳感知特性压缩成低维向量。最常用的就是梅尔频率倒谱系数MFCC。它的流程是FFT → 幅度谱 → 梅尔滤波器组 → 取对数 → DCT。每一步都有参数可调调错一个后面的编码实验就全乱。下面给出从帧到 MFCC 的完整实现不依赖第三方语音库方便在实验环境里直接跑。def hz_to_mel(hz): return 2595 * np.log10(1 hz / 700.0) def mel_to_hz(mel): return 700 * (10 ** (mel / 2595.0) - 1) def mel_filterbank(n_filters, n_fft, fs, fmin0, fmaxNone): if fmax is None: fmax fs / 2 mel_min hz_to_mel(fmin) mel_max hz_to_mel(fmax) mel_points np.linspace(mel_min, mel_max, n_filters 2) hz_points mel_to_hz(mel_points) bins np.floor((n_fft 1) * hz_points / fs).astype(int) fb np.zeros((n_filters, n_fft // 2 1)) for m in range(1, n_filters 1): left, center, right bins[m-1], bins[m], bins[m1] for k in range(left, center): fb[m-1, k] (k - left) / max(center - left, 1) for k in range(center, right): fb[m-1, k] (right - k) / max(right - center, 1) return fb def mfcc(frames, fs, n_filters26, n_ceps13, n_fft512): fb mel_filterbank(n_filters, n_fft, fs) win np.hamming(frames.shape[1]) result [] for frame in frames: spec np.fft.rfft(frame * win, nn_fft) power np.abs(spec) ** 2 mel_energy np.dot(fb, power) mel_energy np.where(mel_energy 0, 1e-10, mel_energy) log_mel np.log(mel_energy) ceps np.fft.dct(log_mel, type2, normortho)[:n_ceps] result.append(ceps) return np.array(result) feat mfcc(frames, fs)n_filters一般取 24~40实验里 26 是常见默认值n_ceps取 12~13再加一维对数能量就是 13 维标准 MFCC。n_fft要大于帧长512 对应 16 kHz 下 32 ms 帧若帧长 400 点则 512 足够。这里没有做预加重实际实验建议在分帧前加一阶高通y[n]x[n]-0.97x[n-1]补偿高频衰减。语谱图可以直接用np.fft.rfft的幅度取对数后按帧拼接横轴时间、纵轴频率用来肉眼检查端点检测和编码失真。2.3 参数选型为什么实验里总在 25 ms 和 13 维之间打转很多同学会问帧长为什么不是 10 ms 或 50 ms。10 ms 时基频周期可能不到两个自相关峰不明显50 ms 时一个帧里可能跨了两个音素编码器预测会糊。25 ms 是兼顾基频周期和音素稳定性的折中帧移 10 ms 保证参数轨迹平滑。MFCC 取 13 维是因为 DCT 后能量集中在前几维后面是细节丢掉对编码压缩反而有利。如果实验要求做语音编码对比建议同时保留一组原始参数和一组降维参数比如 13 维 MFCC 与 26 维滤波器组对数能量观察编码器在不同输入维度下的率失真表现。参数提取阶段就要把每帧的帧号、时间戳、能量、基频、MFCC 一起存成结构化文件后面编码实验才能对齐。3. 语音编码实验从参数到码流的验证路径参数提取完下一步是编码。语音编码实验通常不是让你从零写一个编解码器而是用现有编码框架做参数配置、码率对比和失真评估。这一章讲清楚实验里最常走的三种路线以及怎么把时频参数接进去。3.1 编码方案选型波形编码、参数编码与混合编码波形编码直接对采样点量化代表是 PCM 和 ADPCM实现简单码率高适合做基线。参数编码提取基频、共振峰等参数只传参数码率低但合成音质机械。混合编码介于两者之间用线性预测加激励量化常见的有 CELP 系列。实验里如果要求“语音编码实验”一般默认走混合编码路线因为既能体现时频参数的作用又能做码率对比。选型时看三个指标目标码率、允许延迟、可接受的失真类型。16 kbps 以下基本只能走参数或混合编码64 kbps 以上波形编码就够。延迟方面帧长 25 ms 加算法延迟实时通话要控制在 100 ms 以内。失真类型上波形编码失真表现为量化噪声参数编码失真表现为谱包络模糊评估时要分开看。3.2 用 Python 搭一个最小编码对比实验不依赖专用编解码库也能搭一个可复现的对比实验用 PCM 量化做基线用 MFCC 加简单矢量量化做参数编码比较两者在不同码率下的信噪比和梅尔倒谱失真。下面给出核心代码。def pcm_encode(x, bits8): # 均匀量化返回量化索引和重建信号 levels 2 ** bits x_clip np.clip(x, -1, 1) idx np.round((x_clip 1) / 2 * (levels - 1)).astype(np.int32) x_rec idx / (levels - 1) * 2 - 1 return idx, x_rec def vector_quantize(feat, n_clusters16): # 极简 k-means 做矢量量化返回码本和索引 from numpy.random import default_rng rng default_rng(0) centers feat[rng.choice(len(feat), n_clusters, replaceFalse)] for _ in range(20): dist np.linalg.norm(feat[:, None, :] - centers[None, :, :], axis2) labels np.argmin(dist, axis1) for k in range(n_clusters): if np.any(labels k): centers[k] feat[labels k].mean(axis0) return centers, labels def mel_cepstral_distortion(feat_ref, feat_test): # 只比较前 13 维逐帧欧氏距离取平均 n min(len(feat_ref), len(feat_test)) return np.mean(np.linalg.norm(feat_ref[:n] - feat_test[:n], axis1)) idx_pcm, x_pcm pcm_encode(x, bits8) codebook, labels vector_quantize(feat, n_clusters16) feat_vq codebook[labels] mcd mel_cepstral_distortion(feat, feat_vq) print(PCM 8bit 码率约, fs * 8, bps) print(VQ 码率约, len(labels) * np.log2(16) / (len(x)/fs), bps) print(MFCC 失真, mcd)pcm_encode里bits控制码率8 bit 对应 128 kbps16 kHz 采样4 bit 对应 64 kbps。vector_quantize的n_clusters决定码本大小16 簇对应每帧 4 bit按 100 帧/秒算就是 400 bps码率极低但失真明显。mel_cepstral_distortion是编码实验里最常用的客观指标之一数值越小说明谱包络越接近。注意这里没有做比特分配和熵编码真实编码器会在此基础上再压缩 30% 到 50%。3.3 编码前后对齐帧号、延迟与失真曲线编码实验最容易翻车的地方是对齐。编码器有算法延迟解码后的信号和原始信号错开几帧直接算失真会偏大。常见做法是在编码前给信号前面补一段已知的同步序列解码后做互相关找延迟再截齐。另一个坑是帧长不一致参数提取用 25 ms编码器内部可能用 20 ms需要重采样参数轨迹或统一到同一帧率。失真曲线建议按帧画横轴帧号纵轴梅尔倒谱失真或分段信噪比。如果某几帧失真突然飙高多半是清音段基频估计失败或编码器丢帧。把能量曲线叠上去看低能量段的失真对主观听感影响小评估时可以加权。4. 避坑与排查实验里最常翻车的五个点这一章按“现象 → 原因 → 解决”整理都是实际做实验时反复遇到的。现象一MFCC 全是 NaN 或负无穷。原因是对零能量取对数。静音帧的梅尔能量可能为 0np.log(0)直接炸。解决是在取对数前加一个极小值下限比如np.where(mel_energy 0, 1e-10, mel_energy)或者用np.log(mel_energy 1e-10)。现象二基频轨迹在浊音段跳变剧烈。原因是自相关法在低信噪比下把第二共振峰当成基频产生倍频错误。解决是加中心削波或者用倒谱法交叉验证再对基频轨迹做中值滤波窗口取 5 帧。现象三编码后重建信号整体偏移或音量变小。原因是量化范围没对齐或者编码器有增益归一化。解决是在编码前记录原始峰值解码后按同一增益还原并检查是否有直流偏移必要时做去均值。现象四语谱图看起来正常但失真指标很高。原因是参数提取和编码用的帧长、窗函数不一致。解决是把帧长、帧移、窗类型写成全局配置参数提取和编码共用同一份配置避免两套参数。现象五不同 wav 文件跑出来码率对不上。原因是文件采样率或位深不一致代码里按固定采样率算码率。解决是在读取时打印fs和位深统一重采样到 16 kHz、16 bit再做后续处理。提示实验记录里一定要写清楚采样率、帧长、帧移、窗函数、滤波器个数、码本大小这些参数少一个别人就复现不出来。5. 进阶技巧把参数提取和编码评估串成一条可复用流水线做到这里单次实验已经能跑通。但如果你要对比多种编码方案或者换不同说话人做鲁棒性测试手动改参数会非常痛苦。我一般会把整条链路封装成一个配置驱动的脚本配置文件里写采样率、帧长、帧移、MFCC 维度、编码方式、码本大小主程序读配置后依次执行参数提取、编码、解码、失真评估最后输出一张对比表。下面是一个配置驱动的骨架重点看参数怎么集中管理。import json CONFIG { fs: 16000, frame_ms: 25, hop_ms: 10, n_filters: 26, n_ceps: 13, codec: vq, n_clusters: 16, pcm_bits: 8 } def run_pipeline(wav_path, config): fs, x read_wav(wav_path) if fs ! config[fs]: raise ValueError(采样率不一致请先重采样) frame_len int(config[frame_ms] * fs / 1000) hop_len int(config[hop_ms] * fs / 1000) frames frame_signal(x, frame_len, hop_len) feat mfcc(frames, fs, config[n_filters], config[n_ceps]) if config[codec] pcm: _, x_rec pcm_encode(x, config[pcm_bits]) return {codec: pcm, bits: config[pcm_bits]} elif config[codec] vq: codebook, labels vector_quantize(feat, config[n_clusters]) feat_rec codebook[labels] mcd mel_cepstral_distortion(feat, feat_rec) return {codec: vq, clusters: config[n_clusters], mcd: float(mcd)} result run_pipeline(test.wav, CONFIG) print(json.dumps(result, ensure_asciiFalse))这个骨架的价值在于换编码方式只需要改codec字段换参数只改配置不用动主逻辑。实际做对比实验时我会把多组配置写成列表循环调用run_pipeline把结果收集成表格。表格里至少要有码率、梅尔倒谱失真、分段信噪比三列才能说明一个编码方案是否值得继续调。还有一个容易被忽略的技巧参数提取阶段就把每帧的时间戳和能量存下来编码评估时按能量加权计算失真。低能量帧的失真对主观听感影响小如果不加权静音段的量化噪声会把整体指标拉偏。加权公式可以用weight energy / max(energy)再对加权后的失真取平均。最后说一个我自己的习惯每次实验前先跑一遍纯 PCM 基线确认读取、分帧、参数提取、失真计算这条链路没有低级错误再换编码方案。基线跑不通后面全是玄学。这套流程不复杂但能把语音时频参数提取和语音编码实验真正串起来而不是两张皮。希望帮到你。本文还有配套的精品资源点击获取