简介面向故障诊断与多模态融合研究的一份 Matlab 完整实现适用于滚动轴承、变压器油气等场景下的数据分类与故障识别。模型结合马尔可夫场MTF将一维时序信号转换为二维图像再通过 1D-2D-CNN 提取多尺度特征并联用 GRU 捕获时序依赖引入 Attention 提升泛化能力为学术实验与算法对比提供了可直接运行的参考方案。资源共 966 个文件含 3 个分步骤 Matlab 脚本训练集/测试集构建及 CNN-GRU-Attention 主程序、2 个实验数据表格和 1 个说明文本另有 960 张 MTF 转换后的二维特征图便于直观检查信号成像效果与特征质量压缩包整体约 9.73MB。目前已有 203 人学习使用。通过该资源可复现论文级实验流程获得从一维信号到二维图像融合、再到模型训练评估的完整代码链也能借助配套数据表格和图像结果进一步分析分类准确率与鲁棒性适合作为故障诊断、多模态融合方向课程设计或毕业设计的参考基线。1. 先从MTF说起为什么把一维时序信号变成图像再送进CNN很多人第一次看到“基于MTF的1D-2D-CNN-GRU-Attention”这个标题时第一反应是“绕”。但拆开看它其实解决的是一个特别现实的问题旋转机械、电机、轴承这类设备的振动信号是典型的一维时间序列直接扔给CNN卷积核只能沿着时间轴滑动能学到的局部模式非常有限。而MTFMarkov Transition Field马尔可夫转移场能把一维时序转成二维图像让CNN的二维卷积核去捕捉信号在不同状态之间转移的模式类似看一张纹理图。这个方向在故障识别里已经是被反复验证过的套路适合拿来研究学习的原因也很简单——每步都有明确的物理意义Matlab里从数据到模型的闭环比Python少踩很多环境坑。下面我会从MTF的图像化开始一步步把1D-CNN、2D-CNN、GRU和Attention怎么拼起来讲透并给出可直接复现的Matlab源码思路。2. 信号转图像MTF的Matlab实现与参数敏感性分析2.1 MTF计算步骤与核心函数MTF的思想不复杂先把连续的时间序列按幅值分成Q个离散区间分箱然后统计相邻两个时刻的采样点从一个区间转移到另一个区间的概率形成一个Q×Q的转移矩阵最后把每个时刻的区间归属映射到这个转移矩阵上得到一个二维的马尔可夫转移场。这个场的坐标是时间颜色深浅代表该时刻对应的转移概率所以原始信号的动态变化就被编码成了图像纹理。在Matlab里核心步骤可以这样写function mtfImg computeMTF(signal, Q, R) % signal: 输入一维时序列向量 % Q: 分箱数一般取8~16 % R: MTF图像尺寸即输出图像的行/列像素数 N length(signal); % 1. 将信号幅值归一化到[0,1] s (signal - min(signal)) / (max(signal) - min(signal)); % 2. 按Q个等宽区间分箱得到每个采样点的箱号1~Q binId min(floor(s * Q) 1, Q); % 3. 统计一阶马尔可夫转移矩阵 P P zeros(Q, Q); for i 1:N-1 P(binId(i), binId(i1)) P(binId(i), binId(i1)) 1; end % 行归一化得到转移概率 P P ./ max(sum(P, 2), eps); % 4. 按时间顺序映射到R×R网格 % 对输出图像每个像素(r,c)r对应原时间点ic对应原时间点j % 这里用线性插值采样避免对每个像素都遍历所有时刻 idx round(linspace(1, N, R)); mtfImg zeros(R, R); for r 1:R i idx(r); for c 1:R j idx(c); mtfImg(r, c) P(binId(i), binId(j)); end end % 转成0~255灰度图方便后续CNN输入 mtfImg uint8(mat2gray(mtfImg) * 255); end这段代码里第3步的转移矩阵是关键它描述了“前一刻在哪个箱、后一刻跳到哪个箱”的统计规律。注意第4步并不是对所有时间点都映射到图像而是通过linspace(1,N,R)取出R个代表时刻这样输出图片尺寸可控计算量也小。参数说明Q控制分箱粗细Q太小转移矩阵表达不了丰富状态Q太大每一箱内样本数太少概率估计不稳R是最终图片边长R64或128是比较常用的。如果你处理的是长信号建议先做滑动窗口切片每个窗口单独转成一张MTF图而不是整段信号压成一张图——否则图像会丢失局部故障特征这个问题在3.2节还会提到。2.2 时间窗、分箱数和图像尺寸怎么定MTF的三个超参数里最让人纠结的是Q。我在实际做轴承故障数据时Q8和Q16出来的图像纹理差异很大但分类精度可能只差1~2个百分点。Q的影响在信号本身信噪比低的时候才明显如果你采集的数据比较干净Q取10~12就够了。图像尺寸R影响的是CNN输入分辨率R64时一个样本的MTF图像是64×64整网参数量也小适合快速验证R128时细节更丰富但2D-CNN的计算量会增加4倍训练时间翻一倍都不止。我一般先跑R64的基线确认模型能收敛再做R128的对比实验。时间窗长度W则是另一个容易踩坑的点。窗太短MTF里包含的周期信息不够故障特征不完整窗太长一个样本里可能混入多个工况变化模型会学到“工况特征”而不是“故障特征”。比较稳妥的做法是让W至少覆盖信号周期的4~5倍比如转速1500rpm的轴承转频25Hz一个周期0.04秒采样率12kHz那一个周期约480个采样点W取2000~2400点比较合适。Matlab里你可以用audioread或load读数据后用buffer函数快速切窗。2.3 批量转换的工程化写法实际做研究时不会只有一个样本而是有一个数据集比如KAT或CWRU这类公开轴承数据。批量生成MTF图时建议把每段信号的所有窗口一次性转成图像并保存成.mat文件避免每次训练都重新算。我习惯把转换过程封装成一个函数然后用parfor并行跑function mtfBatch(signalCell, Q, R, W, outputPath) % signalCell: 1×N的cell每个元素是某段信号列向量 N length(signalCell); mtfData cell(1, N); parfor k 1:N sig signalCell{k}; numWindows floor((length(sig)-W)/round(W/2)) 1; imgs zeros(R, R, 1, numWindows, uint8); for m 1:numWindows startIdx (m-1)*round(W/2) 1; seg sig(startIdx:startIdxW-1); imgs(:,:,1,m) computeMTF(seg, Q, R); end mtfData{k} imgs; end save(outputPath, mtfData, -v7.3); end这里窗口滑动步长设为W/2即50%重叠是图像增强的常用做法。注意parfor里不要对共享变量做写操作否则会报错。保存为-v7.3是因为单张MTF图虽然不大但样本多了以后单个.mat文件可能超过2GB低版本Matlab会打不开。3. 双通道输入1D-CNN与2D-CNN各自吃什么数据3.1 一维分支原始时序的局部瞬态特征MTF图像虽然好看但它把原始信号中的瞬态冲击比如轴承外圈故障时的高频冲击做了概率化处理冲击的幅值大小信息被分箱归一化抹掉了。所以纯粹用MTF图做输入会丢失冲击幅值、持续时间这类重要特征。这也是为什么这个方案要搞1D-CNN和2D-CNN双通道——1D分支直接吃原始时序信号专抓局部瞬态和波形形状2D分支吃MTF图专抓状态转移的纹理模式。两条腿走路信息互补。1D-CNN的输入是滑动窗口后的时间序列片段长度就是W。它的一维卷积核长度一般取7、15、31这类值对应不同的感受野。在Matlab里用convolution1dLayer搭建layer1d [ sequenceInputLayer(1) % 单变量时序 convolution1dLayer(31, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) convolution1dLayer(15, 64, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) fullyConnectedLayer(128) ];这里第一层卷积用31个采样点的核对应大约0.0026秒12kHz采样率足够覆盖一个冲击的上升沿。注意sequenceInputLayer(1)要求输入是C×S×1的格式即通道数×序列长度×1如果你的数据是多通道振动需要把输入层改成通道数。1D分支的输出特征长度取决于W和池化次数比如W2048经过两次stride2的池化后变成512再经全连接变成128维向量。3.2 二维分支MTF图像的空间纹理特征2D-CNN的输入是R×R的MTF灰度图。它用的卷积核是在二维平面上滑动的能捕捉到图像局部的小方块纹理模式。不同的故障类型在MTF图上会呈现出纹理粗细、方向、明暗块的差异。比如正常轴承的振动信号平稳MTF图纹理均匀内圈故障会出现沿对角线方向的条纹因为故障冲击是周期性的转移矩阵里对角线附近的概率偏高。我常用的2D分支结构是三个卷积块叠加layer2d [ imageInputLayer([R R 1]) convolution2dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 64, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 128, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) fullyConnectedLayer(128) ];2D分支的卷积核大小选3×3是最常见的因为小卷积核叠加可以获得更大的感受野同时参数量少。第一层就输出32个特征图后面逐步增加到64、128。图像尺寸R64时经过三次池化后变成8×8×128再拉平为8192维接全连接压缩到128维。这个128维向量和1D分支的128维向量就是后续融合的原料。3.3 融合层怎么设计才不会两边信息互相淹没双通道融合最容易出的问题两个分支的输出scale不一样直接拼接后梯度更新失衡。比如1D分支输出特征的值域经过ReLU后可能是0~几十而2D分支的特征可能集中在0~5拼接后模型会偏向数值大的那一支。融合前先对两个分支分别做batch normalization把特征拉回到均值为0、方差为1的量级。然后有两种常见融合方式向量拼接concatenate把两个128维的特征拼成256维后面再接一个全连接层降维到128或64。实现简单模型自己学权重。加权求和两个128维特征逐元素相加但是每个分支学一个可训练的门控权重alpha和beta比如feature alpha * f_1d beta * f_2d。这种方式能显式控制两个模态的贡献比例但需要额外引入两个标量参数。我一般先试拼接因为它能更大限度保留信息如果后面模型过拟合再换成加权求和做正则。在Matlab的trainNetwork里可以用depthConcatenationLayer(2)将两个分支的输出拼接起来。要注意的是拼接前两个分支的feature维数最好一致否则拼接后不平衡。4. 时序记忆与注意力GRU和Attention怎么接在CNN后面4.1 为什么选GRU而不是LSTMCNN提取的是每个窗口内的局部特征但故障信号是有连续性的前一个窗口和后一个窗口之间存在演化关系。比如轴承故障早期冲击幅度逐渐增大这种趋势需要跨窗口的记忆能力。GRU和LSTM都能做这件事但GRU参数更少、训练更快在样本量不大的故障识别任务里更实用。GRU只有两个门更新门、重置门LSTM有三个门参数少了四分之一。对于Matlab环境下的研究学习GRU的收敛速度明显优于LSTM而且故障数据集的样本量通常也就几万个窗口GRU的泛化能力反而比LSTM好。GRU的输入是特征序列。刚才1D-CNN和2D-CNN的输出是每个窗口的一个特征向量如果有T个窗口那就有T个128维向量按时间顺序排列正好组成一个序列输入给GRU。在Matlab里假设融合后的序列数据是numFeatures × T × numObservations的格式gruLayer(128, OutputMode, last)如果设置OutputMode为lastGRU只输出最后一个时间步的隐藏状态可以接全连接层分类设为sequence则输出每个时间步的隐藏状态可以再接Attention。4.2 Attention加在哪一层效果最好Attention的作用是让模型自动关注对故障识别最有用的时间步。在GRU之后加Attention是主流做法。因为GRU把所有历史信息压进最后一个隐藏状态信息有损Attention则直接对每个时间步的隐藏状态做加权求和给重要的时间步更大权重。具体结构是GRU的输出是每步隐藏状态h_tT×128先学习一个打分函数然后用softmax得到权重最后加权求和得到上下文向量。在Matlab中虽然没有内置的attention层但可以用自定义层实现。这里给出一个简化版的自定义attention层用于分类任务key与query相同classdef attentionLayer nnet.layer.Layer properties (Learnable) W % 可训练权重hiddenSize×1 end methods function layer attentionLayer(hiddenSize) layer.Name attention; layer.W randn(hiddenSize,1) * 0.01; end function [Z, memory] predict(layer, X) % X: hiddenSize × T × N score pagemtimes(permute(X,[1 3 2]), layer.W); % ?可以理解成对每个时间步打分 % 因为是按batch维度操作我们简化处理用循环 [~, T, N] size(X); Z zeros(size(X,1), 1, N); for i 1:N Xi X(:,:,i); % hiddenSize × T e exp(Xi * layer.W); % T×1 alpha e / sum(e); Zi Xi * alpha; % hiddenSize×1 Z(:,1,i) Zi; end end end end在实际代码中pagemtimes的效率更高但要保证Matlab版本在2020a以上。Attention加在GRU后面然后接全连接层和softmax。实验里Attention对故障类别的区分度提升效果显著尤其当故障发生在信号的末尾段时没有Attention的GRU很容易漏掉尾部特征。4.3 完整网络结构的Matlab示例代码综合上述分支完整网络可以这样搭function lgraph buildMTFNet(inputSize1, inputSize2) % 1D分支输入层 lgraph layerGraph(); lgraph addLayers(lgraph, [ sequenceInputLayer(1, Name, in1d) convolution1dLayer(31, 32, Padding, same, Name, conv1d1) batchNormalizationLayer(Name, bn1d1) reluLayer(Name, relu1d1) maxPooling1dLayer(2, Stride, 2, Name, pool1d1) convolution1dLayer(15, 64, Padding, same, Name, conv1d2) batchNormalizationLayer(Name, bn1d2) reluLayer(Name, relu1d2) maxPooling1dLayer(2, Stride, 2, Name, pool1d2) fullyConnectedLayer(128, Name, fc1d) ]); % 2D分支输入层 lgraph addLayers(lgraph, [ imageInputLayer(inputSize2, Name, in2d) convolution2dLayer(3, 32, Padding, same, Name, conv2d1) batchNormalizationLayer(Name, bn2d1) reluLayer(Name, relu2d1) maxPooling2dLayer(2, Stride, 2, Name, pool2d1) convolution2dLayer(3, 64, Padding, same, Name, conv2d2) batchNormalizationLayer(Name, bn2d2) reluLayer(Name, relu2d2) maxPooling2dLayer(2, Stride, 2, Name, pool2d2) convolution2dLayer(3, 128, Padding, same, Name, conv2d3) batchNormalizationLayer(Name, bn2d3) reluLayer(Name, relu2d3) maxPooling2dLayer(2, Stride, 2, Name, pool2d3) fullyConnectedLayer(128, Name, fc2d) ]); % 融合层 lgraph addLayers(lgraph, depthConcatenationLayer(2, Name, cat)); % GRU Attention 分类层 lgraph addLayers(lgraph, [ gruLayer(128, OutputMode, sequence, Name, gru) attentionLayer(128, Name, att) % 自定义层 fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output) ]); % 连接关系 lgraph connectLayers(lgraph, fc1d, cat/in1); lgraph connectLayers(lgraph, fc2d, cat/in2); lgraph connectLayers(lgraph, cat, gru); lgraph connectLayers(lgraph, gru, att); lgraph connectLayers(lgraph, att, fc_final); end注意numClasses需要提前指定比如故障类型有4类就设为4。自定义attention层必须继承nnet.layer.Layer并实现predict和backward方法用于训练。上面代码是为了展示结构真正的自定义层还需要实现backward建议直接参考Matlab帮助文档里的“Define Custom Deep Learning Layers”示例。训练时使用trainNetwork输入是(X1, X2)分别对应一维时序和MTF图像其中X1格式为1×W×T×NX2格式为R×R×1×T×N这里的T是序列长度窗口个数N是样本数。5. 故障识别避坑指南数据划分、过拟合与标签错位的典型问题5.1 训练集和测试集不能随机划分要按工况或时间片段切这是最容易被新手忽略的问题。故障识别的数据往往是连续采集的同一段信号切出来的窗口之间高度相关。如果随机打乱划分训练集和测试集训练集中可能包含了测试集前后时间窗口的相似样本导致准确率虚高。现象是训练准确率97%测试准确率也高达95%但部署到新采集的完全独立数据上准确率骤降到80%以下。原因在于时间序列样本并不是独立同分布的相邻窗口共享大量重叠数据随机划分造成了数据泄漏。解决方法是按时间段划分比如一台设备前60%的时间数据做训练后40%做测试或者按不同工况划分比如用A工况训练B工况测试。在构造数据集时保留group信息用cvpartition(group, HoldOut, 0.3)来划分确保同一段原始信号的窗口不会同时出现在训练和测试集里。5.2 过拟合的一个隐蔽来源归一化参数用了测试集信息信号归一化常见做法是(signal - min) / (max - min)。如果对整个数据集求min和max那实际上测试集的信息已经参与了归一化相当于测试集的信息在预处理阶段泄露给了训练过程。这在故障识别中是致命的因为模型可能学会“幅值范围变大了就是某种故障”而不是真正学习故障形态。正确的做法是只统计训练集每个窗口的信号幅值得到每个窗口自己的min和max来归一化或者统计整个训练集的全局min和max保存这两个标量然后应用到训练集和测试集。在MTF计算中也是一样分箱的边界应该由训练集信号决定而不是由测试集决定。如果每次调用computeMTF时都动态计算min和max那么同一个测试样本在不同运行环境下的归一化结果会不同模型输出也会漂移。我一般会在训练前用训练数据计算好全局minVal和maxVal然后把这两个值作为参数传给批量转换函数。5.3 标签对齐错误MTF窗口滑动后标签没跟着平移当你对原始信号做滑动窗口切分时每个窗口需要对应一个标签。故障数据通常是在某个时间点开始注入故障信号文件本身是连续的。如果你只对信号的起始部分做了标签标注然后滑动窗口时标签数组没有同步滑动就会出现前几个窗口标签正确后面窗口标签错位或者所有窗口都用了同一个标签。现象训练时损失能下降但混淆矩阵对角线异常某些类别的召回率几乎为0。原因很简单——标签数组没有按窗口索引对齐。解决方法是把标签定义成与窗口一一对应的向量而不是与采样点一一对应。比如你有一个原始信号长度为L窗口滑动后得到M个窗口那么标签向量也应该长度为M每个元素对应第m个窗口。如果故障从某个采样点faultIdx开始那么只有起始位置大于等于faultIdx的窗口才标为故障类。写代码时先计算每个窗口的起始位置startIdx(m)再判断startIdx(m) faultIdx来生成标签不要凭肉眼给整段文件一个标签。5.4 训练不稳定学习率与批量大小的匹配经验1D-2D双分支网络比单分支更难训练因为两条路径的梯度量级不一致。我遇到过这样的翻车现场loss在前10轮降到0.5然后在第15轮突然跳到无穷大之后一直NaN。查下来是学习率太高2D分支的梯度爆炸。现象训练iteration一到某个数值loss变NaN或者准确率振荡剧烈。原因通常是学习率与batch size不匹配。batch size越大梯度越平滑可以用更大的学习率batch size小梯度噪声大学习率必须相应调小。一般建议batch size为32或64时初始学习率取0.001并配合piecewise或cosine调度。如果使用Adam优化器学习率从0.0001开始会更稳虽然收敛慢但至少不炸。另外一个技巧是分别给两个分支设置不同的学习率系数在Matlab里可以在trainingOptions中设置GradientThreshold比如10防止梯度爆炸。5.5 验证指标别只用准确率看混淆矩阵和F1故障识别里类别不平衡是常态比如正常样本比例占80%故障样本只占5%~10%。如果只看整体准确率模型只需要把所有样本预测为正常就能拿到80%的准确率看起来还不错但在故障检测场景中这完全不可用。现象是准确率很高,但故障类别的召回率极低。解决方法是看每个类别的精确率、召回率和F1分数以及混淆矩阵。Matlab里可以用confusionchart直接画混淆矩阵或者用perfcurve计算ROC曲线。训练时用加权交叉熵损失classWeights来缓解类别不平衡在classificationLayer之前加一个weightedClassificationLayer或者在训练数据中过采样故障样本。我通常先跑一版不带权重的baseline看混淆矩阵里哪些类别混淆严重再针对性地增加该类别样本或调整损失权重。6. 进阶用法把多模态融合结果做成可解释的故障证据图6.1 注意力权重的可视化训练完成后我们不仅想知道“有没有故障”还想知道“凭什么判为故障”。GRU后的Attention权重正好能回答这个问题。把测试样本输入网络取出attentionLayer中的权重向量alphaT×1然后把它与对应的窗口时间点对齐画成一条曲线或热力图就能直观看到模型重点关注的时段。在Matlab中可以用activations函数提取网络中间层的输出。比如attAct activations(net, testData, att); alpha squeeze(attAct); % T×1 timeline (1:T) * windowSize / fs; % 换算成秒 plot(timeline, alpha); xlabel(时间 (s)); ylabel(注意力权重);如果看到注意力权重集中在某个时间段而那个时间段的振动信号波形恰好有冲击这就成了可解释的故障证据。进一步把原始信号波形和注意力权重画在同一张图的上下轴上可以生成一张“故障证据图”直接放在研究报告或论文中很有说服力。6.2 决策边界与特征分布的可视化融合后的特征向量经过全连接层后其分布可以用t-SNE降维到二维平面。Matlab的tsne函数不支持GPU数据量大时很慢建议随机抽样500个样本来做。可视化时按真实标签着色如果不同故障类别在t-SNE图上形成清晰的簇说明模型的深度特征具有可分性如果某些类别混在一起就去检查对应的MTF图是否相似。这一招在我调试新数据集时帮了大忙——它能在不训练分类头的情况下提前评估特征质量。6.3 如何把模型导出到实时监测系统模型研究完总是要落地的。Matlab训练好的网络可以用exportNetwork或codegen导出成C/C代码然后部署到实时监测设备上。但有一个坑自定义Attention层在代码生成时可能不支持换成内置的attentionLayer如果Matlab版本支持或者把注意力权重固定后合并成全连接层的系数就能绕过去。另一个做法是在训练完成后把GRUAttention部分固定权重直接导出为一个标准LSTM层用加权和等效替代这样只需要标准层的代码生成。不过最省事的是把特征提取部分CNN和分类部分分开部署前者生成C后者在PLC或上位机里用公式实现。我自己的习惯是先把模型保存为.mat文件然后用Matlab Compiler编成独立的可执行程序这样不依赖原版Matlab也能运行。说到底做故障识别的目的不是追求论文里的花哨指标而是真的能在设备损坏前给出报警。为了让模型能在现场稳定工作我习惯训练完后用一段真实的现场数据做盲测而不是只拿公开数据集的自测结果。这也是我踩过不少坑以后留下的习惯——公开数据里的工况太干净现场信号的噪声和变工况会让模型瞬间翻车。多花点时间做数据清洗比调整模型结构更值得。希望这篇笔记能帮你少走一些弯路把MTF1D-2D-CNN-GRU-Attention这条路线真正跑通。本文还有配套的精品资源点击获取 基于MTF与1D-2D-CNN-GRU-Attention的故障诊断全解析及Matlab实践
简介面向故障诊断与多模态融合研究的一份 Matlab 完整实现适用于滚动轴承、变压器油气等场景下的数据分类与故障识别。模型结合马尔可夫场MTF将一维时序信号转换为二维图像再通过 1D-2D-CNN 提取多尺度特征并联用 GRU 捕获时序依赖引入 Attention 提升泛化能力为学术实验与算法对比提供了可直接运行的参考方案。资源共 966 个文件含 3 个分步骤 Matlab 脚本训练集/测试集构建及 CNN-GRU-Attention 主程序、2 个实验数据表格和 1 个说明文本另有 960 张 MTF 转换后的二维特征图便于直观检查信号成像效果与特征质量压缩包整体约 9.73MB。目前已有 203 人学习使用。通过该资源可复现论文级实验流程获得从一维信号到二维图像融合、再到模型训练评估的完整代码链也能借助配套数据表格和图像结果进一步分析分类准确率与鲁棒性适合作为故障诊断、多模态融合方向课程设计或毕业设计的参考基线。1. 先从MTF说起为什么把一维时序信号变成图像再送进CNN很多人第一次看到“基于MTF的1D-2D-CNN-GRU-Attention”这个标题时第一反应是“绕”。但拆开看它其实解决的是一个特别现实的问题旋转机械、电机、轴承这类设备的振动信号是典型的一维时间序列直接扔给CNN卷积核只能沿着时间轴滑动能学到的局部模式非常有限。而MTFMarkov Transition Field马尔可夫转移场能把一维时序转成二维图像让CNN的二维卷积核去捕捉信号在不同状态之间转移的模式类似看一张纹理图。这个方向在故障识别里已经是被反复验证过的套路适合拿来研究学习的原因也很简单——每步都有明确的物理意义Matlab里从数据到模型的闭环比Python少踩很多环境坑。下面我会从MTF的图像化开始一步步把1D-CNN、2D-CNN、GRU和Attention怎么拼起来讲透并给出可直接复现的Matlab源码思路。2. 信号转图像MTF的Matlab实现与参数敏感性分析2.1 MTF计算步骤与核心函数MTF的思想不复杂先把连续的时间序列按幅值分成Q个离散区间分箱然后统计相邻两个时刻的采样点从一个区间转移到另一个区间的概率形成一个Q×Q的转移矩阵最后把每个时刻的区间归属映射到这个转移矩阵上得到一个二维的马尔可夫转移场。这个场的坐标是时间颜色深浅代表该时刻对应的转移概率所以原始信号的动态变化就被编码成了图像纹理。在Matlab里核心步骤可以这样写function mtfImg computeMTF(signal, Q, R) % signal: 输入一维时序列向量 % Q: 分箱数一般取8~16 % R: MTF图像尺寸即输出图像的行/列像素数 N length(signal); % 1. 将信号幅值归一化到[0,1] s (signal - min(signal)) / (max(signal) - min(signal)); % 2. 按Q个等宽区间分箱得到每个采样点的箱号1~Q binId min(floor(s * Q) 1, Q); % 3. 统计一阶马尔可夫转移矩阵 P P zeros(Q, Q); for i 1:N-1 P(binId(i), binId(i1)) P(binId(i), binId(i1)) 1; end % 行归一化得到转移概率 P P ./ max(sum(P, 2), eps); % 4. 按时间顺序映射到R×R网格 % 对输出图像每个像素(r,c)r对应原时间点ic对应原时间点j % 这里用线性插值采样避免对每个像素都遍历所有时刻 idx round(linspace(1, N, R)); mtfImg zeros(R, R); for r 1:R i idx(r); for c 1:R j idx(c); mtfImg(r, c) P(binId(i), binId(j)); end end % 转成0~255灰度图方便后续CNN输入 mtfImg uint8(mat2gray(mtfImg) * 255); end这段代码里第3步的转移矩阵是关键它描述了“前一刻在哪个箱、后一刻跳到哪个箱”的统计规律。注意第4步并不是对所有时间点都映射到图像而是通过linspace(1,N,R)取出R个代表时刻这样输出图片尺寸可控计算量也小。参数说明Q控制分箱粗细Q太小转移矩阵表达不了丰富状态Q太大每一箱内样本数太少概率估计不稳R是最终图片边长R64或128是比较常用的。如果你处理的是长信号建议先做滑动窗口切片每个窗口单独转成一张MTF图而不是整段信号压成一张图——否则图像会丢失局部故障特征这个问题在3.2节还会提到。2.2 时间窗、分箱数和图像尺寸怎么定MTF的三个超参数里最让人纠结的是Q。我在实际做轴承故障数据时Q8和Q16出来的图像纹理差异很大但分类精度可能只差1~2个百分点。Q的影响在信号本身信噪比低的时候才明显如果你采集的数据比较干净Q取10~12就够了。图像尺寸R影响的是CNN输入分辨率R64时一个样本的MTF图像是64×64整网参数量也小适合快速验证R128时细节更丰富但2D-CNN的计算量会增加4倍训练时间翻一倍都不止。我一般先跑R64的基线确认模型能收敛再做R128的对比实验。时间窗长度W则是另一个容易踩坑的点。窗太短MTF里包含的周期信息不够故障特征不完整窗太长一个样本里可能混入多个工况变化模型会学到“工况特征”而不是“故障特征”。比较稳妥的做法是让W至少覆盖信号周期的4~5倍比如转速1500rpm的轴承转频25Hz一个周期0.04秒采样率12kHz那一个周期约480个采样点W取2000~2400点比较合适。Matlab里你可以用audioread或load读数据后用buffer函数快速切窗。2.3 批量转换的工程化写法实际做研究时不会只有一个样本而是有一个数据集比如KAT或CWRU这类公开轴承数据。批量生成MTF图时建议把每段信号的所有窗口一次性转成图像并保存成.mat文件避免每次训练都重新算。我习惯把转换过程封装成一个函数然后用parfor并行跑function mtfBatch(signalCell, Q, R, W, outputPath) % signalCell: 1×N的cell每个元素是某段信号列向量 N length(signalCell); mtfData cell(1, N); parfor k 1:N sig signalCell{k}; numWindows floor((length(sig)-W)/round(W/2)) 1; imgs zeros(R, R, 1, numWindows, uint8); for m 1:numWindows startIdx (m-1)*round(W/2) 1; seg sig(startIdx:startIdxW-1); imgs(:,:,1,m) computeMTF(seg, Q, R); end mtfData{k} imgs; end save(outputPath, mtfData, -v7.3); end这里窗口滑动步长设为W/2即50%重叠是图像增强的常用做法。注意parfor里不要对共享变量做写操作否则会报错。保存为-v7.3是因为单张MTF图虽然不大但样本多了以后单个.mat文件可能超过2GB低版本Matlab会打不开。3. 双通道输入1D-CNN与2D-CNN各自吃什么数据3.1 一维分支原始时序的局部瞬态特征MTF图像虽然好看但它把原始信号中的瞬态冲击比如轴承外圈故障时的高频冲击做了概率化处理冲击的幅值大小信息被分箱归一化抹掉了。所以纯粹用MTF图做输入会丢失冲击幅值、持续时间这类重要特征。这也是为什么这个方案要搞1D-CNN和2D-CNN双通道——1D分支直接吃原始时序信号专抓局部瞬态和波形形状2D分支吃MTF图专抓状态转移的纹理模式。两条腿走路信息互补。1D-CNN的输入是滑动窗口后的时间序列片段长度就是W。它的一维卷积核长度一般取7、15、31这类值对应不同的感受野。在Matlab里用convolution1dLayer搭建layer1d [ sequenceInputLayer(1) % 单变量时序 convolution1dLayer(31, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) convolution1dLayer(15, 64, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) fullyConnectedLayer(128) ];这里第一层卷积用31个采样点的核对应大约0.0026秒12kHz采样率足够覆盖一个冲击的上升沿。注意sequenceInputLayer(1)要求输入是C×S×1的格式即通道数×序列长度×1如果你的数据是多通道振动需要把输入层改成通道数。1D分支的输出特征长度取决于W和池化次数比如W2048经过两次stride2的池化后变成512再经全连接变成128维向量。3.2 二维分支MTF图像的空间纹理特征2D-CNN的输入是R×R的MTF灰度图。它用的卷积核是在二维平面上滑动的能捕捉到图像局部的小方块纹理模式。不同的故障类型在MTF图上会呈现出纹理粗细、方向、明暗块的差异。比如正常轴承的振动信号平稳MTF图纹理均匀内圈故障会出现沿对角线方向的条纹因为故障冲击是周期性的转移矩阵里对角线附近的概率偏高。我常用的2D分支结构是三个卷积块叠加layer2d [ imageInputLayer([R R 1]) convolution2dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 64, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 128, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) fullyConnectedLayer(128) ];2D分支的卷积核大小选3×3是最常见的因为小卷积核叠加可以获得更大的感受野同时参数量少。第一层就输出32个特征图后面逐步增加到64、128。图像尺寸R64时经过三次池化后变成8×8×128再拉平为8192维接全连接压缩到128维。这个128维向量和1D分支的128维向量就是后续融合的原料。3.3 融合层怎么设计才不会两边信息互相淹没双通道融合最容易出的问题两个分支的输出scale不一样直接拼接后梯度更新失衡。比如1D分支输出特征的值域经过ReLU后可能是0~几十而2D分支的特征可能集中在0~5拼接后模型会偏向数值大的那一支。融合前先对两个分支分别做batch normalization把特征拉回到均值为0、方差为1的量级。然后有两种常见融合方式向量拼接concatenate把两个128维的特征拼成256维后面再接一个全连接层降维到128或64。实现简单模型自己学权重。加权求和两个128维特征逐元素相加但是每个分支学一个可训练的门控权重alpha和beta比如feature alpha * f_1d beta * f_2d。这种方式能显式控制两个模态的贡献比例但需要额外引入两个标量参数。我一般先试拼接因为它能更大限度保留信息如果后面模型过拟合再换成加权求和做正则。在Matlab的trainNetwork里可以用depthConcatenationLayer(2)将两个分支的输出拼接起来。要注意的是拼接前两个分支的feature维数最好一致否则拼接后不平衡。4. 时序记忆与注意力GRU和Attention怎么接在CNN后面4.1 为什么选GRU而不是LSTMCNN提取的是每个窗口内的局部特征但故障信号是有连续性的前一个窗口和后一个窗口之间存在演化关系。比如轴承故障早期冲击幅度逐渐增大这种趋势需要跨窗口的记忆能力。GRU和LSTM都能做这件事但GRU参数更少、训练更快在样本量不大的故障识别任务里更实用。GRU只有两个门更新门、重置门LSTM有三个门参数少了四分之一。对于Matlab环境下的研究学习GRU的收敛速度明显优于LSTM而且故障数据集的样本量通常也就几万个窗口GRU的泛化能力反而比LSTM好。GRU的输入是特征序列。刚才1D-CNN和2D-CNN的输出是每个窗口的一个特征向量如果有T个窗口那就有T个128维向量按时间顺序排列正好组成一个序列输入给GRU。在Matlab里假设融合后的序列数据是numFeatures × T × numObservations的格式gruLayer(128, OutputMode, last)如果设置OutputMode为lastGRU只输出最后一个时间步的隐藏状态可以接全连接层分类设为sequence则输出每个时间步的隐藏状态可以再接Attention。4.2 Attention加在哪一层效果最好Attention的作用是让模型自动关注对故障识别最有用的时间步。在GRU之后加Attention是主流做法。因为GRU把所有历史信息压进最后一个隐藏状态信息有损Attention则直接对每个时间步的隐藏状态做加权求和给重要的时间步更大权重。具体结构是GRU的输出是每步隐藏状态h_tT×128先学习一个打分函数然后用softmax得到权重最后加权求和得到上下文向量。在Matlab中虽然没有内置的attention层但可以用自定义层实现。这里给出一个简化版的自定义attention层用于分类任务key与query相同classdef attentionLayer nnet.layer.Layer properties (Learnable) W % 可训练权重hiddenSize×1 end methods function layer attentionLayer(hiddenSize) layer.Name attention; layer.W randn(hiddenSize,1) * 0.01; end function [Z, memory] predict(layer, X) % X: hiddenSize × T × N score pagemtimes(permute(X,[1 3 2]), layer.W); % ?可以理解成对每个时间步打分 % 因为是按batch维度操作我们简化处理用循环 [~, T, N] size(X); Z zeros(size(X,1), 1, N); for i 1:N Xi X(:,:,i); % hiddenSize × T e exp(Xi * layer.W); % T×1 alpha e / sum(e); Zi Xi * alpha; % hiddenSize×1 Z(:,1,i) Zi; end end end end在实际代码中pagemtimes的效率更高但要保证Matlab版本在2020a以上。Attention加在GRU后面然后接全连接层和softmax。实验里Attention对故障类别的区分度提升效果显著尤其当故障发生在信号的末尾段时没有Attention的GRU很容易漏掉尾部特征。4.3 完整网络结构的Matlab示例代码综合上述分支完整网络可以这样搭function lgraph buildMTFNet(inputSize1, inputSize2) % 1D分支输入层 lgraph layerGraph(); lgraph addLayers(lgraph, [ sequenceInputLayer(1, Name, in1d) convolution1dLayer(31, 32, Padding, same, Name, conv1d1) batchNormalizationLayer(Name, bn1d1) reluLayer(Name, relu1d1) maxPooling1dLayer(2, Stride, 2, Name, pool1d1) convolution1dLayer(15, 64, Padding, same, Name, conv1d2) batchNormalizationLayer(Name, bn1d2) reluLayer(Name, relu1d2) maxPooling1dLayer(2, Stride, 2, Name, pool1d2) fullyConnectedLayer(128, Name, fc1d) ]); % 2D分支输入层 lgraph addLayers(lgraph, [ imageInputLayer(inputSize2, Name, in2d) convolution2dLayer(3, 32, Padding, same, Name, conv2d1) batchNormalizationLayer(Name, bn2d1) reluLayer(Name, relu2d1) maxPooling2dLayer(2, Stride, 2, Name, pool2d1) convolution2dLayer(3, 64, Padding, same, Name, conv2d2) batchNormalizationLayer(Name, bn2d2) reluLayer(Name, relu2d2) maxPooling2dLayer(2, Stride, 2, Name, pool2d2) convolution2dLayer(3, 128, Padding, same, Name, conv2d3) batchNormalizationLayer(Name, bn2d3) reluLayer(Name, relu2d3) maxPooling2dLayer(2, Stride, 2, Name, pool2d3) fullyConnectedLayer(128, Name, fc2d) ]); % 融合层 lgraph addLayers(lgraph, depthConcatenationLayer(2, Name, cat)); % GRU Attention 分类层 lgraph addLayers(lgraph, [ gruLayer(128, OutputMode, sequence, Name, gru) attentionLayer(128, Name, att) % 自定义层 fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output) ]); % 连接关系 lgraph connectLayers(lgraph, fc1d, cat/in1); lgraph connectLayers(lgraph, fc2d, cat/in2); lgraph connectLayers(lgraph, cat, gru); lgraph connectLayers(lgraph, gru, att); lgraph connectLayers(lgraph, att, fc_final); end注意numClasses需要提前指定比如故障类型有4类就设为4。自定义attention层必须继承nnet.layer.Layer并实现predict和backward方法用于训练。上面代码是为了展示结构真正的自定义层还需要实现backward建议直接参考Matlab帮助文档里的“Define Custom Deep Learning Layers”示例。训练时使用trainNetwork输入是(X1, X2)分别对应一维时序和MTF图像其中X1格式为1×W×T×NX2格式为R×R×1×T×N这里的T是序列长度窗口个数N是样本数。5. 故障识别避坑指南数据划分、过拟合与标签错位的典型问题5.1 训练集和测试集不能随机划分要按工况或时间片段切这是最容易被新手忽略的问题。故障识别的数据往往是连续采集的同一段信号切出来的窗口之间高度相关。如果随机打乱划分训练集和测试集训练集中可能包含了测试集前后时间窗口的相似样本导致准确率虚高。现象是训练准确率97%测试准确率也高达95%但部署到新采集的完全独立数据上准确率骤降到80%以下。原因在于时间序列样本并不是独立同分布的相邻窗口共享大量重叠数据随机划分造成了数据泄漏。解决方法是按时间段划分比如一台设备前60%的时间数据做训练后40%做测试或者按不同工况划分比如用A工况训练B工况测试。在构造数据集时保留group信息用cvpartition(group, HoldOut, 0.3)来划分确保同一段原始信号的窗口不会同时出现在训练和测试集里。5.2 过拟合的一个隐蔽来源归一化参数用了测试集信息信号归一化常见做法是(signal - min) / (max - min)。如果对整个数据集求min和max那实际上测试集的信息已经参与了归一化相当于测试集的信息在预处理阶段泄露给了训练过程。这在故障识别中是致命的因为模型可能学会“幅值范围变大了就是某种故障”而不是真正学习故障形态。正确的做法是只统计训练集每个窗口的信号幅值得到每个窗口自己的min和max来归一化或者统计整个训练集的全局min和max保存这两个标量然后应用到训练集和测试集。在MTF计算中也是一样分箱的边界应该由训练集信号决定而不是由测试集决定。如果每次调用computeMTF时都动态计算min和max那么同一个测试样本在不同运行环境下的归一化结果会不同模型输出也会漂移。我一般会在训练前用训练数据计算好全局minVal和maxVal然后把这两个值作为参数传给批量转换函数。5.3 标签对齐错误MTF窗口滑动后标签没跟着平移当你对原始信号做滑动窗口切分时每个窗口需要对应一个标签。故障数据通常是在某个时间点开始注入故障信号文件本身是连续的。如果你只对信号的起始部分做了标签标注然后滑动窗口时标签数组没有同步滑动就会出现前几个窗口标签正确后面窗口标签错位或者所有窗口都用了同一个标签。现象训练时损失能下降但混淆矩阵对角线异常某些类别的召回率几乎为0。原因很简单——标签数组没有按窗口索引对齐。解决方法是把标签定义成与窗口一一对应的向量而不是与采样点一一对应。比如你有一个原始信号长度为L窗口滑动后得到M个窗口那么标签向量也应该长度为M每个元素对应第m个窗口。如果故障从某个采样点faultIdx开始那么只有起始位置大于等于faultIdx的窗口才标为故障类。写代码时先计算每个窗口的起始位置startIdx(m)再判断startIdx(m) faultIdx来生成标签不要凭肉眼给整段文件一个标签。5.4 训练不稳定学习率与批量大小的匹配经验1D-2D双分支网络比单分支更难训练因为两条路径的梯度量级不一致。我遇到过这样的翻车现场loss在前10轮降到0.5然后在第15轮突然跳到无穷大之后一直NaN。查下来是学习率太高2D分支的梯度爆炸。现象训练iteration一到某个数值loss变NaN或者准确率振荡剧烈。原因通常是学习率与batch size不匹配。batch size越大梯度越平滑可以用更大的学习率batch size小梯度噪声大学习率必须相应调小。一般建议batch size为32或64时初始学习率取0.001并配合piecewise或cosine调度。如果使用Adam优化器学习率从0.0001开始会更稳虽然收敛慢但至少不炸。另外一个技巧是分别给两个分支设置不同的学习率系数在Matlab里可以在trainingOptions中设置GradientThreshold比如10防止梯度爆炸。5.5 验证指标别只用准确率看混淆矩阵和F1故障识别里类别不平衡是常态比如正常样本比例占80%故障样本只占5%~10%。如果只看整体准确率模型只需要把所有样本预测为正常就能拿到80%的准确率看起来还不错但在故障检测场景中这完全不可用。现象是准确率很高,但故障类别的召回率极低。解决方法是看每个类别的精确率、召回率和F1分数以及混淆矩阵。Matlab里可以用confusionchart直接画混淆矩阵或者用perfcurve计算ROC曲线。训练时用加权交叉熵损失classWeights来缓解类别不平衡在classificationLayer之前加一个weightedClassificationLayer或者在训练数据中过采样故障样本。我通常先跑一版不带权重的baseline看混淆矩阵里哪些类别混淆严重再针对性地增加该类别样本或调整损失权重。6. 进阶用法把多模态融合结果做成可解释的故障证据图6.1 注意力权重的可视化训练完成后我们不仅想知道“有没有故障”还想知道“凭什么判为故障”。GRU后的Attention权重正好能回答这个问题。把测试样本输入网络取出attentionLayer中的权重向量alphaT×1然后把它与对应的窗口时间点对齐画成一条曲线或热力图就能直观看到模型重点关注的时段。在Matlab中可以用activations函数提取网络中间层的输出。比如attAct activations(net, testData, att); alpha squeeze(attAct); % T×1 timeline (1:T) * windowSize / fs; % 换算成秒 plot(timeline, alpha); xlabel(时间 (s)); ylabel(注意力权重);如果看到注意力权重集中在某个时间段而那个时间段的振动信号波形恰好有冲击这就成了可解释的故障证据。进一步把原始信号波形和注意力权重画在同一张图的上下轴上可以生成一张“故障证据图”直接放在研究报告或论文中很有说服力。6.2 决策边界与特征分布的可视化融合后的特征向量经过全连接层后其分布可以用t-SNE降维到二维平面。Matlab的tsne函数不支持GPU数据量大时很慢建议随机抽样500个样本来做。可视化时按真实标签着色如果不同故障类别在t-SNE图上形成清晰的簇说明模型的深度特征具有可分性如果某些类别混在一起就去检查对应的MTF图是否相似。这一招在我调试新数据集时帮了大忙——它能在不训练分类头的情况下提前评估特征质量。6.3 如何把模型导出到实时监测系统模型研究完总是要落地的。Matlab训练好的网络可以用exportNetwork或codegen导出成C/C代码然后部署到实时监测设备上。但有一个坑自定义Attention层在代码生成时可能不支持换成内置的attentionLayer如果Matlab版本支持或者把注意力权重固定后合并成全连接层的系数就能绕过去。另一个做法是在训练完成后把GRUAttention部分固定权重直接导出为一个标准LSTM层用加权和等效替代这样只需要标准层的代码生成。不过最省事的是把特征提取部分CNN和分类部分分开部署前者生成C后者在PLC或上位机里用公式实现。我自己的习惯是先把模型保存为.mat文件然后用Matlab Compiler编成独立的可执行程序这样不依赖原版Matlab也能运行。说到底做故障识别的目的不是追求论文里的花哨指标而是真的能在设备损坏前给出报警。为了让模型能在现场稳定工作我习惯训练完后用一段真实的现场数据做盲测而不是只拿公开数据集的自测结果。这也是我踩过不少坑以后留下的习惯——公开数据里的工况太干净现场信号的噪声和变工况会让模型瞬间翻车。多花点时间做数据清洗比调整模型结构更值得。希望这篇笔记能帮你少走一些弯路把MTF1D-2D-CNN-GRU-Attention这条路线真正跑通。本文还有配套的精品资源点击获取