滚动轴承故障诊断
一、论文基础信息
- 论文标题：A Rolling Bearing Fault Diagnosis Method Based on Multimodal Knowledge Graph
- 期刊：IEEE Transactions on Industrial Informatics
- 发表时间：2024年11月
- 核心方法：多模态知识图谱MKG + 关系级联图注意力网络RCGAT + 卷积嵌入ConvE
- 数据集：7个公开轴承数据集（CWRU、DIRG、MFTP、Ottawa、FEMTO-ST、IMS、XTJU-sy）
二、论文要解决的问题
- 传统故障诊断把复合故障当成独立新标签，忽略故障之间的关联关系。
- 多数知识图谱只用到文本数据，没直接用传感器的振动信号、频谱等多模态数据。
- 传统图模型只考虑一阶邻居，不区分多阶邻居重要性，容易信息过度平滑。
- 知识图谱大多只做可视化/检索，没用于推理式故障诊断。
三、整体思路
把轴承故障诊断转化为多模态知识图谱补全任务：
先从振动信号、频谱、文本描述构建多模态知识图谱，再用RCGAT学习图结构与故障关系，最后用ConvE打分预测故障类型。
四、方法总流程
- 多模态知识图谱MKG构建
- 多模态特征融合（LMF）
- RCGAT编码（学习节点与邻居信息）
- ConvE解码（打分预测故障）
- 故障诊断输出
五、详细模型与步骤
1. 多模态知识图谱 MKG 构建
- 节点
- 实体：滑动窗口截取的振动信号段（时序数值 + 频谱图）
- 值：故障类型、转速、负载、故障直径等
- 边
- 属性边：信号 → 故障/转速/直径（属于、发生在、大小为）
- 关系边：信号 ↔ 信号（同故障、同转速、同直径）
- 三元组形式
- (实体, 关系, 实体)
- (实体, 属性, 值)
- 数据来源：振动时序、EMD频谱图、数据集文本描述
2. 多模态融合 LMF（低秩多模态融合）
- 输入模态：数值时序、频谱图（GoogLeNet）、文本（BERT）
- 作用：把多模态信息压成一个节点初始向量
- 特点：避免张量爆炸，计算高效
3. RCGAT 编码器（核心）
全称：关系级联图注意力网络
作用：给每个节点融合自身特征 + 邻居信息 + 多阶邻居信息
- ① 节点级注意力
每层内对不同邻居分配权重，关系不同权重不同。 - ② 层级注意力
堆叠多层得到1阶、2阶邻居信息，自动给各层加权，防止过平滑。 - ③ 输出
每个节点的最终嵌入向量（含全图结构信息）
关键点：
RCGAT不区分实体/属性，一律当作节点与边统一计算。
4. ConvE 解码器（打分器）
作用：给定（信号实体，关系，？），预测最可能的故障。
- 输入
- 头实体向量 h（RCGAT输出）
- 关系向量 r（如“故障位置是”）
- 步骤
- h 与 r 拼接
- reshape 成2D矩阵（不是图片，只是数字方块）
- 卷积提取交互特征
- 压平为向量
- 与所有故障实体计算匹配分数
- 输出
所有故障的置信度分数，最高分即为诊断结果
六、训练与预测的关键区别
训练
- 知识图谱完整，故障已知
- 模型学习：信号 → 故障的规律
预测（新未知信号）
- 新信号 → 切窗 → 多模态 → 初始向量
- 连入旧图谱（只连信号–信号边）
- RCGAT计算新节点向量
- ConvE输入（新向量，关系）→ 打分输出故障
七、创新点
- 首次直接用振动信号构建多模态知识图谱做故障诊断。
- 用RCGAT双注意力捕捉多阶邻居与关系依赖。
- 把故障诊断转为知识图谱补全，可推理复合故障。
- 多模态融合比单一模态精度更高。
八、实验结论
- 在7个轴承数据集上优于TransE、DisMult、ConvE、RGCN、RGAT
- 三元组分类准确率 >99%
- 鲁棒性强，适合复合故障、少样本场景
