基于多模态数据融合的2型糖尿病阴虚证智能诊断方法

作者：温浩; 吕茂斌; 张伟; 陈小愚; 王世东; 张华敏; 战丽彬^*; 王坤峰^*

来源：中华中医药杂志, 2023, 38(11): 5436-5440.

• 多模态数据融合
• 阴虚证
• 深度学习
• 机器学习
• 智能诊断

目的：构建基于多模态数据融合的2型糖尿病阴虚证诊断模型。方法：收集2型糖尿病患者的临床诊断信息，包括舌诊图像、目诊图像以及诊断量表数据，建立中医诊断信息数据集。数据经过预处理后，根据模态选择合适的处理方法。采用VGG16、VGG19、ResNet34、ResNet50及GoogLeNet深度神经网络对图像数据进行分析，采用支持向量机（SVM）、随机森林（RF）以及K近邻（K-NN）对量表数据进行分析，再结合多模态数据融合架构共同形成诊断模型。结果：图像分析模型VGG16、VGG19、ResNet34、ResNet50及GoogLeNet均取得较高的准确率，其中ResNet50准确率最高，为86.60%。量表数据分析模型SVM、RF、K-NN的精度分别为91.8%、91.8%、80.3%，其中RF准确率最高且结果较稳定。采用自适应权重的多模态数据融合模型的诊断准确率为92.7%，灵敏性为88.89%，特异性为100%。结论：基于2型糖尿病阴虚证的中医临床诊断数据，采用机器学习模型构建的多模态数据融合模型，能够比较准确地对2型糖尿病阴虚证进行诊断，为2型糖尿病阴虚证的中医智能诊断提供了新的思路和方法。

• 出版日期2023
• 单位中国中医科学院中医药信息研究所; 辽宁中医药大学; 北京化工大学; 北京中医药大学东直门医院