科研之友
微信
新浪微博
Facebook
分享链接
摘要
AI矿山大模型是一种基于人工智能的矿山智能化解决方案，利用大数据、深度学习、机器学习等技术，可以帮助矿山企业提高生产效率和安全性。在输送带撕裂检测方面，基于AI矿山大模型设计了基于Transformer处理多模态数据的一种网络结构，提出了DETR-Audio模型，将视频和音频的多模态数据拼接、融合，采用DERT模型对视频进行编码，利用短时傅里叶变换对音频信号进行时频谱分析，再对两者的特征向量进行拼接、融合，最后传入解码器进行融合解码。该模型经过3 000张煤矿矿井下输送带的图片以及相应的音频数据训练和测试后，表现良好，比单独使用视频或音频信息的模型具有更高的检测准确度和鲁棒性。
- 出版日期2023
- 单位西安交通大学; 中煤科工集团重庆研究院有限公司; 西安博深安全科技股份有限公司
