跨模态通信理论及关键技术初探

作者：高赟; 魏昕; 周亮

来源：中国传媒大学学报(自然科学版), 2021, 28(01): 55-63.

DOI：10.16196/j.cnki.issn.1673-4793.2021.01.009

• 跨模态通信
• 触觉编码
• 码流传输
• 信息重建

传统视听服务和新兴触觉服务的相互加持,必将为多媒体用户带来更为极致的互动感受和场景体验。针对音频、视频和触觉信号在物理特征、传输需求、呈现形式等维度上均存在本质差异大的问题,提出音-视-触跨模态通信构架,主要包括触觉信号编码、多模态异构码流传输、跨模态信息重建三个方面。首先,基于用户触觉感知机理介绍当前高效、鲁棒的触觉信号编码方案,为实现信号的压缩提供理论依据;其次,通过充分利用码流传输的时空特性,提出一种边缘智能赋能下的多模态异构码流传输策略,以满足超低时延、超高可靠、大容量的传输需求;随后,通过不同模态间语义层面的融合及共享,探索智能、完备的跨模态信息重建机制以提升用户的沉浸感体验;最后,指出跨模态通信仍然存在的挑战以及展望其未来发展方向。

• 出版日期2021
• 单位南京邮电大学; 通信与信息工程学院