清华大学-中国移动联合研究院陶晓明：会话视频语义通信，支持多媒体语义理解的任务

日前，在中国移动2022科技周迎接未来mdashmdash6G协同创新技术研讨会最后，清华大学—中国移动联合研究院副院长陶晓明教授发表了题为多媒体语义通信关键技术研发进展的主题演讲，介绍了清华大学与中国移动联合研发多媒体语义通信的思路和研究进展。

多媒体的语义表示和通信是6G的一个重要研究方向图像和视频的语义编码和传输可以大大减少传输的数据量，支持多媒体语义理解的任务

陶晓明教授介绍了对话式视频的语义交流平台，这是团队前期的重要研究内容和成果语义通信与传统的H.264编码相比，在同等质量下，码率降低10—20%，即降低到3KB左右该平台的核心技术优势在于不再对像素进行流式处理，而是通过语义编码器提取头部姿态和面部表情的运动参数，将其编码成比特流进行传输接收语义解码器根据头部姿态和面部表情参数驱动参考帧，合成说话人头部

图1:对话视频语义交流平台

陶晓明教授提出了图像的结构化表示方法，将高维图像降维为主客体三连音的低维表达表达了意象的内在含义，即目标和关系基于联合区域特征融合的场景图生成方法充分利用上下文信息进行主客体联合区域之间的信息交互融合多层次特征，并使用语言模型预测关系谓词的分类该方法提高了查全率，能够准确，全面地检测图像的复杂语义信息

陶晓明教授提出了任务驱动的图像语义编码方法，面向下游语义分析任务，如对象检测，语义分割等，以提取与传输任务相关的语义信息设计了一种基于深度强化学习的自适应码率分配方法，将更多的比特分配给重要的语义原语设计了一种基于生成对抗网络的生成式图像重建方法，将语义基元重建为图像目标该方法大大提高了低比特率图像编码的性能，重建质量优于JPEG，JPEG2000，BPG等工业图像编码方法，并能完成下游的语义分析任务

陶晓明教授表示，清华大学—中国移动联合研究院将继续开展语义通信技术的研究，欢迎与行业合作伙伴一起，在视频会议，直播等系统中开展整合应用，尽快为用户带来高质量的语义通信新体验。