引用本文
石光明, 李莹玉, 谢雪梅. 语义通讯——智能时代的产物* . 模式识别与人工智能, 2018,31(1): 91-99
SHI Guangming, LI Yingyu, XIE Xuemei. Semantic Communications: Outcome of the Intelligence Era. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2018,31(1): 91-99.  
Doi: 10.16451/j.cnki.issn1003-6059.201801008
Permissions
Copyright©2018, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部 所有
语义通讯——智能时代的产物*
石光明1, 李莹玉1, 谢雪梅1
1.西安电子科技大学 人工智能学院 西安 710071

通讯作者:石光明,博士,教授,主要研究方向为压缩感知理论及应用、脑认知与脑机通讯、深度神经网络.E-mail:gmshi@xidian.edu.cn.

作者简介:李莹玉,博士研究生,主要研究方向为大数据感知与处理、无线通信网络及物联网中分布式数据分流与资源分配.E-mail:yingyu_li@outlook.com.

作者简介:谢雪梅,博士,教授,主要研究方向为视频与图像处理、深度学习、压缩感知.E-mail:xmxie@mail.xidian.edu.cn.

收稿日期: 2017-09-25 接受日期: 2017-11-27
资助项目: 国家自然科学基金项目(No.61632019)、国家自然科学基金创新群体项目(No.61621005)资助
摘要

通讯技术从信源信道编码,到载波调制机制,再到超宽带通讯,这些信号层面的通讯技术已逼近香农界,以传送数据或信号波形的当前通信技术往哪里发展?文中总结新型人工智能技术对通讯技术变革的引导作用,提出新的通讯方式,即语义通讯.相比当前通讯中的“形式通讯”,语义通讯的核心是“达意通讯”或“内容通讯”.它通过知识库的建立实现类似的目的,即“达意”通讯而非数据通讯,并且通过信息发送方与接收方之间知识库的匹配,实现信道的混用,提高容错率.这是一种真正意义上的人工智能通讯方式,即类脑通讯的方式.这种以“达意”为基础的类脑通讯将极大地减少实际需要传输的数据量,有效解决大数据时代对通讯技术带来的挑战.文中提出语义通讯的构想,并阐述语义通讯的基本特征,语义的基本元素、语义编码和解码,待研究内容以及需要解决的挑战问题.

关键词: 语义通讯; 语义基元; 智能通讯; 达意交互; 语义网络
Semantic Communications: Outcome of the Intelligence Era
SHI Guangming1, LI Yingyu1, XIE Xuemei1
1.School of Artificial Intelligence, Xidian University, Xi'an 710071
Corresponding author:SHI Guangming, Ph.D., professor. His research interests include compressive sensing theory and its applications, brain understanding and brain-machine communications, deep neural networks.

About the Author:LI Yingyu, Ph.D. candidate. Her research interests include big data collection and analysis, distributed data offloading and resource allocation in wireless communication networks as well as internet of things.

XIE Xuemei, Ph.D., professor. Her research interests include video and image processing, deep learning and compressive sensing.

Fund:Supported by National Natural Science Foundation of China(No.61632019), the Foundation for Innovative Research Groups of the National Natural Science Foundation of China(No.61621005)
Abstract

Communication technology develops greatly, especially in source and channel coding, modulation mechanisms and ultra-wideband communications. From the aspect of signal processing, current technologies have already approached the Shannon capacity. Directions for future researches in traditional data and signal transmission-based communication industry become unclear. According to the recent state-of-the-art artificial intelligence technologies and their influences on the revolution of the communication industry, a new communication mechanism, namely semantic communications, is proposed. Compared with the traditional communication technology based on pattern transmission, the key point of semantic communications is idea-passing communication, and it can also be referred to as content transmission. In such a revolutionary communication mechanism, the transmission is conducted upon ideas instead of data through the construction of a certain knowledge library. The error tolerance of the channel can also be improved via the matching between the idea transmitter and receiver. It could be considered as the artificial intelligence induced communication with its true meaning since it is a brain-resembling communication mechanism. The introduced brain-resembling communication mechanism based on idea-passing significantly reduces the data amount to be transmitted, and it is an efficient way to address the challenge to the communication industry due to the arrival of big data era. In this paper, the tentative idea of semantic communications is presented and the fundamental elements, semantic coding and decoding, future research directions and major challenges in semantic communications are discussed.

Key words: Semantic Communications; Semantic Elements; Intelligence Communications; Idea-Passing Interaction; Semantic Networks

后5G的通讯技术向何方发展?移动通讯技术从1981年开始的1G模拟通讯, 到1991年2G时代的数字通信GSM & CDMA, 再到1998年出现的UMTS & IMT-2000 3G移动通讯、2008年以 LTE-A & WiMax为代表的 4G通讯时代, 目前5G通讯正成为全面商用的前序.移动通讯技术几乎每隔十年更新一代, 通讯速率越来越高, 已逼近香农限, 同时应用的载波频谱也越来越宽, 导致频谱资源奇缺.

华为公司在通讯技术方面已由过去的国际跟跑者发展到国际领跑者.华为公司董事长任正非在2016年5月30日全国科技创新大会、全国两院院士大会上发言指出 “ 华为现在的水平尚停留在工程数学、物理算法等工程科学的创新层面, 尚未真正进入基础理论研究” .随着逐步逼近香农定理、摩尔定律的极限, 还未创造大流量、低时延的理论, 华为已感到前途茫茫, 找不到方向.华为已经攻入通信领域科技“ 无人区” , 处在无人领航、无既定规则、无人跟随的困境, 科技工作者们在惊呼, 通信产业往哪里发展, 通讯技术发展的路在何方?华为的迷茫正是电子信息科学技术的迷茫.

大数据时代期盼新型通讯技术.当今是大数据移动云服务时代, 带来大量的移动通讯需求.根据美国网络互联供应巨头思科公司2014年发布的虚拟网络索引白皮书显示[1], 以无线通讯网络中的数据量为例, 年增长率高达61%.其中, 2014年全球每月产生的移动数据量为2.6艾字节(Exabyte/EB, 1EB=260字节), 而这一数字将在2019年预计达到24.3艾字节, 约为2014年的10倍之多.全球移动设备的总数量也将在2018年达到百亿余台, 这将给当前的无线通讯网络带来巨大的负担与挑战.无线通讯网络中可用的带宽资源十分稀少且有限, 难以为呈指数增长的移动设备数量、数据流提供可靠、稳定的数据传输服务.而在以准确传输数据为目标的当前通讯技术领域, 大数据的高冗余特性浪费大量的通讯资源.

当今信息时代, 除大数据、云计算、互联网, 已沉寂一段时间的人工智能技术(Artificial Intelligence, AI)[2]已被唤醒.信息技术的巨大进步推动人工智能的基础理论、方法和技术向纵深发展.1956年达特茅斯会议提出人工智能, 此技术经历三起三落, 信息技术、大数据、深度学习、脑神经科学的巨大进步推动人工智能技术再一次飞跃.人工智能正呈现以信息和知识处理为主、与人类知识混合、能自主完成更多认知性工作等新特点.当今是“ 电子信息+” 和“ 互联网+” 的信息时代, 第三次人工智能浪潮正促使现代社会从信息化向智能化发展, 人工智能的迅速发展将深刻改变人类社会生活, 改变世界.“ 万物互联” 正在向“ 万物智联” 方向发展, “ AI+” 时代的热浪正扑面而来.

智能体之间通讯有了新需求.当前通讯技术以准确传输数据或精确传送信号波形为目标, 而其中承载的是什么含义信息并未受到特别关注, 也就是说, 人们并没有把准确传输数据或载波波形承载的信息含义作为目标.通讯的初衷是要“ 达意” , 即让接收者明白或理解发送者的本意.通信真正的目的是接收方理解发送方的信息含义, 降低接收者对信息的不确定性或者说使接收到的信息熵减少至0, 使接收者正确理解发送者的信息内容, 即“ 达意” 通讯.例如, 很多人讲话有口音, 发音不标准, 但听者的目的是期望透过口音辨识理解说者的含义.达意通讯关注载波中的信息内容, 不再关注载波波形的具体形式, 而现有通讯恰恰相反, 只关注载波形式而不关注内容.这也是造成大数据通讯给现有通讯产生巨大压力的原因, 大数据[3]具有大冗余(Redundan-cy)特性, 造成通讯资源的巨大浪费.因此, 大数据时代呼唤达意的语义通讯技术诞生.

智能技术发展促成新一代通讯技术诞生.在上述的大数据背景下及随着深度学习技术的出现与快速发展, 人工智能领域的研究也随之蓬勃发展, 当今的社会正从信息化向智能化方向急速发展, 无处不在的智能体将要或正在充满社会的各方面.人与机、机与机、人与生物、机与生物、人与人等多种智能体之间的非精确的会意交互需求正逐步增多, 预示各种智能体之间的交互已从基于数据发展到会意交互, 万物数据互联正在演变成万物智能达意互联.

语义通讯是智能体之间的一种必然通讯方式.相比当前通讯中的“ 形式通讯” , 语义通讯的核心是“ 达意通讯” 或“ 内容通讯” .这是一种真正意义上的人工智能通讯方式, 即类脑通讯的方式.无论是人或动物, 同种生物之间进行的通讯都是以不断学习中积累的“ 知识库” 为基础.语义通讯与当前通讯的区别也主要在于语义通讯是基于知识库的高效内容通讯.例如, 在当前通讯的框架下, 当机器接收到的信息解码为“ mouse” 时, 无法判断这一词语的含义是作为动物的“ 老鼠” 还是电脑的输入设备“ 鼠标” ; 当人接收到类似信息时, 可通过上下文及已有的知识库简单地判断其具体含义.语义通讯也可以通过知识库的建立实现类似的目的, 即“ 达意” 通讯而非数据通讯.

1 通讯技术发展回顾

自从发现电磁波后, 人们就开始利用它传递消息.现有的通讯指导思想是传送的数据或发射信号波形保真, 期望使用最少的频谱资源实现最大速率的数据比特传送同时误码率最低.然而, 频谱资源、传输速率、误码率三者之间存在难以调和的矛盾[4].

众所周知, 可以按信号、特征和语义不同层次空间刻画和处理信息.人们在信号层面花费大量的精力开发通讯技术, 用于扩大通讯效能.

在频率域方面, 通讯技术经历从长波、到短波、再利用微波、太赫兹通讯、以及光通讯[5]的过程.信道包括双绞线信道(kHz级别)、同轴电缆信道(MHz级别)和波导(GHz-THz级别)、光纤通讯(PHz)等.光纤信道是一种特殊的有线信道, 相比同轴电缆信道, 提供的带宽增大若干数量级.无线通讯系统中使用无线电磁信道.根据电磁波的波长不同, 无线电磁信道的频段可分为声频带(100 km)、甚低频(VLF, 10 km)、低频(LF, 1 km)、中频(MF, 100 m)、高频(HF, 10 m)、甚高频(VHF, 1 m)、特高频(UHF, 10 cm)、超高频(SHF, 1 cm)、毫米波(EHF, 1 mm)等.在调制方式上[6], 通讯技术经历振幅键控、频移键控、相移键控等方式, 使用正交振幅调制(Quadrature Amplitude Modulation, QAM)及正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)等数字调制技术.在复用方式上[6], 有频分多址(Frequency Division Multiple Access, FDMA)、时分多址(Time Division Multiple Access, TDMA)和码分多址(Code Division Multiple Access, CDMA).在天线分集方式上, 有单输入单输出(Single Input Single Output, SISO)、多输入多输出(Multiple Input Multiple Output, MIMO)[7]通讯.

同样, 在信息层面, 人们也研发多种数据压缩方法, 如变换编码压缩(H26X系列[8], JPEG2000系列[9]), 用于提升传送效率.

香农信息论[10]表明, 通讯的速率与带宽相关, 而目前大家普遍默认数据率越高, 传输的信息量也越大.所以现有的通讯方式都在信号层面上研究各种方法提升传输速率.然而, 在语义层面上, 至今尚未研究出一种通讯方式.

2 语义通讯的基本概念与特点
2.1 智能生物之间通讯的特点

比特量真的代表真正包含语义的信息量吗?多语义信息量一定要宽带传输吗?认真想想不难找到答案.比特量多并不意味着语义信息量多.人与人之间的直接通讯是利用声波, 声波的带宽有限.按照香农信息论, 它能承载的信息容量有限, 但它不妨碍人与人之间的大容量信息交流.人们说话交流目的不是为了听清楚说者的声音, 而是为了听明白其中的含义.当对话的两人的知识(对要表达的信息而言)差别很小时, 或者两人之间有较好的默契时, 一个简单的语言, 就能让听者明白说者的意思.而当两人之间的知识差别很大时, 他们之间的通讯交流就变得非常困难, 需要花费更多的语言, 才能让听者明白说者含意.

生物之间的通讯基础是经过不断学习而积累的知识, 通讯效率完全不受限于带宽.因此, 生物之间的通讯效能很难使用现代通讯技术的理论解释.以人类为例, 从婴幼儿时期就受到父母及周围的人耳濡目染, 慢慢丰富自己的知识库并学会以同样的语言进行交流, 即自己的母语.使用不同语言的人不能直接进行交流是由于他们的知识库并不相同, 但当他们在学习并掌握对方的语言之后, 即进一步丰富自身的知识库之后, 就可以进行有效的交流.

没有这种学习的过程, 生物就无法构建正常的知识库, 也无法完成与同类之间的交流.以著名的印度“ 狼孩” 为例, 他们从小就没有与父母共同生活的经历, 而是由狼抚育长大, 那么他们无法掌握人类的语言, 行为、生活方式也是与狼类似.由此可见, 有效的“ 达意通讯” 完全取决于知识库的建立, 只有拥有相同或类似的知识库的人或生物、机器之间才能进行正常的语义通讯.从这种意义上讲, 语义通讯可被看做是“ 类脑通讯” , 即真正意义上的智能通讯与信息交互的方式.

2.2 通讯的本意与语义通讯概念

通讯的本意是达意通讯.克劳德· 香农在其奠定现在信息论基础的论文中已提及信息在语义层面的定义[11].进一步地, 他在1949年出版的《通讯的数学理论》[12]一书中对“ 通讯的语义方面与工程问题无关” 的认识做出重要补充.他在书中指出, “ 语义问题关心的是收信者对含义的理解是否与发信者预表达的含义一致或接近” , 并将通讯问题归为3个层面.

层面A(技术问题):通讯符号如何准确地加以传输?

层面B(语义问题):传输的符号如何精确地传达含义?

层面C(效用问题):收到的含义如何以期望的方式有效地影响行为?

尽管如此, 受到当时技术发展水平的限制, 人们在根据香农信息论进行通讯系统的相关研究时, 仍然以数据保真为基础.1962年Brillouin在《科学与信息论》[13]一书中进一步指出:“ 香农信息论忽略信息的含义是因为通讯工程的特殊需要; 但这并不意味人们永远都应该这样做.” .同样的, 2012年Sudan[14]指出, 克劳德· 香农把语义问题搁置的一个主要原因是有历史背景.当时通讯工程面临的紧迫问题是如何有效地将不可靠信道变成可靠信道.经过近70年的发展, 有关可靠性及有效性的问题基本得到解决.因此, 人们有理由相信:随着人工智能技术与通讯技术的巨大进步, 过去认为是“ 次要的” 语义问题已经成为现阶段急需解决的问题.

语义通讯泛指不同的智能体之间进行的以“ 达意” 为目的的通讯.这里的“ 智能体” 可以指人类、智能机器甚至其它生物.语义通讯的根本目的在于进行信息交换, 它并不追求对原始数据或信号进行保真, 而是在通讯的双方之间进行语义的准确传递.相比当前以数据表达、保真为驱动的通讯方式, 语义通讯的驱动在于对信源进行语义层面的信息提取与以“ 保意” 为目的的表达.

当前通讯技术是希望尽可能使用较少的通讯资源快速传送更多且误差更少的数据比特, 而语义通讯就是使用最少的通讯资源代价尽快获得歧义最少的发送来的最多语义.语义通讯有4个因素:通讯资源即带宽B、传送时间t、语义含量C、语义误差e, 它们相互约束.也就是说语义通讯就是使用窄带信号及时传输大容量无差错的语义信息.语义含量和语义误差是一个全新的概念, 目前还没有一种数学度量.语义通讯的基本目标描述如下:

min(e, B, t) , s.t. C=S,

其中约束条件C=S表示语义源中的语义含量C为定值S.

语义通讯与当前通讯特点对比如表1所示.在传统通讯方式中, 承载的信息量与所需的比特码数正相关, 即待传输的信息量越大, 需要使用的二进制比特码数越多, 所需的信道带宽越宽, 如图1所示.而在语义通讯中, 由于智能体与发送端耦合在一起, 传输的信息量与语义相对应, 因此可以大幅降低所需的传输信道带宽, 窄带传输即可满足需求, 如图2所示.

表1 通讯特点对比 Table 1 Comparison of communications properties

图1 传统通讯中带宽使用Fig.1 Bandwidth usage in traditional communications

图2 语义通讯中带宽使用Fig.2 Bandwidth usage in semantic communications

语义通讯具有如下特点.

1)语义基元替代数据比特.传统通讯通过比特传输数据, 数据承载信息, 信息包含语义, 构成数据的最小单位是比特.而语义通讯的目的是达意, 达意功能是通过对语义的理解完成.语义具有层级化特点, 正如一切物质都是由分子组成、分子是由原子组成、而原子是由电子和原子核组合相同, 语义也存在层级关系.最小的语义单位与理解的对象语义含义层级有关.就像要理解分子, 其最底层的单位是原子.要理解猫, 其基本语义单位是猫脸、猫身、猫脚.也就是说, 语义通讯时语义的基本元素是理解对象下一层的基本语义元素.

2)底层信号容错性极强.无论是当前的通讯还是正在研究的语义通信, 都需要依靠发送信号波形传递信息, 信息传输的可靠性完全依赖于信号的保真程度.但是在语义通讯中, 接收到的信号波形可以与发送的波形有很大的失真.譬如, 经过一段时间适应, 一般人能听懂广东口音的人讲普通话.类似地, 通过不断地学习、完善语义知识库, 语义接收端会具备一定的自动纠错能力, 语义传输的可靠性并不依赖于信号的保真程度, 而取决于对语义的定义.

3)基于智能技术先验信息导向的语义编解码.传统通讯是依据信号特点采用空间变换方式编解码.采用的空间变换基不随使用时间长短而变化, 固定不变.而达意通讯是智能体之间的信息交流, 依据知识库和智能技术进行预测和编解码, 知识可以通过一段时间学习而更新和丰富.语义编解码最重要的特点是唯一性, 即要求语义通讯的收发两端之间需满足编码唯一性、解码唯一性的要求, 以保证语义信息的准确传递, 完成达意通讯的目的.随着智能体离线训练和在线学习, 拥有的知识库不断扩展和完善, 编码和解码的效率越来越高.

4)带有反馈机制的通讯.传统通讯中, 收发两端是按照既定的协议完成通讯, 通讯过程是单向、无反馈机制.在语义通讯中, 收发两端可以根据实时的通讯质量(如语义编解码的效率、通讯的准确性等), 对发送端语义编码的复杂度进行反馈调节, 而接收端可通过不断学习扩充自己的知识库, 降低后续通讯的复杂度.

3 语义通讯的架构

无论是当前通讯, 还是语义通讯, 基本架构相同.对于当前通讯, 即在发送端, 无论是文字、图像或语音等信息源, 都需要经过数码表达、数据编码、数码调制, 然后由载波传到接收端.在接收端经过数码解调、数据解码和数码还原成文字、图像或语音.从通讯结构上讲, 对于语义通讯, 最大的不同是语义编码的不同.图3与图4分别展示并对比当前通讯与语义通讯的过程架构不同之处.

图3 当前通讯过程架构Fig.3 Structure of traditional communications

图4 语义通讯过程架构Fig.4 Structure of semantic communications

当前通讯技术与语义通讯技术最大的差别在于:编码方式、载波信号的调制方式、传送端和接收端的误差度量.

1)编码方式不同.目前通讯是以数据压缩形式对其编码.数据压缩是以信号特征为基础的一种稀疏变换表达.基于信号的波形特征选用特定的基函数, 进行稀释变换编码, 理论上此过程完全可逆.而语义编码是针对信源中的语义内容高度抽象与压缩.语义分为具象语义和抽象语义.具象语义针对具体事物的含义, 而抽象语义针对概念事物的含义.语义编码就是对信源中有含义的信息进行编码表达.其过程实际就是对信源中的语义概念的抽象过程.抽象的层级越高, 所用的表达数据越少, 对事物的描述也就越抽象.这种对语义概念进行抽象、压缩的过程需满足唯一性, 即压缩后的结果与语义源中的核心语义需一一对应.语义编码可以以类脑的语义计算网络或卷积深度网络等实现, 也可使用脉冲神经网络实现.具体的实现方法将在后续论文中给出.

2)载波调制方式不同.传统通讯调制解调采用可逆正交的调频、调幅、调相或矢量编码方式调制, 而语义通讯可以采用非正交的不可逆的混叠编码调制, 智能鉴别解码方式解调, 如图5所示.具体地, 发送端首先对语义源进行智能语义编码, 然后构造非正交时域混叠调制信号集, 并进行调制.接收端首先利用已知训练序列及标准知识库训练分类解调神经网络, 然后利用该网络对实际接收信号进行智能分类解调, 并进行语义解码输出.

3)误差度量不同.传统通讯是采用绝对的波形误差或比特误差方式:

BER= |e||s|,

其中,

|e|表示误码序列的长度, |s|表示传输序列的长度.而语义通讯采用内容含义上的误差方式:

BER= sr-stst,

其中, sr为接收端语义, st为发送端语义.

图5 语义通讯中的调制解调Fig.5 Modulation and demodulation in semantic communications

4 语义基元

百度百科中有关语义定义是“ 数据的含义就是语义(Semantic)” .从通讯的角度上讲, 语义就是传送的信号数据中用于被人理解的含义.正如大家所知, 语义分层级.正如物质是由分子组成, 分子由原子组成, 原子由原子核和电子组成, 原子核可以再细分.从物质的物理特性分, 最小的单位是分子, 而从化学的特性看, 最小的单位是原子(离子).最少语义最小单位或最基本的元素是什么?一个概念可以由多个子概念定义.例如, 猫的概念可以这样定义:头圆、颜面部短, 前肢五指, 后肢四趾, 趾端具有锐利而弯曲的爪子, 爪子能伸缩.爪子可以再继续使用更细的含义定义.

正如比特是通常表达信息的基本单位一样, 语义基元是描述语义的基本单位.按照其不同的含义, 语义基元又可进一步分为具象语义基元与抽象语义基元.

具象语义基元.具象语义基元多与语言中的名词、动词等相对应.顾名思义, 具象语义基元通常用于客观表示某一具体的事物.

当人们第一次感知到陌生的事物时, 通常可以直观表达某种“ 感觉” 的词汇对其进行描述.例如, 它的形状(方形或圆形)、颜色(红色或蓝色)、温度(冷或热)、味道(清新或刺激性气味)、触感(平滑或尖锐)等.这些用于描述基本感觉的词汇并不会因为人们的知识储备不同而不同, 即同类的生物具有相同的基本感觉, 正如一个饱读诗书的学者与一名深山中孤独生活的行者对“ 甜” 味的感知一样.人类都具有视觉、听觉、嗅觉(图6)、味觉(图7)、触觉这5种基本感觉.神经科学家指出, 视觉具有专门对竖线、横线、斜线和红、绿、蓝等基本影像特征敏感的神经元[15].这种相同的基本感觉是构成具象语义基元的基础.因此, 被定义的具象语义基元都代表一种基本感觉, 而不同的语义都是由这些基础语义基元的不同集合构成.因此, 针对语义基元和语义构成, 有如下2个发现.

1)人的基本感觉(视、听、嗅、味、触)就是语义的基元.语义由多个子语义组合而成, 子语义又由其子语义组合, 如此按层级结构细分直至基本语义基元, 这一过程就是语义定义.一个信号能够包含语义一定是能让接收者基本感觉神经元产生兴奋.

图6 嗅觉六基元图Fig.6 Six fundamental elements in smell

图7 味觉六基元图Fig.7 Six fundamental elements in taste

可以使用如下的集合描述视觉、听觉、嗅觉、味觉、触觉的基本语义元素.

视觉集合:

L={颜色(红、绿、蓝、对比度、饱和度),

形状(点、线、面、体)};

听觉集合:

H={音调, 响度, 音色};

嗅觉集合:

O={花香气, 香料气, 树脂气, 水果气, 腐烂气,

焦臭(即“ 嗅觉柱” 的顶点)};

味觉集合:

S={甜味, 酸味, 苦味, 咸味};

触觉集合:

T={温度, 湿度, 疼痛, 压力, 振动}.

2)基本语义具有互定义特性, 如听觉与其它感觉互相定义语义.

一段语音可以与视觉或味觉、触觉、嗅觉中的语义基元的集合相互定义.例如, 人们发音“ 妈妈” 与长头发且非常关心爱护自己女性相互关联, 并形成“ 妈妈” 语义.这也是人类语言的基础.这种相互定义的模式是形成复杂语义的重要基础.

语义组合方式.复杂的语义可以由子语义组合而成, 组合过程是高级智能过程.尽管现阶段人们将机器学习看作是一种人工智能, 但它与人类大脑的工作方式仍然存在本质上的区别.当前的机器学习识别方法通过对目标事件进行数学刻画, 并提取其不同特征, 估计不同的概率分布, 做出相应的判断.而人类的识别可以看作是一种基于知识库的组成识别, 即通过不同的感觉基元进行不同的组合而完成.这个识别模式是建立在人的神经网络基础之上.如图8所示, 在神经末梢获得基本语义基元的输入后, 大脑会根据这些基元的组合方式判断其表达的语义信息.例如, 当人们看到一支笔时, 决定性语义基元的输入为{圆柱体, 笔尖, 墨水}, 然后大脑会根据这些输入的组合得到结论, 即该输入集合对应的语义为“ 笔” .采用加权链接网络可以组合形成高级语义.本文使用 mt(i)表示第i个语义层中的第t个语义基元, 每个语义基元都可以由其底层语义基元的加权形式表示:

mt(i)= ∑t∈K(i-1)αt(i-1)mt(i-1),

其中, K(i-1)为第i-1个语义层中的所有语义基元的集合, αt(i-1)为对应于 mt(i-1)的权重系数.

图8 语义基元加权组合构成语义信息Fig.8 Weighted combination of semantic elements

语义通讯方式的核心步骤包括语义编码与语义解码.语义编码为发送端对语义源分层编码, 即分解语义信息源成为不同的层级, 直至语义基元层.同时, 发送端需要对接收端的语义知识库进行预判, 即判断接收端已有的语义知识库和缺失的语义知识库, 并将缺失的语义知识库中元素进行进一步分解至对方可以感知的语义层级再进行通讯.如图9所示, 与传统通讯方式不同, 语义通讯中发送端可以根据对接收端语义知识库预判的结果进行语义元素分解, 而不必每次都将待传输的语义内容分解至最底层的语义基元, 从而提高通讯的效率, 降低语义编解码的复杂度.

图9 语义通讯方式Fig.9 Semantic communication method

抽象语义基元.具象语义基元多与语言中的名词、动词等相对应, 多用于描述人们基于自身情感、想象力、逻辑分析得到的主观感受.由此可见抽象语义基元是对具象语义基元的补充, 是准确描述语义信息中不可或缺的一部分.有关抽象语义的基本基元将在后续的论文中进行探讨.

5 语义编码和解码

正如传统通讯, 语义编解码在语义通讯中非常重要, 语义编解码的效率直接关系到通讯的效率和达意的准确度.

语义编码就是发送端根据自身的知识库及预判接收端知识库, 针对欲发送的语义源, 利用深度神经网络进行语义编码, 编码对传输信号进行调制, 转变成能并行传输的信号.这是一个高度抽象的过程, 如图10所示.首先根据发送端拥有的知识点和预判接收端的知识点的差异, 修正深度神经网络, 然后对语义源进行抽象编码, 获得语义码, 最后进行基带调制, 按正常信号发送.

图10 语义的编码过程Fig.10 Semantic coding

语义解码是编码逆过程, 但这个逆过程不是完全重构原始语义源, 而是要重构接收者可以理解的语义.也就是说发送的语义码通过解码过程还原的语义信息直接被人们感知器感知和被大脑理解.语义解码同样需要满足唯一性, 即解码后还原的语义信息必须唯一.其解码过程如图11所示, 接收到传输信号后, 并由收端知识点训练的神经网络对接收信号按语义解码.

图11 语义的解码过程Fig.11 Semantic decoding

6 语义通讯中有待解决的问题

1)语义的基元刻画.语义基元刻画的准确性决定语义通讯的可靠性, 也是语义通讯中最基本的问题.如何理解语义信息, 探索语义刻画和传统的香农信息论之间的差别并寻找语义信息的刻画与度量方法都是亟需解决的问题.其中, 探讨经典的稀疏表达与语义刻画之间的关系, 尤其是在多域稀疏表达的基础上进行语义的提取与刻画具有非常重要的研究意义.

2)语义层级结构刻画.如前所述, 语义基元满足金字塔结构.因此, 如何根据先验信息进行目标导向式的构建语义金字塔至关重要.其中的关键点在于寻找不同的稀疏域与不同的语义金字塔层级之间的对应关系.另外, 如何针对不同的应用场景、用户、知识库对所需的最小语义表达进行理论推导与定性描述也是重要研究方向之一.

3)语义容错纠错机制.通讯中由于信号不可避免地会受到各种噪声与干扰带来的损伤, 因此接收端在解译过程中难免出错.传统通讯采用纠错编码的形式, 即在压缩编码后的数据中添加纠错码, 保证通讯的可靠性.这种方式会给信息的传输过程带来很多冗余.在语义通讯中, 可以采用类脑体制, 利用强大的知识库对接收到的信息进行智能纠错.如何根据通讯的目标、先验信息与接受信息的上下文设计有效的纠错方法仍有待研究.

4)语义信号耦合编码传输机制.由于不同用户之间的知识库并不相同, 因此在码流层传输时可以允许不同的用户同时共用同一信道.当然, 这种信号耦合传输的方式会提高接收端的语义信息解译过程的复杂度.如何设计有效的算法使接收端的不同用户能够有效、可靠地解译自己所需的语义信息是语义通讯中的重要问题之一.

5)语义先验解意机制.语义通讯的各个环节都离不开强大的先验信息指导, 尤其是接收端如何根据先验信息对接收信号进行有效的解译, 准确理解发射端想要表达的语义信息.如何设计合理、低复杂度的算法, 使接收端能够有效地在先验信息的指导下, 进行可靠的语义信息解译是保证语义通讯质量的关键点之一.

6)语义先验创建与维护.语义通讯中先验信息的获取方式分为离线学习与在线学习两种.其中, 只有设计有效的离线学习机制, 才能保证构建的知识库的有效性.而对于在线学习而言, 需要设计接收端与发射端之间不断交流与反馈的机制, 不断提高语义传输的准确性.

7 结 束 语

随着人工智能技术的发展, 智能体之间的交互越来越多, 面向准确数据传送的通讯模式不能适合智能体之间的协同通讯, 仿生的达意语义通讯模式必将成为一个新的研究热点.本文讨论语义通讯的基本概念, 找到具象语义基元, 描述语义的组成方式和语义通讯的基本框架.这其中还有很多不成熟之处, 希望通过此文引起学者和工程师等广泛关注, 共同打造一代通讯模式, 迎接智能互联的时代来临.

致 谢 感谢参与此文相关讨论的西安电子科技大学通讯工程学院院长沈八中教授、中信信龙投资合伙人谭茗州先生、中国科学院上海神经科学研究所李澄宇研究员、作者指导的研究生张飞、赵翊君等.感谢西安电子科技大学“ 三个一流” 学科建设经费的资助.

The authors have declared that no competing interests exist.

参考文献
[1] Cisco. Visual Networking Index[EB/OL]. [2017-11-20]. www. cisco. com. [本文引用:1]
[2] LUGER G F. Artificial Intelligence: Structures and Strategies for Complex Problem Solving. 5th Edition. Addison, USA: Wesley, 2004. [本文引用:1]
[3] MANYIKA J, CHUI M, BROWN B, et al. Big Data: The Next Frontier for Innovation, Competition, and Productivity. New York, USA: McKinsey Global Institute, 2011. [本文引用:1]
[4] TSE D, VISWANATH P. Fundamentals of Wireless Communication. Cambridge, UK: Cambridge University Press, 2005. [本文引用:1]
[5] PROAKIS J, SALEHI M. Digital Communications. New York, USA: McGraw-Hill, 1995. [本文引用:1]
[6] RAPPAPORT T S. Wireless Communications: Principles and Practice. Upper Saddle River, USA: Prentice Hall, 1996. [本文引用:2]
[7] GESBERT D, SHAFI M, SHIU D, et al. From Theory to Practice: An Overview of MIMO Space-Time Coded Wireless Systems. IEEE Journal on Selected Areas in Communications, 2003, 21(3): 281-302. [本文引用:1]
[8] VETRIVEL S, SUBA K, ATHISHA G. An Overview of H. 26x Series and Its Applications. International Journal of Engineering Science and Technology, 2010, 2(9): 4622-4631. [本文引用:1]
[9] PENNEBAKER W B. JPEG: Still Image Data Compression Stan-dard. BerlinGermany: Springer Science & Business Media, 1992. [本文引用:1]
[10] SHANNON C E. A Mathematical Theory of Communication. The Bell System Technical Journal, 1948, 27(3): 379-423. [本文引用:1]
[11] COVER T M, THOMAS J A. Elements of Information Theory. New York, USA: John Wiley & Sons, 2012. [本文引用:1]
[12] SHANNON C E, WEAVER W, BURKS A W. The Mathematical Theory of Communication. Illinois, USA: The University of Illinois Press, 1951. [本文引用:1]
[13] BRILLOUIN L. Science and Information Theory. New York, USA: Dover Publications, 2013. [本文引用:1]
[14] SUDAN M. Communication Amid Uncertainty // Proc of the IEEE Information Theory Workshop. Washington, USA: IEEE, 2012: 158-161. [本文引用:1]
[15] NICHOLLS J G, MARTIN A R, WALLACE B G, et al. From Neuron to Brain: A Cellular and Molecular Approach to the Function of the Nervous System. 4th Edition. Sunderland , USA: Sinauer Associates, 2001. [本文引用:1]