新書推薦:
《
美丽与哀愁:第一次世界大战个人史
》
售價:HK$
147.2
《
国家豁免法的域外借鉴与实践建议
》
售價:HK$
188.2
《
大单元教学设计20讲
》
售價:HK$
78.2
《
儿童自我关怀练习册:做自己最好的朋友
》
售價:HK$
71.3
《
高敏感女性的力量(意大利心理学家FSP博士重磅力作。高敏感是优势,更是力量)
》
售價:HK$
62.7
《
元好问与他的时代(中华学术译丛)
》
售價:HK$
87.4
《
汽车传感器结构·原理·检测·维修
》
售價:HK$
112.7
《
怪谈百物语:不能开的门(“日本文学史上的奇迹”宫部美雪重要代表作!日本妖怪物语集大成之作,系列累销突破200万册!)
》
售價:HK$
66.7
|
內容簡介: |
本书主要包括两部分内容:经典香农信息论和现代网络信息论。经典香农信息论主要讨论信息的度量、表示和传输等问题,包括熵、信道容量、信源编码和信道编码等概念和理论,这部分内容分布在本书的前11章。第12、13章介绍了现代网络信息论,主要讨论信息在网络中的有效传输问题,包括网络编码和网络容量域,这部分内容是近十几年来信息论研究的新课题。本书内容自成体系,读者只需要具备高等数学、线性代数和概率的数学基础即可,本书所使用的其他数学工具,如有限域、信息不等式等,均以附录的形式提供给读者,因此极大地提高了读者的学习效率。本书可作为高等学校电子信息工程、通信工程及相关专业的本科生、研究生教材,也可供工程技术人员参考使用。
|
關於作者: |
刘宴涛,北京理工大学博士,南京工程学院副教授,硕士生导师,IEEE会员,中国电子学会和自动化学会会员。长期从事通信专业的教学和科研工作,研究方向包括网络仿真、网络编码、无线自组网、网络信息论等。发表SCI、EI、核心期刊二十余篇,申请发明专利两项一项已授权,出版学术著作两部。
|
目錄:
|
目录
第1章绪论1
1.1从通信谈起1
1.2模拟通信与数字通信2
1.3信息论的诞生香农1948年发表的论文3
1.4什么是信息4
1.5信息论的研究内容5
习题7
第2章离散信源和离散熵8
2.1信源的数学模型及分类8
2.2离散熵9
2.3离散熵的性质12
2.4二维信源的联合熵和条件熵13
2.5平均互信息15
2.5.1两个随机变量的平均互信息15
2.5.2多个随机变量的平均互信息17
2.6离散平稳信源的熵率18
2.7马尔可夫信源21
2.7.1马尔可夫链21
2.7.2马尔可夫信源23
2.8本章小结25
习题25
第3章离散无失真信源编码28
3.1信源编码的基本概念28
3.1.1信源编码的两种策略28
3.1.2信源编码的分类29
3.2渐近等分割性定理30
3.3等长信源编码33
3.4变长信源编码35
3.5离散信源编码方法39
3.5.1Huffman编码39
3.5.2Fano编码42
3.5.3香农编码43
3.5.4算术编码44
3.6本章小结46
习题46
第4章离散信道和信道容量48
4.1信道的数学模型48
4.1.1信道的分类48
4.1.2信道的数学模型49
4.2平均互信息的凸性50
4.3信道容量52
4.3.1一般离散信道的信道容量55
4.3.2对称信道的信道容量60
4.4多符号信道和并联信道62
4.5串联信道和数据处理定理64
4.6本章小结65
习题66
第5章有噪信道编码69
5.1单符号离散信道的译码规则69
5.2如何降低译码错误概率73
5.3译码错误概率和信息传输率的折中76
5.4信道编码80
5.5联合渐近等分割性定理和香农第二定理82
5.6信源信道分离编码88
5.7本章小结89
习题90
第6章波形信源和波形信道92
6.1随机过程基础92
6.1.1信号的分类92
6.1.2随机过程93
6.1.3随机波形信源96
6.2连续型随机变量的微分熵96
6.2.1连续型随机变量96
6.2.2微分熵99
6.2.3微分熵的性质102
6.2.4最大熵分布103
6.3连续信道和波形信道104
6.3.1连续信道和波形信道的分类104
6.3.2连续加性信道的转移概率密度函数104
6.3.3连续信道和波形信道的信道容量106
6.4高斯信道106
6.4.1高斯信道与离散信道107
6.4.2高斯信道的信道容量109
6.4.3限带AWGN信道的信道容量111
6.5香农公式112
6.5.1增加信道容量的两种方法112
6.5.2EbN0和香农限112
6.6本章小结114
习题115
第7章率失真理论116
7.1量化失真117
7.2失真度与率失真函数117
7.3率失真函数的定义域121
7.4率失真函数的性质125
7.5率失真函数的计算126
7.5.1离散信源率失真函数的计算126
7.5.2连续信源率失真函数的计算132
7.6保真度准则下的信源编码定理136
7.7本章小结136
习题137
第8章线性分组码139
8.1线性分组码的一般理论140
8.1.1基本概念140
8.1.2G矩阵和H矩阵141
8.1.3伴随式144
8.1.4检错和纠错144
8.1.5标准阵译码和伴随式译码147
8.1.6线性分组码的几何解释和检错、纠错能力149
8.2汉明码(Hamming Code)150
8.3本章小结152
习题153
第9章循环码155
9.1基本概念155
9.2循环码的多项式表示法155
9.3循环码的G矩阵和H矩阵159
9.4系统循环码160
9.5循环码的编码161
9.6循环码的译码162
9.6.1梅吉特译码163
9.6.2捕错译码165
9.6.3大数逻辑译码166
9.7本章小结167
习题167
第10章卷积码168
10.1一般概念168
10.2卷积码的多项式表示173
10.3卷积码的状态图表示174
10.4卷积码的网格图表示175
10.5维特比译码176
10.6本章小结178
习题179
第11章多用户信息论180
11.1相关信源编码180
11.2具有边信息的信源编码183
11.3多址接入信道183
11.4广播信道186
11.5中继信道187
11.6本章小结188
习题189
第12章现代网络信息论190
12.1网络编码基本思想191
12.2网络编码的概念193
12.3线性网络编码195
12.3.1确定网络编码195
12.3.2随机网络编码199
12.4本章小结200
习题201
第13章网络容量域202
13.1网络流202
13.2网络容量域203
13.3均匀分数网络205
13.4路由容量域206
13.4.1多重单播路由网络容量域207
13.4.2一重组播路由网络容量域210
13.4.3二重混合路由网络容量域218
13.5编码容量域221
13.5.1编码容量域的理论解221
13.5.2编码容量域的割集限223
13.6本章小结226
习题226
附录A有限域227
A.1集合227
A.1.1集合的定义227
A.1.2集合的运算228
A.1.3映射230
A.1.4代数系统231
A.2群231
A.2.1群的定义231
A.2.2陪集和拉格朗日定理233
A.3环233
A.3.1环的定义233
A.3.2整环235
A.3.3多项式环236
A.4域237
A.4.1域的定义237
A.4.2扩域240
A.4.3GF2244
A.5小结246
附录B向量空间247
附录C矩形博弈249
附录D信息不等式253
D.1从集合论视角看待信息量253
D.2熵空间和原子空间257
D.3信息不等式261
D.4元形式香农信息度量263
D.5 和 266
D.6 267
习题答案269
参考文献295
|
內容試閱:
|
前言
一、信息论的课程特点
信息论是通信工程、电子信息工程等相关专业的专业基础课,其重要性可以跟信号与系统通信原理等课程相比。但是,从课程特点上看,信息论比这些课程更抽象,在信号与系统通信原理等课程中涉及的概念或技术往往非常具体,例如,波形和频谱都是可观测的,采样、量化、调制、解调等技术也都很直观、具象;从数学工具上看,微积分、线性代数和概率论中比较简单的数学运算对于学习和理解这些课程已经足够。然而,在信息论中的概念往往非常抽象,例如,至今尚无法给出信息的完美的或公理化的定义,熵和互信息等都是看不见、摸不着的抽象的量。此外,渐近等分割性等定理的证明需要用到概率极限理论,信道编码和网络编码又需要具备有限域等近世代数的数学基础,这些都是本科生学得比较差,甚至没有学习过的内容,这对有效地学习信息论构成了巨大障碍。
尽管抽象难懂,但信息论对于信息技术相关学科专业知识体系的构建是至关重要的。信息论是信息科学的奠基石,熵和信道容量等概念从认识论的层面帮助我们透过现象看本质,揭示了信息的根本特征和通信的关键问题,信源编码和信道编码则从方法论的层面帮助我们提高通信的有效性和可靠性,直接服务于工程应用。因此,学习信息论,了解其基本概念和理论,建立信息论的思维和视角对于通信工程和电子信息工程等专业的学生和从业者是非常必要的。
二、本书的目的
本书的目的之一是为读者展示和解释经典香农(Shannon)信息理论,搭建一座扶梯,帮助读者克服概念抽象、定理晦涩、推导烦琐等困难,在不破坏科学性和严谨性的前提下,用朴素的语言阐释信息论相关定理和定义背后的含义,以及在哪里和如何应用这套理论,把信息论与工程应用联系起来。
本书的目的之二是打开一扇门,引导读者走进网络信息论这个较新的研究领域。网络信息论研究的是信息在网络中传输、处理、存储、控制和利用的规律。虽然有很多著作把20世纪70年代至2000年之前研究的多用户信息理论也称为网络信息论,但作者认为,真正意义上的网络信息论的诞生应该是以2000年提出的网络编码技术为标志和开端的。这段时间研究的网络通信问题在网络拓扑、传输机制和分析方法等方面更能体现网络信息论的内涵,因此,如果把多用户信息理论称为初等网络信息论的话,2000年之后的网络信息论则可称为现代网络信息论。由于现代网络信息论从诞生至今还不到20年的时间,其理论体系的成熟度远不如经典香农信息理论,因此本书旨在起导引而非综述的作用,点到为止地介绍网络编码的基本概念及网络容量域分析等问题,还有很多课题,如网络传输的安全性[24,37]、网络存储编码[42]、网络纠错码[31]、网络层析和拓扑推断[43]、网络卷积码等,没有包括进来。
三、本书的主要内容
本书共13章,第1章为绪论,第2~11章为经典信息论部分,第12章和第13章为现代网络信息论部分,对各章具体内容概括如下。
第1章为绪论,介绍信息论的发展简史、信息论的研究对象和研究内容、信息的概念等。
第2章讨论离散随机变量及其相关的离散熵、联合熵、条件熵、平均互信息、熵率等概念,还介绍了马尔可夫信源。
第3章介绍信源编码、等长码和变长码等概念,以及渐近等分割性定理,并基于该定理引出香农第一定理,还介绍了4种离散信源编码方法。
第4章讨论离散信道和信道容量,介绍离散信道的数学模型和平均互信息的两种凸性,以及信道容量的概念和计算。
第5章介绍有噪信道编码理论,包括译码准则的概念、译码准则和译码错误概率的关系、降低译码错误概率的可行思路、联合渐近等分割性和香农第二定理等。
第6章介绍波形信源和波形信道,包括随机过程基础、连续信源的微分熵的定义和性质、最大熵分布、连续信道和波形信道。最后,作为波形信道的重要实例,分析了高斯信道的信道容量,并引出著名的香农公式。
第7章介绍率失真理论,这也是香农信息论体系的重要组成部分,具体包括失真度、失真矩阵、试验信道、率失真函数的定义、性质和计算,以及香农第三定理。
第8章介绍最经典的信道编码方法线性分组码,包括线性分组码的定义、生成矩阵和校验矩阵。国内很多教材在介绍这部分内容的时候,大多以汉明码或别的实例为切入点,把生成矩阵和校验矩阵直接提供给读者,让读者明白线性分组码的编译码过程,但这种编排方式不利于读者理解生成矩阵和校验矩阵的由来,无法抓住线性分组码的本质特征。本章紧密围绕生成矩阵和校验矩阵的正交性展开,标准阵译码、伴随式译码、译码错误概率等问题都立足于这个正交性。根据多年的教学经验,笔者认为这种编排方式有利于帮助读者透过现象看本质,深刻理解线性分组码的内涵。
第9章介绍线性分组码的一个子类循环码,包括循环码的定义、多项式表示、应用除法求余电路搭建系统循环码的编译码电路,以及Meggit译码器的工作原理等。
第10章介绍卷积码,包括:卷积码与分组码的区别,卷积码的电路图表示、多项式表示、状态图表示、网格图表示,著名的Viterbi译码方法。
第11章介绍多用户信息理论,包括相关信源编码、具有边信息的信源编码、多址接入信道、广播信道和中继信道的容量域。这部分内容可以看作初等网络信息论,其中的概念(如容量域)有助于理解第13章关于网络容量域的议题。
第12章介绍网络编码的概念、思想,以及相对传统路由传输体制的优缺点,并介绍了几种网络编码方法。
第13章介绍网络容量域的概念和分析方法。网络容量域可以类比于信道容量,但两者的数学模型、分析方法和问题复杂度都大相径庭。本章还介绍了几种具体的分析路由容量域和编码容量域或容量限的方法。
需要说明的是,在经典香农信息论的理论体系中还包括保密通信理论。香农在1949年发表的Communication Theory of Secrecy Systems[19]中建立了保密通信的信息论框架,为保密通信理论和密码学的发展奠定了理论基础,但后来密码学和通信系统安全逐渐发展为一门独立的学科,其研究内容和研究方法越来越自成体系,而且已经有大量专门介绍密码学的著作存在,所以本书没有把密码学理论包括进来。
除上面13章内容外,为了帮助读者掌握本书使用的数学工具,本书还补充了4个附录。
附录A介绍了近世代数的基础知识,包括集合、代数系统、群、环、域等概念,重点讨论了有限域的运算规则,以及扩域、扩域元素的多项式表示、幂表示和向量表示等。有限域是编码学的数学基础,不学习有限域虽然也能理解线性分组码的编译码过程,以及循环码和卷积码的多项式表示(这也正是国内大部分现行教材的编排方式),但这种理解流于表面,不够深刻,当进一步学习如有限几何码、网络编码等编码方法时就会遭遇实质性的困难,因此学习有限域对透彻地理解信息论和编码学是非常必要的。
附录B介绍了向量空间和矩阵的基础知识。这部分内容在线性代数中学习过。介绍这部分内容是为了帮助读者理解线性分组码生成矩阵和校验矩阵的正交性。
附录C介绍了博弈论中矩形博弈的相关概念,包括博弈值、鞍点、Nash均衡等。这部分内容主要用于第13章网络容量域分析。博弈论最初诞生于经济学领域,但近年来逐渐和其他学科交叉融合。博弈论的方法可以帮助解决通信中资源的优化配置和某些性能极限等问题,了解一些博弈论的基础内容有助于拓展工科学生的视野。
附录D介绍了信息不等式。这部分内容是近代信息论的重点研究课题,完全可以作为一章独立存在,但其中的概念,如熵空间、可熵化、熵区域、香农不等式、基本不等式和元不等式,对于本科生而言抽象程度较高、难度较大,因此以附录的形式提供给读者,可以作为选学内容。另外,这部分内容有助于理解和分析网络的编码容量域。
为了巩固每章的学习内容,本书为各章提供了一些习题,而且在习题答案中为绝大部分习题提供了详细的求解过程。这一方面补充、丰富了各章的例题,另一方面极大地帮助读者理解学习内容,掌握解题方法。
本书第1~6章及附录B、附录C由王雪冰(中国石油大学胜利学院)完成,第7~10章由秦娜(北京理工大学珠海学院)完成,第11~13章及附录A、附录D由刘宴涛(北京理工大学珠海学院)完成,全书由刘宴涛统稿。
四、本书的使用方法
本书的章节安排和学习次序如下图所示。
由于各院校开设信息论课程的学时不同,所以学习内容也应该有所取舍。以68个学时为例,可以学习全部13章和4个附录的内容(本科生附录D从简);对于51个学时的课程安排而言,可以免去第13章和附录C、附录D,另外,对于附录A,只需要了解GFp,尤其是GF2上的四则运算规则和多项式运算规则即可,可免去对扩域的学习;对于第12章,简要介绍网络编码的基本思想即可。如果学时很紧张(如34个学时),则可以考虑免去第7章、第11章、第12章、第13章和全部附录,剩下的学习内容也可以帮助读者了解信息论课程的基本概念,建立信息论思维。
考虑到国内很多著作对国外科学家名字的音译不同,如香农被译成山农、仙农、香农等,这很容易造成读者的混淆,因此本书所涉及国外科学家的名字,除香农、马尔可夫外,大部分使用原名。
五、致谢
任何一本著作都不可能凭空产生,本书在编写过程中参阅了许多信息论方面的教材和专著,包括傅祖芸[2,3]、朱雪龙[4]、吴伟陵[5]、Cover[6]、Yeung[7]、田宝玉[8,9]、陈运[10]、冯桂[11]、曹雪虹[12]、王新梅[13]、冯克勤[15]等诸位老师的著作,这些著作为本书提供了宝贵的素材和思想源泉。此外,作者还阅读了大量的IEEE、ACM、IET、Elsevier、Springer等数据库的期刊和会议论文,这些学术成果不仅开阔了作者的眼界,促进了作者的科研工作,而且极大地助力了本书的完成。本书把这些引用源列于书后的参考文献中,在此谨向引用源的作者致以最诚挚的敬意和感谢!
|
|