《信息论基础与应用》 - 赵生妹 - 清华大学出版社 - 香港大書城

	登入帳戶　 \|　訂單查詢　 \|　購物車/收銀台(0)　\|　在線留言板　 \|　付款方式　 \|　運費計算　 \|　聯絡我們　 \|　幫助中心　\|　加入書簽
		會員登入新用戶登記

HOME

新書上架

暢銷書架

好書推介

2023年度TOP

臺灣用戶

品種：超過100萬種各類書籍/音像和精品，正品正價，放心網購，悭钱省心

服務：香港／台灣／澳門／海外

送貨：速遞／郵局／服務站

新書上架：簡體書繁體書
暢銷書架：簡體書繁體書
好書推介：簡體書繁體書

『簡體書』信息论基础与应用

書城自編碼： 3007455
分類：簡體書→大陸圖書→教材→研究生/本科/专科教材
作者：赵生妹
國際書號(ISBN)： 9787302465348
出版社：清华大学出版社
出版日期： 2017-07-01
版次： 1 印次： 1
頁數/字數： 257/413000
書度/開本： 32开釘裝：平装

售價：HK$ 56.6

我要買件

** 我創建的書架 **
未登入.

新書推薦：

《汗青堂丛书144·决战地中海》
售價：HK$ 172.5

《逝去的武林（十周年纪念版武学宗师口述亲历李仲轩亲历一九三零年代武人言行录）》
售價：HK$ 56.4

《唐代冠服图志（百余幅手绘插画图解唐代各类冠服涵盖帝后群臣女官士庶军卫等展现唐代社会风貌）》
售價：HK$ 87.4

《知宋·宋代之科举》
售價：HK$ 102.4

《那本书是（吉竹伸介与又吉直树天才联动！）》
售價：HK$ 102.4

《传播的跃迁：人工智能如何革新人类的交流》
售價：HK$ 113.9

《纯粹·古代中国的历史与制度》
售價：HK$ 64.4

《生活来来往往别等来日方长新版（伍佰：“讲好了这一辈子，再度重相逢。”别等，别遗憾！珍惜当下才是最好的解药）》
售價：HK$ 59.8

編輯推薦：

信息论是信息科学*成熟、*完善的一部分，它与其他学科交叉融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，全面论述了香农信息论的基本理论与方法，并进一步介绍了信息论在网络信息理论和量子信息理论中的应用。本书特点如下：1 遵循电子信息类专业的教学要求，力求全面涵盖信息论课程教学知识点要求，并反应信息论的*发展；2 简化数学公式推导过程，重点突出通信与信息的基本概念，强调信息论在通信中的具体应用；3 配套提供了丰富的实验案例，并编写相应的MATLAB仿真程序，方便开展实践教学环4 本书配有电子教案（PPT）与MATLAB仿真程序，下载地址为清华大学出版社网站本书页面。

內容簡介：

信息论是信息科学*成熟、*完善的一部分，它与其他学科的交叉和融合，促进了许多新兴学科的发展。本书从信息论的基本理论出发，介绍香农信息论的基本理论和方法，及其在网络信息理论和量子信息理论中的应用。全书共7章，在介绍有关信息度量的基础上，重点讨论信源与信息熵、信道与信道容量、无噪信道编码理论、含噪信道编码理论、网络信息理论和量子信息理论。
本书由浅入深、深入浅出，具有系统性、交叉性和前沿性等特点；书中联系实际通信系统，使用较多的例题和图示阐述重要的基本概念，结合MATLAB代码实例展现信息论的实用性；各章均附有一定量的习题，便于读者加深对概念和原理的理解。
本书可作为理工类高等院校信息工程、通信工程及相关专业的本科教材，也可供对信息科学感兴趣的各类人员参考。

關於作者：

赵生妹：教授、博士、博士生导师，现为江苏省普通高校青蓝工程学术带头人，南京邮电大学信号与信息处理专业学术带头人，南京邮电大学1311人才计划创新团队负责人，南京邮电大学教学名师，中国通信学会高级会员。研究方向为无线网络中的信号处理、量子信息处理。长期从事信息论基础与量子信息处理方向的科研工作，并讲授信息论基础Elements of information theory量子信息处理技术等课程。在国内外重要学术期刊和国际会议上发表论文150多篇，SCI期刊论文他引达200多次（包括Nature Photonics、Nature Communications等）。主讲信息论与编码课程被评为江苏省普通高等学校精品课程，负责完成的信息论基础课程多媒体课件（配套教学网站）荣获江苏省高等学校优秀多媒体教学课件一等奖。编著出版了两本图书《量子信息处理技术》与《信息论基础与应用》。

目录

第1章绪论

1.1什么是信息

1.2什么是信息论

1.2.1信息论的早期酝酿

1.2.2信息论的建立与发展

1.2.3信息论的近期发展

1.3通信系统的基本模型

1.4信息论的应用及成果

1.5信息论研究范畴

习题1

第2章信源与信息熵

2.1预备知识

2.1.1概率

2.1.2古典概型

2.1.3概率性质

2.2信源的描述和分类

2.2.1离散单符号信源

2.2.2离散无记忆序列信源

2.2.3离散有记忆序列信源

2.2.4连续信源

2.3离散单符号信源的熵与互信息

2.3.1自信息量

2.3.2离散单符号信源熵

2.3.3信息熵的基本性质

2.3.4互信息量

2.3.5平均互信息量

2.3.6平均互信息量的性质

2.4离散序列信源的熵与互信息

2.4.1离散平稳信源的序列熵和熵率

2.4.2马尔可夫信源及其极限熵

2.5信源的相关性和冗余度

2.6连续信源的熵与互信息

2.6.1连续信源的相对熵

2.6.2连续信源最大熵定理

2.6.3连续信源的互信息

2.7熵计算及熵应用

2.7.1熵计算

2.7.2熵信息应用

习题2

第3章信道与信道容量

3.1信道分类和参数表示

3.2离散单符号信道及其容量

3.2.1信道容量定义

3.2.2离散单符号无噪信道及其容量

3.2.3离散单符号有噪信道及其容量

3.3离散序列信道及其容量

3.3.1并联信道

3.3.2和信道

3.3.3扩展信道

3.4连续信道及其容量

3.4.1时间离散信道及其容量

3.4.2时间连续信道及其容量

3.5信道容量计算及MATLAB程序实现

3.5.1信道容量的MATLAB计算

3.5.2MIMO信道容量

习题3

第4章无噪信道编码理论

4.1信源编码的基本概念

4.1.1编码的定义

4.1.2码的分类

4.1.3码树

4.2无失真信源编码定理

4.2.1典型序列和典型序列

4.2.2无失真定长编码定理

4.2.3无失真变长编码定理

4.3限失真信源编码定理

4.3.1失真测度

4.3.2信息率失真函数RD

4.3.3离散信源和连续信源的RD计算

4.3.4限失真信源编码定理

4.4信源编码方法

4.4.1无失真信源编码方法

4.4.2限失真信源编码方法

4.5无噪信道编码MATLAB计算实现

4.5.1率失真函数的MATLAB计算实现

4.5.2编码方法的MATLAB实现

习题4

第5章含噪信道编码理论

5.1最佳译码准则

5.2信道编码基本概念

5.2.1错误图样

5.2.2矢量空间和码矢量

5.2.3码距与纠检错能力

5.3含噪离散信道编码定理

5.3.1有噪信道编码定理

5.3.2有噪信道编码逆定理

5.4信道编码方法

5.4.1线性分组码

5.4.2循环码

5.4.3卷积码

5.5信道编码MATLAB计算实现

5.5.1RS码

5.5.2Turbo码

5.5.3LDPC码

习题5

第6章网络信息理论

6.1相关信源及可达速率区

6.2多址接入信道及其容量

6.2.1离散二址接入信道及其容量

6.2.2高斯加性二址接入信道及其容量区域

6.2.3离散多址接入信道及其容量区域

6.3广播信道及其容量

6.3.1退化离散广播信道的容量界限

6.3.2退化连续高斯广播信道的容量界限

习题6

第7章量子信息理论

7.1量子信息基本概念

7.1.1量子比特

7.1.2量子信息熵

7.2量子信源编码理论

7.3量子信道编码理论

7.3.1量子信道

7.3.2量子信道容量

7.3.3Holevo信息

7.3.4量子信道编码理论

习题7

附录习题参考答案

参考文献

內容試閱：

前言
1948年，美国科学家香农（C.E.Shannon）发表了题为通信的数学理论的学术论文，宣告了信息论的诞生。信息论的产生和发展与通信技术、计算机技术的产生与发展密切相关，历史上大体分为早期酝酿、理论建立与发展以及理论应用与近代发展三个阶段。从信息的度量开始，信息的概念和研究范围在不断扩大和深化，并迅速渗透到其他相关学科领域。目前，信息论的应用领域从自然科学扩展到经济、管理科学甚至人文社会科学，其内涵从狭义信息论延展到如今的广义信息论，发展成为涉及面极广的信息科学。信息论研究信息的度量问题，关注信息如何能有效地、可靠地、安全地从信源传输到信宿。香农熵是香农信息论中有关信息度量的基础，它与事件发生的概率相联系，是平均不确定性。在香农熵的基础上，可进一步引入联合熵、条件熵、互信息、信道容量和信息率失真函数等概念，它们可视为信息度量的其他形式。值得注意的是：虽然香农熵以概率分布构成的不确定性为度量基础，但是随着信息科学的不断发展，香农熵的理解也被日益加深和扩大，新的信息度量与新的学科分支不断出现，形成了诸如量子信息论中的冯诺依曼熵等概念的延伸。信息论的基础内容理论性很强。在多年教学过程中，作者观察到学生的学习难点，以及对所学知识实用性的疑惑。本书力求理论和实际相结合，确保读者在理解基本概念的基础上，了解信息论在实际通信中的应用。通过相关应用的MATLAB程序实例，让读者体会信息论对实际通信的理论指导。本书共7章，第1章是绪论，阐述了什么是信息、什么是信息论，信息论的应用及成果，以及信息论的研究范畴。在整体上给出信息论的概念及其应用价值。第2章介绍信源与信息熵，包括信息论中信源的数学描述，信息熵的定义及概念推广，涵盖联合熵、相对熵及互信息，获得离散单符号信源的熵、离散序列信源的熵及连续信源熵的计算及表示方法，并给出信息熵的MATLAB程序实现以及信息熵在图像分割中的应用。这一章是后续章节的基础。第3章介绍信道与信道容量，在信道数学描述的基础上，给出信道容量的定义。在此基础上，给出了离散单符号信道、离散序列信道，以及限时限频连续信道的容量计算及表示方法，推演了香农容量计算表达式。此外，该章给出了信道容量的MATLAB计算实例，以及多输入多输出（MIMO）系统的容量计算实例。第4章介绍无噪信道编码理论，包括无失真信源编码理论和限失真信源编码理论，其中无失真信源编码理论包括定长编码定理和变长编码定理，并在理论基础上，介绍了具体的无失真信源编码方法，包括香农码、费诺码、赫夫曼码和算术编码。本章进一步给出了限失真和信息率失真函数的定义以及具体的限失真编码方法；同样，也给出了无失真和限失真编码方法的MATLAB实现实例。第5章介绍含噪信道编码理论，在最佳译码准则的基础上，给出了信道编码的码空间表示，并阐述了信道编码定理，引出常见的信道编码方法，包括线性分组码、循环码和卷积码。该章也给出具体信道编码方法的MATLAB程序实例。第6章介绍网络信息理论，针对相关信源、多址信道、多址高斯信道和广播信道，给出它们可达速率区域的定义和计算方法，包括相关信源可达速率区域、多址接入信道容量区域和广播信道的容量区域。第7章介绍量子信息理论，论述香农信息理论在量子力学框架下的延伸，介绍量子信息的基本概念，包括量子比特和量子信息熵的定义。在此基础上，进一步阐述量子信源编码理论和量子信道编码理论。本书由赵生妹编著。在编写过程中得到了南京邮电大学在校研究生施鹏、王乐、毛钱萍和张文浩等同学的大力帮助，在此对他们表示衷心的感谢。限于编者水平有限，书中难免存在不妥或谬误之处，殷切希望读者指正。编者2017年1月

第3章CHAPTER 3
信道与信道容量
信道是指信息传递的通道，通常将信源的输出至信宿的接收部分称为信道channel。信道的基本任务是以信号方式传输和存储信息。研究信道的主要目的是研究信道中能够传送或存储的最大信息量，即信道容量capacity。本章采用与第2章相似的方式描述信道。首先对信道进行分类，并给出其对应的数学描述。从最简单的离散单符号信道出发，讨论离散信道的统计特性和数学模型，定量地给出信道传输速率的最大值，推导出信道容量及其计算方法。在此基础上，推广至离散序列信道及其容量计算方法、连续信道及其容量计算方法，介绍著名的香农信道容量公式，探讨多输入多输出MIMO系统的信道容量区域。3.1信道分类和参数表示信道是载荷信息的信号所通过的通道或媒介。例如，在二人对话系统中，二人之间的空气就是信道；再例如常见的电话线就是信道；当我们看电视、听收音机时，发送与接收无线信号之间的自由空间也是信道。在信息系统中，信道的主要作用是传输与存储信息，而在通信系统中则主要是传输信息，这里我们讨论后者。在通信系统中研究信道的主要目的是为了描述、度量并分析不同类型信道，计算其容量即理论上的极限传输能力。实际通信系统中，信道的种类有很多种描述，可以用不同的方式进行表达。例如，可按传输媒介的类型进行划分。根据传输媒介的类型可将信道划分为有线信道和无线信道。在有线信道中，传输媒介可以是固体介质，也可以是混合介质。对于固体介质，它包含架空线和电缆等；对于混合介质，它包含波导和光缆等。这样的信道划分可用图31表示。
图31基于传输媒介类型的信道划分
除此之外，信道也可按照信道的信号与干扰的类型进行分类，具体描述如图32所示。
图32基于信号与干扰类型的信道划分
在图32中，离散信道是指输入空间X和输出空间Y均为离散事件集；连续信道是指输入空间X和输出空间Y都是连续事件集；半离散或半连续信道是指输入和输出空间中，一个是离散集，另一个是连续集的情形。根据信道的物理性质，如统计特性，也可将信道划分为恒参信道和变参信道。其中，恒参信道是指信道的统计特性不随时间变化如有线信道、微波接力信道和卫星中继信道等；变参信道是指信道的统计特性随时间变化而变化如短波通信。最后，按用户类型可分为两端信道单用户信道和多端信道多用户信道。其中，两端信道是指信道的输入和输出都只有一个事件集，它是只有一个输入端和一个输出端的单向通信的信道；多端信道是指信道的输入和输出至少有两个或两个以上的事件集，即三个或更多个用户之间相互通信的情况。实际上，就通信系统而言，可以根据不同的研究对象、不同的要求，对信道进行不同形式的划分，具体信道划分如图33所示。
图33通信系统中不同形式的信道划分
在图33中，CAB为狭义的传输型信道，在研究调制解调理论或模拟通信时常引用，是一连续信道； CCD为广义的传输型信道，在研究数字通信以及编码解码时常引用，是一离散信道； CCB是一类半离散半连续信道，例如可以看作是数字解调前的信道； CAD是一类半连续半离散信道。上述分类中，最常用的是前两类信道，一般又称为连续的调制信道和离散的编码信道。在第2章中我们已经知道，信源的输出在数学上可表示为一随机过程，信道的作用是将信源输出变为信宿的输入信宿的输入在数学上也可表示为一随机过程，因此，信道可认为是从一随机过程向另一随机过程的转移。由于信道存在噪声，信道的输入和输出之间一般不是确定的函数关系，而是统计关系。统计上而言，只要知道信道的输入、输出，以及它们之间的统计依赖关系，那么就能确定信道特性。一般而言，信道的输入和输出信号是广义时间连续随机信号，可用随机过程来描述。无论何种随机过程，只要有某种限制如限频和限时，就可展开成时间或空间上离散的随机序列。由于实际信道的带宽总是有限制的，所以输入信号和输出信号总可以展开成随机序列来研究。而随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。因此，类似于对信源的统计描述，信道的描述包括三个基本要素，分别如下：1 信道输入统计概率空间［X, pX］T；2 信道输出统计概率空间［Y, pY］T；3 信道本身的统计特性，即转移概率矩阵py|x。以上三要素构成了对信道整体的描述
{［X, pX］T, py|x, ［Y, pY］T}3.1.1
简记为{X, py|x, Y}。
图34离散单符号信道模型描述
【例31】求离散单符号信道描述。解：离散单符号信道如图34所示，可以描述为
XpX=x1x2xlxnp1p2plpnYpY=y1y2ylymp1p2plpm
其中，xiX={x1,x2,,xn}，yjY={y1,y2,,ym},其信道转移概率矩阵为
P=py1|x1pym|x1py1|xnpym|xn
根据信道的统计特性，即条件转移概率的不同，离散信道又分成三种类型。1 无干扰无噪信道信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信号X之间有确定的对应关系，其数学表述为
y=fxPy|x=1y=fx0yfx3.1.2
2 有干扰无记忆信道在实际应用中，信道通常有干扰噪声，即输出符号与输入符号之间无确定的对应关系，而是一般的概率分布。若信道任一时刻输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号都无关，则称这种信道为无记忆信道。数学上，满足离散无记忆信道的充要条件是信道联合条件转移概率可表示为每个符号转移概率的乘积，即
py|x=py1y2yL|x1x2xL=Ll=1pyl|xl3.1.3
对于有干扰无记忆信道，存在多种类型，输入可以是离散的和连续的，输出也可以是离散的和连续的；当输入是序列时，则又可分为无记忆序列和有记忆序列。但是，常用的有干扰无记忆信道可归纳为四种类型，它们分别是二进制离散对称信道、离散无记忆信道、离散输入连续输出信道和连续输入连续输出的波形信道。
1 二进制离散对称信道Binary Symmetric Channel, BSC，如图35所示。
其中，信道输入X{0,1},信道输出Y{0,1}，信道转移概率为PY=0|X=1=PY=1|X=0=p，PY=1|X=1=PY=0|X=0=1-p。由于信道输入和信道输出是离散二进制符号，信道转移概率也可用如下信道矩阵表示：
P=1-ppp1-p3.1.4
该矩阵中每行都是第一行的置换，每列都是第一列的置换，是一对称矩阵，因此被称为二进制对称信道。2 离散无记忆信道Discrete Memoryless Channel, DMC是更为一般的离散单符号信道，如图36所示。
图35BSC信道
图36DMC信道
图中，信道输入为X{x0，x2，，xi，，xq－1}，信道输出为Y{y0，y2，，yj，，yQ－1}，信道转移概率为pY=yj|X=xi=pyj|xi。对于离散无记忆信道，其信道矩阵为
P=p00p10pQ－10p01p11pQ－11p0q－1p1q－1pQ－1q－13.1.5
其中，pji=pyj|xi，且jpyj|xi=1,i=0,,q－1，称为信道传递函数又称前向概率，通常用它描述信道的噪声特性。BSC信道是最简单的DMC信道。值得说明的是：由信道的输入概率分布和信道矩阵，可计算出输入输出随机变量的联合概率分布，即贝叶斯公式：
pxiyj=pxipyj|xi=pyjpxi|yj3.1.6
其中，pxi|yj是已知信道输出符号为yj时输入符号为xi的概率，称为后验概率。有时把pxi称为输入符号的先验概率，表示在接收到输出符号之前判断输入符号为xi的概率；而对应地把pxi|yj称为输入符号的后验概率，表示接收到输出符号yj之后，判断输入符号为xi的概率。同时由全概率公式，可从先验概率和信道传递概率求出输出符号的概率，
pyj=xipxipyj|xi3.1.7
同时，根据贝叶斯公式可由先验概率和信道的传递概率求得后验概率：
pxi|yj=pxiyjpyj=pxipyj|xixipxipyj|xi3.1.8
3 离散输入连续输出信道。离散输入连续输出信道表示有限离散的输入X{x0，x1，，xq-1}和未经量化的输出Y{-, }，且输入和输出间转移概率满足
Py|X=xii=0，1，2，，q-13.1.9
信道的转移概率取决于噪声，其中最为重要的一类噪声是加性高斯白噪声AWGN信道，输出可表示为Y=X G。G是均值为零、方差为2的高斯白噪声，X=xi，i=0，1，，q-1，Y是均值为xi、方差为2的高斯随机变量。输入和输出间概率表示为
Py|xi=122e－y－xi2223.1.10
4 波形信道。输入是模拟波形、输出也是模拟波形，信道的输入和输出是任意的时间连续函数，称这种信道为波形信道或时间连续信道。若信道输入、输出间关系表示为
yt=xt nt3.1.11
其中，nt代表加性噪声过程的一个样本函数，则称此信道为加性波形信道。在这种信道中，噪声与信号通常假设是相互独立，因此有
pYy|x=pXYx,ypXx=pXNx,npXx=pNn3.1.12
即信道的转移概率密度函数等于噪声的概率密度函数。因为实际波形信道的频宽是受限的，所以在有限观察时间内，能满足限时、限频的条件。因而可把波形信道的输入和输出的平稳随机过程离散化成L个时间上离散、取值连续的平稳随机序列，这样波形信道就转化成多维连续信道。3 有干扰有记忆信道一般的信道都是有干扰有记忆的信道，例如实际的数字信道中。当信道特性不理想，存在码间干扰时，输出信号不但与当前的输入信号有关，还与以前的输入信号有关，这样的信道称为有记忆信道。这时信道的条件不再满足式3.1.4。处理这类信道的常用方法有如下两种：1 把记忆较强的L个符号视作一个矢量符号来处理，而各矢量符号之间被认为是无记忆的，这样可将有记忆信道转化成无记忆信道的问题。当然，这种处理一般会引入误差，因为实际上第一个矢量的最末几个符号与第二个矢量的最前面几个符号是有关联的。L取值越大，误差将越小。2 将转移概率py|x看作马尔可夫链的形式，这是有限记忆信道的问题。把信道某时刻的输入和输出序列看成信道的状态，信道的统计特性可采用在已知时刻的输入符号和前时刻信道所处状态的条件下，信道的输出符号和所处状态的联合条件概率来描述，即用pylsl|xlsl－1来描述。然而，在一般情况下这种方法仍很复杂，只有在每一个输出符号只与前几个输入符号有关的简单情况下，才可得到比较简单的结果。在分析实际问题时，选用何种信道模型完全取决于分析者的目的。如果感兴趣的是设计和分析离散信道编码、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式BSC信道模型；若分析性能的理论极限，则多选用离散输入、连续输出信道模型。另一方面，如果想分析数字调制器和解调器的性能，则可采用波形信道模型。3.2离散单符号信道及其容量类似于对信源的研究，我们仍从最基本、最简单的单个消息的输入输出信道入手，研究其信道容量问题，再逐步推广至消息序列信道和连续信道，为此首先给出信道容量的定义。3.2.1信道容量定义输入单个消息的信道，如图37所示。它的输入随机变量为X，取值于a1，a2，，an，输出随机变量为Y，取值于b1，b2，，bm，转移概率矩阵表示为
P=［pji］=［pyj|xi］3.2.1
即
P=pb1|a1pb2|a1pbm|a1pb1|a2pb2|a2pbm|a2pb1|anpb2|anpbm|an=p11p21pm1p12p22pm2p1np2npmn
其中，当信道有干扰时，mj=1Pyj|xi=1，i=1，2,，n；当信道是无干扰离散信道时，矩阵中的元素一个为1，其余均为0。下面介绍几种常见的单符号离散信道。
【例32】对于某二元删除信道Binary Erasure Channel, BEC，其输入符号集A={0,1}，输出符号集B={0,?,1}，其传递概率如图38所示，试描述该信道。
图37单符号离散信道的数学模型
图38二元删除信道
解：转移概率矩阵为
P=p1-p001-qq
且有jpbjai=1,i=1,2。这种信道实际是存在的。假如有一个实际信道，它的输入是代表0和1的两个正负方波信号，如图39a所示。那么，信道输出送入译码器的将是受干扰后的方波信号Rt，如图39b所示。可以用积分I=Rtdt来判别发送的信号是0，还是1。如果I是正的且大于某一电平，那么判别发送的是0；若I是负的且小于某一电平，则判别发送的是1; 而若I的绝对值很小，不能做出确切的判断，就认为接收到的是特殊符号？。假如信道干扰不是很严重，那么10和01可能性比1?和0?的可能性小得多，所以假设p1|0=p0|1=0是较合理的。
图39实际波形示意图
研究各类信道的目的是讨论信道中平均每符号所传送的信息量，即信道的信息传输率R。在第二章中，我们学习了平均互信息IX; Y，它表示接收到符号Y后，平均每个符号可获得的关于X的信息量，这也等同于在发送X接收Y的信息传输过程中，平均每个符号携带了IX; Y大小的信息，当接收端平均收到一个符号后，获取了IX; Y的有关X的信息。因此信道中信息传输率可用平均互信息表示，其数学表达式为
R=IX; Y=HX－HX|Y3.2.2
其中，X{a1，，an}，Y{b1，，bm}，单位为比特符号。有时我们所关心的是信道在单位时间内平均传输的信息量，可定义为
Rt=1tIX; Y3.2.3
其单位为比特秒。由平均互信息的定义知IX; Y=ni=1mj=1paipbj|ailogpbj|aipbj，且输出符号的分布概率可表示为pyj=PY=yj=ni=1paipbj|ai。由于在转移概率给定的情形下，IX; Y是输入符号的概率分布pai的上凸函数。因此，对于一个信道，总存在一种特定的输入符号分布，使传输时平均每个符号所载荷的信息量最大。定义3.1：对于某一信道，可传输信息速率的最大值称为信道容量Channel Capacity，以符号C表示，单位为比特符号或比特秒。
C=maxpaiIX; Y=maxpaini=1mj=1paipbj|ailogpbj|aipbj3.2.4
如果已知符号传送的周期是T秒，也可以用比特每秒为单位来计算信道容量。此时信道容量的计算式为
C=CT3.2.5
因为IX; Y=HX-HX|Y=HY-HY|X，在pbj|ai给定的条件下，有
C=maxpaiIX; Y=maxpai［HX－HX|Y］=maxpai［HY－HY|X］3.2.6
由此可知，信道容量与信道输入符号的概率分布无关，它只是信道传输概率的函数，与信道的统计特性有关。所以，信道容量是完全描述信道特性的参数，是信道能够传输的最大信息量。信道容量的物理含义是：消息在信道传输的过程中，在传输消息不产生失真的条件下，信道所允许的最大传输速率；或者是在传输消息不产生失真的条件下，单位时间内信道所允许传输的最大信息量。3.2.2离散单符号无噪信道及其容量在了解信道容量的定义后，我们首先讨论无干扰无噪信道的容量问题。无干扰无噪信道，其离散无噪声信道的输入和输出符号之间存在着确定的关系，一般可进一步分为无损信道、确定信道和无损确定信道三类。现分别给出这三类信道容量的计算。1. 无损信道无损信道的一个输入对应多个互不相交的输出，如图310所示。其信道矩阵中每一列只有一个非零元素，即信道输出端接收到Y以后必可知发送端的状态X。图310中所示的信道中，当r＝3时，其信道矩阵为
P=1212000000353101100000001
信道的后向概率为pai|bj=0bjBi
1bjBi，故知损失熵HX|Y=0。在这类信道中，因为信源发生符号ai，并不依一定概率取Bi中的某一个bj，因此噪声熵HY|X0。于是，可以求出无损信道的平均互信息为IX; Y=HX0。于是，可以求出确定信道的平均互信息为IX; Y=HY0条件的i有
Ixi; Y=C
2 对于所有满足pxi=0条件的i有
Ixi; YC3.2.11
此算法称为BlahutArimoto算法。它是1972年由RBlahut和AArimoto分别独立提出的一种算法。该算法可以这样直观地理解：在某种给定的输入符号xi分布下，对输出Y所提供的平均互信息为Ixi; Y=Q－1j=0pyj|xilogpyj|xipyj。若其中某一输入符号比其他输入符号可获得的平均互信息量都大时，可进一步增加这一符号的输入概率，使得加权平均后的互信息增大；但是，这种符号的输入概率的改变使得这一符号的输出平均互信息会减小。经过不断调整输入符号的概率分布，最终可使每个概率不为零的输入符号对输出Y提供的平均互信息量相同。BlahutArimoto算法只给出了达到信道容量时最佳输入概率分布应满足的条件，并没有给出输入符号的最佳概率分布，因而也没有给出信道容量的数值大小。另外，算法本身也隐含着达到信道容量的最佳分布并不一定是唯一的。在一些特殊情况下，我们可以利用这一算法来找出所求信道的信道容量。
图316例310的离散信道
【例310】信道如图316所示，输入符号集为{0,1,2}，输出符号集为{0,1}，信道矩阵为P=10121201，求其容量。解：观察该信道，若输入符号1的概率分布等于零，则该信道成为一一对应信道，接收Y后对输入X完全确定。若输入符号1的概率分布不等于零，就会增加不确定性。所以，先假设输入概率分布为p0=p2=12,p1=0，检查是否满足式3.2.11，若满足，则该分布就是我们要求的最佳分布；若不满足，则可再找最佳分布。根据式3.2.11可计算得
Ixi=0; Y=1y=0py|0logpy|0py=log2
同理，
Ixi=2; Y=1y=0py|2logpy|2py=log2
而
Ixi=1; Y=1y=0py|1logpy|1py=0
可见，此分布满足式3.2.11。因此，求得该信道的容量为
C=log2=1（比特符号）
且达到信道容量的输入概率分布为p0=p2=12,p1=0。
图317例311的离散信道
【例311】设信道如图317所示，输入符号集为{a1，a2，a3，a4，a5}，输出符号集为{b1，b2}，信道矩阵为P=101012120101，求其容量。解：
观察该信道，由于输入符号a3到b1和b2的概率相等，所以可以设a3的分布概率为零；同时a1、a2与a4、a5都分别传输到b1和b2，因此可只取a1和a5。先假设输入概率分布为pa1=pa5=12,pa2=pa4=pa3=0，可计算得
Ixi=a1; Y=Ixi=a2; Y=log2
Ixi=a4; Y=Ixi=a5; Y=log2
Ixi=a3; Y=0
可见，此分布满足式3.2.11。因此，求得该信道的容量为
C=log2=1（比特符号）
达到信道容量的输入概率分布为
pa1=pa5=12,pa2=pa4=pa3=0
若假设输入分布为pa1=pa5=pa2=pa4=14,pa3=0，同理可计算得
Ixi=a1; Y=Ixi=a2; Y=log2Ixi=a4; Y=Ixi=a5; Y=log2Ixi=a3; Y=0
此分布满足式3.2.11，pa1=pa5=pa2=pa4=14,pa3=0也是该信道的最佳分布。由此可见，这类信道的最佳输入分布不是唯一的。因为互信息Ixi; Y仅与信道转移概率和输出概率分布有关，因而达到信道容量的输入概率分布不是唯一的，但输出概率分布应是唯一的。为了获得一般离散单符号信道的容量，可通过迭代计算方法实现信道容量计算，现给出迭代计算的迭代公式。根据平均互信息的定义式：
IX; Y=HX－HX|Y=－ipilogpi ijpipijlogij
=－ipilogpi ijqjijlogij
其中，pi是信道输入符号的概率分布，ij=pipijipipij为反条件概率（后向概率），qj=ipipij为输出符号分布概率。平均互信息可描述为两个变量pi,ij的函数，即I~Ipi，ij。首先，Ipi,ij在pi不变且满足iij=1的条件下，求解平均互信息I关于ij的条件极值问题。数学上，可通过拉格朗日乘子法求解，得到
ijIpi,ij－jiij=0，i=1，2，，n，j=1，2，，m
解得*ij=pipjiipipji，此式为迭代公式1。其次，Ip，ij在ij给定且满足ipi=1的条件下求解关于pi的极值问题，再次通过拉格朗日乘子法求解：
piIpji,ij－ipi=0，i=1,2,,n，j=1,2,,m
通过计算，可求得解为p*i=expjpjilogijiexpjpjilogij，此式为迭代公式2。将迭代公式1和2修改为更加便于计算的迭代关系如下：
nij=pnipjiipnipji
pn 1i=expjpjilognijiexpjpjilognij3.2.12
因此，一般离散单符号信道容量的迭代实现过程如式3.2.12所示：假设信源的输出分布为某一特定分布，如等概率分布，由迭代公式3.2.12计算出反条件概率最佳值，再由信源分布和反条件概率的两个变量pi，ij根据平均互信息定义式获得互信息量C1,1；在此基础上，将计算出的最佳反条件概率作为已知条件，由迭代公式3.2.12计算出最佳信源分布概率，并由平均互信息定义式计算互信息量C2,1；该过程不断重复，直到第r次，计算出的容量差值=Cr 1，r-Cr，r1%检测概率转移矩阵是否为负值或大于1
error''概率转移矩阵输入有误!''
return;
end
end
end
X=ones1,rr;
A=zeros1,r;
B=zerosr,s;
while1
n=n 1;
for i=1：r
for j=1：s
Bi,j=logPi,jX*P：,j eps;
end
A1,i=expPi,：*Bi,：'';
end
C_0=log2X*A'';
C_1=log2maxA;
if absC_0-C_10，将gamma存储并清除寄存器
end
end
a=I snrM*diaggamma.*diageigen;
a=deta;
yK=log2a;
end
［n1 x1］=histy,40;
n1_N=n1maxK;
a=cumsumn1_N;
b=absx1;
output=interp1qa,b'',0.5;
end
测试程序如下：
M=2;
corr=1;
value=0.5;
XPD=1;
alpha=0.5;
output = ''erg'';
%vary SNR through 20 dB
SNR=0：1：20; %以dB为SNR的单位
temp2=［］;
temp3=［］;
for i=1：lengthSNR
temp1i=exp3_17_1SNRi,M,corr,value,XPD,alpha,output;
temp2=［temp2 temp1i］;
temp1i=exp3_17_2SNRi,M;
temp3=［temp3 temp1i］;
temp1i=0;
end
plotSNR,temp2,''b-^'';
hold on
plotSNR,temp3,''r-^'';
grid;
xlabel''SNR'';
ylabel''容量bits'';
title''Corr=0.5，XPD=0.5时，遍历容量与信噪比的关系'';
end
运行结果如图331所示。
图331例317运行结果
习题331证明：准对称信道的信道容量也是在输入为等概率分布时达到,并求出信道容量的一般表达式。32由Q1，Q2，，Qmm个离散信道的和组成一个信道矩阵,该信道矩阵Q为
Q=Q1000Q2000Qm
设Ci是第i个信道的信道容量。试证明：该和信道的信道容量为
C=log2i2Ci比特符号
33设二进制对称信道的概率转移矩阵为23131323，回答下列问题：1 若Px0＝34，Px1＝14，求HX、HX|Y、HY|X和IX； Y;2 求该信道的信道容量及达到信道容量时的输入概率分布。34设有一离散无记忆信源，其概率空间为
［XP］=x1x20.60.4
通过一干扰信道56163414，信道输出端的接收符号集为Y={y1，y2}。试求：1 信源X中事件x1和x2分别含有的自信息；2 收到消息yjj=1，2后，获得的关于xii=1，2的信息量；3 信源X和信源Y的信息熵；4 信道疑义度HX|Y和噪声熵HY|X；5 接收到消息Y后获得的平均互信息。35信源发送端有两个符号，xi，i=1,2，px1=a，每秒发出一个符号。接收端有三种符号yj，j=1,2,3，转移概率矩阵为P＝12120121414。1 计算接收端的平均不确定度；2 计算由于噪声产生的不确定度HY|X；3 计算信道容量。36若有一个离散Z形信道，其信道转移概率如图332所示。试求：1 最佳输入分布；2 ＝12时的信道容量；3 若将两个Z信道串联，求串联信道的转移概率；4 串联后的信道容量C2。37求图333所示的信道的信道容量及其最佳的输入概率分布。并分别求当=0和12时的信道容量C。
图332习题36图
图333习题37图
38设有一离散信道，其信道转移概率矩阵为
P=1-p-p-2p-1-p-2
试求信道容量C。39若将n个二进制对称信道BSC串联级联，每个信道的错误转移概率为Pe，试证明级联后的信道可等效于一个二进制对称信道，其错误概率为12［1－1－2pen］。并求解： limnIZi,Z0，其中Zi、Z0分别为级联的输入与输出。310离散无记忆加性噪声为YP=123131313，信道模型为Z=X Y modK，其中信道输入X{0,1,2,,10},求该信道容量。311设有一离散无记忆信道，其信道矩阵为
P=121316161213131612
若pxi=12，px2=px3=14，试求最佳译码时的平均错误概率。312发送端有三种等概符号x1，x2，x3，pxi=13，接收端收到3种符号y1，y2，y3，信道转移概率矩阵为P=0.50.30.20.40.30.30.10.90。试求：1 接收端收到一个符号后得到的信息量HY；2 噪声熵HY|X；3 当接收端收到一个符号y2时的错误概率；4 从接收端看的平均错误概率；5 从发送端看的平均错误概率；6 从转移矩阵中能否看出该信道的好坏？7 发送端的HX和HX|Y。313若已知两信道C1和C2的信道转移概率分别为
Pij=13131301212，P2ik=1000231301323
试求：1 C3＝C1C2时的信道转移概率，并回答其容量是否发生变化。2 C4＝C2C1时，它能否构成信道?为什么？314电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。315若有一限频、限功率、白色高斯连续信道，它由两级串接功率放大器组成，其功率增益无噪声分别为G1＝20dB，G2＝10dB，带宽为1MHz，当信道输入为2mW时，试求：1 信道噪声功率密度N0=210-6mWHz时的信道容量C；2 当信道输入G2，N0均不变，而带宽变为1.5MHz时，若要获得相同的信道容量C，G1应为多少倍（设对数底为10）？316一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。1 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；2 信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？3 若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？317有一个二元对称信道，其信道矩阵如图334所示。设该信道以1500个二元符号秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在该消息中p0=p1= 12。问从信息传输的角度来考虑，10秒钟内能否将该消息序列无失真地传送完。
318离散无记忆加性噪声信道如图335所示，其输入随机变量X与噪声Y统计独立。X的取值为{0，1}，而Y的取值为{0，a}a1，又Py=0=Py=a=0.5。信道输出Z=X Y一般加法。试求此信道的信道容量，以及达到信道容量的最佳输入分布。请注意：信道容量依赖a的取值。
图334习题317图
图335习题318图
319有一加性噪声信道，输入符号X是离散的，取值为 1或-1，噪声N的概率密度函数为
pNn=18|n|4
0|n|4
则其输出Y=X N是一个连续变量。求该连续信道的容量。320设离散信道如图336所示，输入符号集为{0，1，2}，输出符号集为{0，1}，求其信道容量。
图336习题320图

書城介紹　 \|　合作申請　\|　索要書目　 \|　新手入門　\|　聯絡方式　 \|　幫助中心　\|　找書說明　 \|　送貨方式　\|　付款方式	香港用户　 \|　台灣用户　\|　大陸用户　\|　海外用户

	megBook.com.hk
Copyright © 2013 - 2024 （香港）大書城有限公司　 All Rights Reserved.