信息论与编码小题整理

作者:

在

欢迎进入

第一章

  1. (填空)1928年,哈特莱首先提出了用对数度量信息的概念
  2. (填空)1948年香农发表《通信的数学理论》标志着信息论的正式诞生
  3. 通信系统基本模型

信源-编码-信道-译码-信宿

第二章

(小题)

  1. 什么是有记忆信源?什么是无记忆信源?

离散平稳有记忆信源:即发出的各个符号之间具有统计关联关系的一类信源

(联合概率)第一种方式是用信源发出的一个符号序列的整体概率,即N个符号的联合概率来反映有记忆信源的特征,这种信源是发出符号序列的有记忆信源。

(条件概率)第二种表示方式是用信源发出的符号序列中各个符号之间的条件概率来反映记忆特征,这是发出符号序列的马尔可夫信源。

离散平稳无记忆信源:如果信源输出的消息序列中,符号之间无相互依赖关系,称为~

  • 信源熵的定义,单位,公式

定义:我们定义信源各个离散消息的自信息量的数学期望(即概率加权的统计平均值)为信源的平均信息量,一般称为信源的信息熵,也叫信源熵或香农熵,有时称为无条件熵或熵函数,简称熵,记为H(X)。

单位:比特/符号

公式:

  • 马尔可夫信源熵前三段

第三章

(小题)

  1. 信源编码目的(通过什么实现)

提高通信有效性,通过压缩信源的冗余度来实现

信道编码目的

提高信息传输可靠性,通过增加信源的冗余度来实现

  • 信源编码两个定理:无失真信源编码定理和限失真信源编码定理(离散信源编码是针对离散信号或数字信号实施的编码,又分无失真编码和限失真编码)

【离散信源可做到无失真编码,连续信源只能做到限失真编码】

无失真编码要求编码器编出的码字与信源符号有一一对应关系,以保证信源符号被全部表达,没有失真。

限失真编码则在满足通信需求的前提下,允许一定的失真。

  • 无失真信源编码定理分为定长编码定理、变长编码定理(效率高)。
  •  

(大题)

香农编码(唯一性),费诺编码,霍夫曼编码

三种编码方式一般适用于无记忆信源编    、

第四章

(小题)

  1. 传输信息的多少不仅与物理信道本身的特性有关,还与载荷信息的信号形式和信源输出信号的统计特性有关
  2. 平均互信息量的物理意义

信道每传输一个信源信号平均传递的信息量

  • 公式(互信息量)
  • 信道矩阵
  • 几种特殊离散信道

一.离散无噪信道的信道容量

  • 具有一一对应关系的无噪信道

他的信道矩阵中每一行每一列只有一个1

信道容量

(2)具有扩展性能的无噪信道

信道矩阵中的元素不全是“1”或“0”

每列中只有一个非零元素

(3)具有归并性能的无噪信道

无噪信道信道矩阵中的元素非“0”即“1”,每行仅有一个非零元素,每列的非零元素个数大于1。

要达到这一信道容量,对应信源的概率分布是什么呢?由信道矩阵有

p(b1)=p(a1)x1+p(a2)x1

p(b2)=p(a3)x1+p(a4)x1

p(b3)=p(as)x1

只要p(b)p(b2)=p(b3)=1/3,H(Y)达到最大值,即达到信道容量C。

二.强对称离散信道的信道容量

三.对称离散信道的信道容量

准对称

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注