相互信息

相信息(Mutual
Information)是胸襟两单事件集合之间的相关性(mutual
dependence)。

平均互信息量定义:

图片 1

相互信息量I(xi;yj)在一块儿概率空间P(XY)中之统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的计量。

平均互信息量的情理意义

 图片 2

1) 观察者站在输出端:

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示接到变量Y后,对随机变量X仍然存在的不确定度。代表了于信道中损失的音信。

H(X) —X的先验不确定度/无条件熵。

I(X;Y)—收到Y前后关于X的不确定度减少的计量。从Y获得的有关X的平均信息量。

 

2)观察者站在输入端:

H(Y/X)—噪声熵。表示来随机变量X后, 对随机变量Y仍然存在的平均不确定度。如果信道中未有其他噪声, 发送端和收受端必有确定的呼应关系, 发出X后自然能确定相应的Y, 而现在休能够全确定相应的Y, 这显然是由于信道噪声所引起的。

I(Y;X) —发出X前后关于Y的先验不确定度减少的量.

 

3)观察者站在通信系统完整立场上:

H(XY)—联合熵.表示输入随机变量X, 经信道传输到信宿, 输出随机变量Y。即收,发双方通信后,整个系统仍然有的不确定度.

I(X;Y) —通信前后整整系统不确定度减少量。在通信前把X和Y看成稀独相独立的随机变量, 整个系统的先验不确定度为X和Y的协同熵H(X)+H(Y); 通信后把信道两端出现X和Y看成是出于信道的传递统计特性联系起的, 具有自然统计关联关系之星星个随机变量, 这时整个系统的后验不确定度由H(XY)描述。

如上三种不同之角度说明: 从一个事变得到其他一个风波之平均互信息需要消除不确定度,一旦消除了不确定度,就落了信。

 

平均互信息量的性质

① 对称性

I(X;Y)= I(Y;X)

是因为Y提取及之有关X的信息量与从X中领取及之有关Y的信息量是如出一辙的。 I(X;Y)和 I(Y;X)只是观察者的立足点不同。

② 非负性

I(X;Y)≥0

平均互信息量不是起有限单具体信息出发, 而是从随机变量X和Y的圆角度出发, 并在平均意义及着眼问题, 所以平均互信息量不会见产出负值。

抑或说由一个波提取关于任何一个轩然大波的信, 最充分之景况是0, 不见面由于知道了一个风波,反而要另一个波之不确定度增加。

③ 极值性

I(X;Y)≤H(X)

I(Y;X)≤H(Y)

由一个事变提取关于其他一个风波之信息量, 至多是另外一个轩然大波的熵那么基本上, 不见面跳其它一个事变我所涵盖的信息量。

当X和Y是各个对许提到经常: I(X;Y)=H(X), 这时H(X/Y)=0。从一个轩然大波可以尽管获得有关任何一个事件之消息, 从平均意义及的话, 代表信源的信息量可是全透过信道。

当X和Y相互独立时: H(X/Y) =H(X),
I(Y;X)=0。 从一个波不克赢得其他一个事件之另外音讯,这顶效于信道中断的状况。

④ 凸函数性

平均互信息量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

要固定信道,调整信源, 则平均互信息量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

一旦固定信源,调整信道, 则平均互信息量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

平均互信息量I(X;Y)是输入信源概率分布p(xi)的达到凸函数(concave function; or
convext cap function)。

平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数(convext function; or
convext cup function)。

⑤ 数据处理定理

串联信道

当局部实际通信系统中, 常常出现串联信道。例如微波中继接力通信就是一律种植串联信道.

信宿收到多少后再次拓展数量处理, 数据处理系统而当一栽信道, 它同前方传输数据的信道构成串联信道。

数量处理定理:当消息经一系列处理后,随着电脑数目的充实,输入信息和输出消息里的平均互信息量趋于变多少。即

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)

中间假设Y条件下X和Z相互独立。

有数级串联信道输入与输出消息里的平均互信息量既无见面跳第Ⅰ级信道输入与出口消息中的平分互信息量,也非会见越第Ⅱ层信道输入与出口消息里的平分互信息量。

当对信号/数据/消息进行多重处理常, 每处理同破, 就时有发生或损失有信息, 也就是说数据处理会将信号/数据/消息成为更有效之样式, 但是绝对不见面创造有新的音。这虽是所谓的音信不增原理。

当已经因此某种方式得到Y后, 不管怎样对Y进行拍卖, 所获得的信息不见面跳I(X;Y)。每处理同破, 只见面如信息量减少, 至多无变换。也就是说在其他音讯流通体系面临, 最后抱的信息量,至多凡信源提供的消息。一旦以有平过程中遗失了有些消息, 以后的体系不管怎样处理, 如果不可知接触到少信息的输入端, 就未可知重恢复就掉的音讯。