互信息

互音讯(Mutual
Information)是度量五个事件集合之间的相关性(mutual
dependence)。

平均互消息量定义:

图片 1

互音信量I(xi;yj)在一块概率空间P(XY)中的总计平均值。 平均互音讯I(X;Y)战胜了互音信量I(xi;yj)的随机性,成为一个规定的量。

平均互消息量的大体意义

 图片 2

1) 观望者站在输出端:

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示收到变量Y后,对随意变量X如故存在的不确定度。代表了在信道中损失的新闻。

H(X) —X的先验不确定度/无条件熵。

I(X;Y)—收到Y前后关于X的不确定度缩小的量。从Y得到的有关X的平分新闻量。

 

2)观望者站在输入端:

H(Y/X)—噪声熵。表示发出随机变量X后, 对轻易变量Y依旧存在的平分不确定度。假如信道中不设有任何噪声, 发送端和接收端必存在确定的照应关系, 发出X后必能确定相应的Y, 而现在不可能完全确定相应的Y, 这显著是由信道噪声所引起的。

I(Y;X) —发出X前后关于Y的先验不确定度缩小的量.

 

3)观望者站在通信系统全部立场上:

H(XY)—联合熵.表示输入随机变量X, 经信道传输到达信宿, 输出随机变量Y。即收,发双方通信后,整个系列依然存在的不确定度.

I(X;Y) —通信前后整整连串不确定度裁减量。在通信前把X和Y看成多少个互相独立的随机变量, 整个类另外先验不确定度为X和Y的一块熵H(X)+H(Y); 通信后把信道两端出现X和Y看成是由信道的传递总计特性联系起来的, 具有自然总计关联关系的多少个随机变量, 这时整个体系的后验不确定度由H(XY)描述。

如上二种不同的角度验证: 从一个风波拿到另一个风波的平均互音讯需要免去不确定度,一旦消除了不确定度,就获取了消息。

 

平均互新闻量的属性

① 对称性

I(X;Y)= I(Y;X)

由Y提取到的有关X的音信量与从X中提取到的关于Y的信息量是如出一辙的。 I(X;Y)和 I(Y;X)只是寓目者的立场不同。

② 非负性

I(X;Y)≥0

平均互消息量不是从多个实际信息出发, 而是从随机变量X和Y的完好角度出发, 并在平均意义上观赛问题, 所以平均互消息量不会产出负值。

或者说从一个事变提取关于另一个风波的信息, 最坏的场合是0, 不会出于知道了一个事件,反而使另一个事件的不确定度扩展。

③ 极值性

I(X;Y)≤H(X)

I(Y;X)≤H(Y)

从一个轩然大波提取关于另一个事件的音信量, 至多是另一个事变的熵那么多, 不会领先另一个风波本身所含的音信量。

当X和Y是逐一对应涉及时: I(X;Y)=H(X), 这时H(X/Y)=0。从一个事件可以尽量拿到有关另一个事变的音讯, 从平均意义上的话, 代表信源的音信量可方方面面由此信道。

当X和Y相互独立即: H(X/Y) =H(X),
I(Y;X)=0。 从一个事变不可能拿到另一个事变的其余音信,这等效于信道中断的状况。

④ 凸函数性

平均互信息量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

若固定信道,调整信源, 则平均互音信量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

若固定信源,调整信道, 则平均互信息量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

平均互音讯量I(X;Y)是输入信源概率分布p(xi)的上凸函数(concave function; or
convext cap function)。

平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数(convext function; or
convext cup function)。

⑤ 数据处理定理

串联信道

在部分事实上通信系统中, 日常出现串联信道。例如微波中继接力通信就是一种串联信道.

信宿收到数额后再开展数据处理, 数据处理序列可作为一种信道, 它与前边传输数据的信道构成串联信道。

数码处理定理:当音讯经过一系列处理后,随着电脑数目标充实,输入音讯与出口信息之间的平分互音信量趋于变小。即

I(X;Z)≤I(X;Y)

I(X;Z)≤I(Y;Z)

其间要是Y条件下X和Z互相独立。

两级串联信道输入与输出音信之间的平分互信息量既不会超越第Ⅰ级信道输入与出口信息之间的平分互新闻量,也不会超过第Ⅱ级信道输入与出口音讯之间的平分互音讯量。

当对信号/数据/音信举行连串处理时, 每处理一回, 就有可能损失一部分音讯, 也就是说数据处理会把信号/数据/音信成为更实惠的款式, 可是绝不会成立出新的信息。这就是所谓的音讯不增原理。

当已用某种格局拿到Y后, 不管怎么着对Y举行拍卖, 所获得的消息不会抢先I(X;Y)。每处理一次, 只会使消息量收缩, 至多不变。也就是说在此外信息流通系统中, 最终收获的音信量,至多是信源提供的音信。一旦在某一过程中丢掉了一部分信息, 未来的系列不管怎么着处理, 如若不可能接触到丢失信息的输入端, 就不可能再回复已不见的新闻。