信息论与编码理论 彭代渊-第3章信道容量-习题解答-0711

信息论与编码理论第3章信道容量

习题解答

2/31/3，，3-1 设二进制对称信道的转移概率矩阵为,,1/32/3，，

解: (1) 若，求和HXHYHXYHYX(),(),(|),(|)PaPa()3/4,()1/4,,12

。IXY(;)

23311符号H(X)=p(a)log p(a)log()log()0.8113(/),,,，,,bitii,4444i=1

32117p(b)=p(a)p(b|a)+p(a)p(b|a)=，，，,1111212434312

31125p(b)=p(a)p(b|a)+p(a)p(b|a)=，，，,2121222434312

27755符号H(Y)=p(b)log(b)=log()log()0.9799(/),,,,bit,jj12121212j=1

22

,,,H(Y|X)=p(a,b)logp(b|a)p(b|a)logp(b|a),,ijjijijiijj,

2211,,，,，,bit符号log()log()0.9183(/)3333

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/),,,bit符号

H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/,,,bit符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p)

1122C=1-H(P)=1+log()+log()=0.0817(bit/)符3333

BSC信道达到信道容量时，输入为等概率分布，即:{0.5，0.5} 注意单位

1

1/11页

第3章信道容量

3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

abab、鬼鬼祟祟、abab、千里迢迢、袅袅婷婷、波光粼粼、行色匆匆。2 aababb 7 ababab。1、每个角色都可以用↑aba调出魔法,如果↑ababab一直持续可调出撕腿、背摔或现场交互hot场景的秘技。

1 0 0，，

,,第一种:无噪无损信道，其概率转移矩阵为:P=0 1 0,,

,,0 0 1，，信道容量: bit/符号CIXYmax(;)PX()

CIXYHXHXY,,,max{(;)}max{()(|)}pxpx()()

？,HXY(|)0

？,,CIXYHXmax{(;)}max{()}pxpx()()

离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，

bit/符号C=log3=1.5850

111,,输入最佳概率分布如下:,,,,333,,

1 0，，

,,第二种:无噪有损信道，其概率转移矩阵为:，离散输入信道，P=0 1,,

,,0 1，，CIXYHYHYX,,,max{(;)}max{()(|)}pxpx()()

？,HYX(|)0

？,,CIXYHYmax{(;)}max{()}pxpx()()

H(Y)输出为等概率分布时可达到最大值信息论与编码答案彭代渊，此值就是信道容量此时最佳输入概率:p(a)+p(a)=0.5,p(a)=0.5123

信道容量: bit/符号C=log(2)=1

第三种:有噪无损信道，由图可知:

CIXYHXHXY,,,max{(;)}max{()(|)}pxpx()()

？,HXY(|)0？,,CIXYHXmax{(;)}max{()}pxpx()()

2

2/11页

信息论与编码理论输入为等概率分布时可达到信道容量，此时信道容量

11,,C=max{H(X)}=log(2)=1 bit/符号输入最佳概率分布:,,,p(x)22,,3-3 设4元删除信道的输入量，输出量，转移X,{1,2,3,4}YE,{1,2,3,4,}概率为

PYiXi(|)1,,,,,

PYEXi(|),,,,

1-ε 0 0 0 ε，，

,,0 1-ε 0 0 ε,,P=,,0 0 1-ε 0 ε其中i,1,2,3,4,,0 0 0 1-εε，，

1-ε 0 0 0 ε，，，，

tt4:=p1=1 and ref(p1,1)=0 and p2=1 and ref(p2,1)=0 。for i:=p1+k-1 to p2 do f[p1,p2,k]:=max(f[p1,p2,k],mmax(p1,i-1,k-1)*((((c[p2]-c[i-1]) mod 10)+10) mod 10))。for i:=p1+k-1 to p2 do f[p1,p2,k]:=min(f[p1,p2,k],mmin(p1,i-1,k-1)*((((c[p2]-c[i-1]) mod 10)+10) mod 10))。

,,,,0 0 0 1-εε，，，，

1)该信道是对称DMC信道吗,

2)计算该信道的信道容量;

3)比较该信道与两个独立并联的二元删除信道的信道容量。(1)本通信过程的转移概率分布如下所示:

1-ε 0 0 0 ε1-ε 0 0 0 ε，，，，，，

,,,,,,0 1-ε 0 0 ε0 1-ε 0 0 ε,,,,,,可以分解为两个矩阵:P=p1= p2=,,,,,,0 0 1-ε 0 ε0 0 1-ε 0 ε

6、在偏心受压承载计算时，对称配筋的公式是重点（大偏心p505，工字形截面小偏心的对称配筋计算p543）。当单相负 荷的总计算容量小于计算范围内三相对称负荷总计算容量的15％时，可全部按三相对称负 荷计算。在学生掌握理论知识的前提下,要指导学生运用于实践,老师布置的作业不能简单是公式计算,公式套用,而是要灵活分析计算化学反应过程。

,,,,,,,log(4)(1,)(1)log(1)log(4)H,,,,,,2

,，,,，,,,,2(1)log(1)log()(1)log(1)log(4),,,,,,,,

1,，,,2log()22(/)bit符号,,4

(3)两个独立并联的二元删除信道其转移概率如下:

3

3/11页

第3章信道容量

1-εε 01-ε 0 ε，，，，，，可以写成:的形式与,,,,,,0 ε 1-ε0 1-εε，，，，，，

而当要求所在的电路为并联时，则分别选用w=u2/r.t,p=u2/r,这样的选择都利用了所在电路的特点（电流相等或电压相等）加快解题。设某信道有r个输入符号，s个输出符号，信道容量为c，当信道的信息传输率r

3-4 设BSC信道的转移概率矩阵为

1,,,，，11Q,,,1,,,，，22

1)写出信息熵和条件熵的关于和表达式，其中HY()HYX(|)H(),H(),12

。H()log(1)log(1),,,,,,,,,,

2)根据的变化曲线，定性分析信道的容道容量，并说明当的H(),,,,12信道容量。

解:(1)设输入信号的概率颁布是{p,1-p} pbpapbapapba()()(|)()(|),，，，1111212

,，,,信息论与编码答案彭代渊，,，,pp(1)(1)12

pbpapbapapba()()(|)()(|),，，，2121222,，,，,，,,pp(1)(1)12

HYpbpbpbpb()()log()()log(),,,1122

,,，,,，,，,，,,，,，,,[(1)(1)]log[(1)(1)]pppp1212

[(1)(1)]log[(1)(1)]pppp，,，,，,,，,，,，,,1212

,,,,，,,,Hpp[(1)(1)]12

2

HYXpapbapba(|)()(|)log(|),,,ijijiij,1,

,,，,,,,，,,p[(1)log(1)1log()]111,,,,,,，,,(1)[(1)log(1)log()]p2222

,,,，,,,pHpH()(1)()12

(2)的变化曲线，是一个上凸函数，当输入等概率分布时达到信道H(),

4

4/11页

信息论与编码理论

容量。

CIXYHYHYX,,,max{(;)}max{()(|)}pxpx()()

,，,,，,，,,，,，,，,max{[(1)(1)]()(1)()}HpppHpH1212px()

由于函数H(ε)是一个凸函数，有一个性质:

fff((1))()(1)(),,,，,,,,,,,,，,,,,1212

可知:C,,

假设时此信道是一个二元对称信道，转移概率分布为:,,,,,12

1,,,，，Q,,,,,,1，，

信道容量:

,,,,,12

C1-log-(1-)log(1-),,,,,

1-()H,,

3-5 求下列两个信道的容量，并加以比较。

1-p-εp-ε2ε，，120,,,pp,,,，，,,p-ε1-p-ε2ε,,，，pp,,,102,,,，，

1-p-ε p-ε2ε，，，，第一个:可以写成:与,,,,2εp-ε 1-p-ε，，，，

bit/符号CH11(1-p-,,,,,,ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε)

120,,,pp,,,，，

第二个:,,pp,,,102,,,，，

2ε 01-p-ε p-ε，，，，

与两个对称形式,,,,,0 2p-ε 1-p-ε，，，，

CH21(1-p-,,,,,,ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)bit/符号

CC122,,,ε<0

所以:信道一的信道容量大于信道二的信道容量，信道容量的不增性。

5

5/11页