信息论与编码重点内容,信息论与编码技术知识点

2021/12/02 from Xwhite

这是预习后应该掌握的知识的总结。 一共分为四大部分吧

记住信息量和源熵公式，然后套用公式，冗馀度概念

通道和通道容量概念、互信息计算、简单通道容量计算

源代码概念、固定长度代码、可变长度代码、霍夫曼代码(应该会考虑)、香农代码

信道编码很难。 我们必须看看编码定理。 请看纠错编译码的概念。 线性分组码一定可以。 是循环码，汉明码。 卷积码应该不会考

知识点信息量、信源熵通道和信道容量信源编码信道编码(难点) ) )。

第一章的一些基本概念是读书结束。 例如，信息、消息、通信模型等。

信息量与源熵

背下来！ 背下来！ 背下来！ 因为是知识点的总结，所以基本上只给出公式，想加深理解的话可以看教科书，当然也可以看本博客的文章

先验概率：例如，考试结束后，请估计自己合格的概率为50%。 这就是先验概率，合格的概率。

事后概率：例如，你估算后，找最坏的同学问问，他说他能及格。 也就是说，在已知他有可能合格的条件下你合格的概率就是事后概率。

总结

在解决问题的过程中，如果问题在询问各个符号的自身信息量，我们使用以下公式。

如果主题涉及离散源的信息量或熵，则使用以下公式。

各概念之间的关系

补充一些概念

从信息量传输的角度看通信模型

发送方：发送信息量h(x ) ——信道)在信道上丢失的信息量h(x|y ) ——信宿)在接收方获得的信息量I ) x； y )

h(x|y ) :疑义度，也称为损失熵，表示由于信道中存在噪声和噪声而损失的平均信息量。

h(y|x )噪声熵

全损信道：干扰大，难以从y中提取x的有效信息，来自源的所有信息都将丢失到信道中

I(x； y )=0，例如加密编码无损信道：无干扰，接收方可以完全接收来自发送方的信息。

I(x； y )=H ) x )冗长性的概念是读书。

如果你想深入了解这里，请阅读教科书或阅读博客离散频道的文章。

信道和信道容量信道的概念请自己读书并记忆。

总结

源代码

定长码：如果一组码中所有码字的码长相同，则称为定长码

可变长度码：在一组码中所有码字的码长分别不同的情况下，称为可变长度码

格罗滕斯(如果一组代码中存在相同的码字，则称为格罗滕斯。

非奇异代码：如果一组代码中所有码字都不同，则称为非奇异代码。

组码：将源符号集中的每个源符号si映射到固定码字Wi

唯一可读：任何有限长度的代码序列符号将唯一地解释为相应的源符号序列

唯一可解码充要条件：编码的任意扩展都是非奇异码。 码字与源符号一一对应/码字序列与源符号序列一一对应

等长非奇异码一定是唯一可解码的

只能解密即时代码和非即时代码

即时代码(唯一可以在接收到完整码字时立即解码而无需参考后续代码符号的代码是即时代码

并不是只有奇异代码才能解读

非奇异代码不一定是唯一的可解码的

Keaft不等式

可以使用此表达式来判断它不是即时代码，但不能作为判断的依据

费诺码(Fano)

如果按概率从高到低的顺序排列源符号，则按顺序排列的源符号会随机分为两组。 使各组的概率与分配给各组的比特符号“0”或“1”尽可能接近或相等，从而进一步同样地将各组分开，重复步骤2、3直到不知道概率为止。香农编码(zxdcdq)重点

将源符号按概率从高到低的顺序排列并求出代码长度，实际上是从信息量中逆运算第I个符号的累积概率(第I个符号的累积概率是第一个i-1个符号的概率之和)，从而将累积概率Pi变换为二进制的小数，将小数点后的li比特变换为第I个符号

pi的累积概率psi才是编码概率

qrdxwz码（Huffman）[qrdxwz码是紧致码]

这是以前在数据结构上学过的霍夫曼树的写法

注意：遇到合并后出现相同概率的，将合并后的作为大概率。然后就是看题目要求是高概率路径写0还是写1

信道代码(难点) )

线性分组码

由于是从错误模式接收码字中减去发送码字(实际上是模式2加法)，所以模式2加法后的某一个为1，某一个错误。

汉明码

循环码

中信息论的后续知识点笔记由于时间原因(上传麻烦)、部分源代码和通道代码不够)，还没有整理好，几天后可能会重新上传。