信息与编码_《信息与编码》考试复习笔记1第一章概论

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码&＃xff08;重要&＃xff09;
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码&＃xff08;难点&＃xff09;
九、《信息与编码》考试复习笔记5----第五章纠错编码相关例题&＃xff08;难点&＃xff09;
十、《信息与编码》考试复习笔记----前五章题目补充
十一、《信息与编码》考试复习笔记5----第五章纠错编码–伴随式纠错译码及标准阵列译码补充&＃xff08;难点&＃xff09;
十二、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量&＃xff08;考点在连续信道容量&＃xff09;
十三、《信息与编码》考试复习笔记6----第六章连续信源熵和信道容量相关例题
十四、《信息与编码》考试复习笔记7----第七章信息率失真函数&＃xff08;有计算无难度&＃xff09;
十五、《信息与编码》考试复习笔记7----第七章信息率失真函数相关例题

这门课复习的时候有点学不进去&＃xff0c;打算以此记录复习过程&＃xff0c;也算加深一下印象&＃xff0c;与大家一起学习。

信息论的创始人是克劳德·艾尔伍德·香农&＃xff08;Claude Elwood Shannon&＃xff09;

信息论的基础是香农信息论&＃xff0c;学习此门课的关键主要包括“信息测度”&＃xff0c;“信道容量”&＃xff0c;“香农三大定理”&＃xff08;无失真信源编码定理&＃xff0c;信道编码定理&＃xff0c;限失真信源编码定理&＃xff09;&＃xff0c;“信源编码”&＃xff0c;“信道编码”&＃xff0c;“信息率失真函数”。

1.1信息的概念

信息是信息论中最基本、最重要的概念&＃xff0c;它是一个既抽象又复杂的概念。信息的概念是在实践中产生&＃xff0c;以前一直被看作是消息的同义词。信息的概念十分广泛&＃xff0c;不同的定义在上百种以上。包括信息是事物之间的差异&＃xff1b;信息是事物联系的普遍形式&＃xff1b;信息是物质的普遍属性&＃xff1b;信息是使概率分布发生改变的东西&＃xff1b;信息是物质成分的意识成分按完全特殊的方式融合起来的产物……

香农对信息的定义&＃xff1a;
信息&＃xff1a;是对事物运动状态和变化方式的表征&＃xff0c;它存在于任何事物之中&＃xff0c;可以被认识主体&＃xff08;人或机器&＃xff09;获取和利用。

全信息&＃xff1a;同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息&＃xff0c;称为全信息。

⮚ 语法信息&＃xff1a;事物运动状态和状态改变的方式&＃xff1b;
⮚ 语义信息&＃xff1a;事物运动状态和方式的具体含义&＃xff1b;
⮚ 语用信息&＃xff1a;事物运动状态和方式及其含义对观察者的效用。

香农信息论&＃xff1a;考虑事物运动状态及其变化方式的外在形式&＃xff0c;实际上研究的是语法信息。

信息的11条重要性质&＃xff1a;
列举出来分别是&＃xff1a;①存在的普遍性②有序性③相对性④可度量性⑤可扩充性⑥可存储、传输与携带型⑦可压缩性⑧可替代性⑨可扩散性⑩可共享性⑪时效性

相应的解释如下&＃xff1a;
⮚存在的普遍性&＃xff1a;信息存在于自然界、人类社会&＃xff0c;其本质是运动和变化的。哪里有事物的运动变化&＃xff0c;哪里就会产生信息。它处处存在&＃xff0c;它既区别于物质和能量&＃xff0c;又与物质和能量有相互依存的关系。
⮚ 有序性&＃xff1a;要使一个系统从无序变为有序&＃xff0c;必须从外界获取信息。
⮚ 相对性&＃xff1a;同一个事物&＃xff0c;不同的观察者获得的信息量可能不同。
⮚ 可度量性&＃xff1a;信息的多少用信息量表示。
⮚ 可扩充性&＃xff1a;信息随人的认识的提高在不断的扩充。
⮚ 可存储、传输与携带性
⮚ 可压缩性&＃xff1a;信息论研究的主要问题之一。
⮚ 可替代性&＃xff1a;可替代劳力、资本、物质材料、时间。
⮚ 可扩散性&＃xff1a;可在短时间内较大范围扩散开。
⮚ 可共享性&＃xff1a;没有信息的共享性就没有人类社会的发展和进步。
⮚ 时效性&＃xff1a;信息是有“寿命”的。

1.2信息的分类

信息是一种非常复杂的的研究对象&＃xff0c;分类有许多不同的准则和方法。其中按照信息性质可分为①语法信息②语义信息③语用信息

语法信息考虑的是事物运动状态和变化方式的外在形式。事物运动状态可能是连续的也可能是离散的&＃xff0c;于是又可以分成连续状态和离散状态&＃xff1b;再者&＃xff0c;事物运动状态还可能是清晰的或者是模糊的&＃xff0c;这样又可以分为明晰信息和模糊信息。

以前只有状态要素得到了较为充分的利用&＃xff0c;运动要素利用的很少。进入本世纪&＃xff0c;对边信道攻防技术的大量研究&＃xff0c;使信息的运动要素得到了密集的挖掘和利用。

3.1通信系统的通用模型

其中&＃xff1a;
⮚ 信源是消息的发生源&＃xff0c;即信息的提供者。
⮚ 信源编码是为了提高通信的有效性而发展的技术&＃xff0c;往往通过信息压缩来实现。
⮚ 加密部分的作用是在保密通信中保障通信内容不被授权者获知。
⮚ 信道编码的作用有二&＃xff1a;①提高信源和信道的适配性和提高信息传输的可靠性。②多路通信还有信号调制部分&＃xff0c;将多个信源发出的信号搬移到不同的频段或插入不同的时隙&＃xff0c;达到在同一条通信线路上传输多路信号的目的&＃xff0c;提高通信效率。
⮚ 信道是信息传输的通道。
⮚ 信道译码、解密和信源译码分别是信道编码、加密和信源编码的反过程&＃xff0c;使信号恢复到原始状态&＃xff0c;然后到达通信的目的地–信宿。
⮚ 信宿即信息的接收者。

3.2信息论的研究内容

信息论是一门应用概率论、随机过程、数理统计和代数的方法&＃xff0c;来研究广义的信息传输、提取和处理系统中一般规律的工程学科。

关于研究内容一般有以下三种解释&＃xff1a;
①信息论基础②一般信息论③广义信息论

⮚信息论基础&＃xff08;即shannon经典信息论&＃xff09;&＃xff1a;研究信息测度&＃xff0c;信道容量&＃xff0c;信息率失真函数和香农三大定理以及信源和信道编码理论。
⮚一般信息论&＃xff1a;研究信息传输和处理问题&＃xff0c;除经典信息论外还包括噪声理论&＃xff0c;信号滤波和预测&＃xff0c;统计检测和估值理论&＃xff0c;调制理论&＃xff0c;信息处理理论和保密理论。
⮚广义信息论&＃xff08;即信息科学&＃xff09;&＃xff1a;用信息论的基本概念研究经济现象和社会现象&＃xff0c;将信息论的研究从自然科学领域移植到经济学和社会科学领域。

研究目的&＃xff1a;是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。即提高信息系统的有效性、可靠性、安全性和经济性以便达到系统最优化。

⮚ 有效性&＃xff1a;用尽可能短的时间和尽可能少的设备来传输一定信息量的消息。
⮚ 可靠性&＃xff1a;要使信源发出的消息经过传输后&＃xff0c;尽可能准确地、不失真地再现在接收端。
⮚ 安全性&＃xff1a;避免网络木马病毒&＃xff0c;黑客攻击等&＃xff0c;保证信息的安全。

以上就是第一章概论中的内容&＃xff0c;主要偏向概念&＃xff0c;需要多加记忆&＃xff1a;&＃xff09;