浙江大学包家立计算生物学1

数据挖掘的过程

数据开采的目的

分类
聚类
相关性分析(自相关&＃xff0c;互相关)
偏差分析

结果解释和评价
除无关模式
新选择算法

信息的传递
从信源出发&＃xff0c;通过信道&＃xff0c;传递给信宿
信息的编码&＃xff0c;即从信源发出的信号&＃xff0c;经过编码形成机器可以识别的信号&＃xff0c;经过信道进行传播。
简单的如同&＃xff0c;打电话&＃xff0c;声音信号的传播&＃xff0c;先经过编码&＃xff0c;然后先通过信道(此处是电磁波)进行电信号的传播&＃xff0c;通过电磁4信号干扰&＃xff0c;可以影响信号的质量&＃xff0c;这也就是为什么通过电磁波的屏蔽可以阻断电子设备的通讯 。

采用二进制编码
先把事件分为等概率的两个事件&＃xff0c;然后再将每一层的事件进行层层细分(按照发生的概率进行细分)。

字符位数

h(i)&＃61;log2(1/Pi),以二进制为例&＃xff0c;此处的底就是进制数

此处的h(i)也是信息量的表示I&＃xff08;xi&＃xff09;

而信息熵是h(i)和相应的事件的概率的乘积&＃xff0c;信息熵用H表示&＃xff0c;即黑板上的第三个式子
H&＃61;Σp_i*Log_a(1/pi) (i从1到n)&＃xff0c;这个表示的是平均信息熵

信息熵的性质
1.非负性
2.可加性
3.确定性
4.可扩展性
5.极值性

互信息&＃xff0c;输入变量和输出变量(数值可能不同&＃xff0c;比如输入时核苷酸的个数&＃xff0c;输出的时氨基酸的个数)

联合概率&＃xff0c;
条件信息熵即为在某一条件下的信息量的期望值&＃xff0c;

平均条件信息熵&＃xff0c;就是在联合分布的空间里&＃xff0c;整个事件发生的平均信息熵。