信息论（第二章 离散信息的度量）

概率论基本知识回顾概率论中与信息度量有关的基本概念和知识以备学习和查阅。样本空间与随机事件随机试验随机性是一种物理现象一般通过试验结果来呈现和观察。由于试验结果不可预测此类试验特称为随机试验通常用字母E表示。样本空间已知集合就是一次随机试验可能呈现的所有结果称为样本空间记为Ω。条件概率在事件 A 已经发生的条件下事件 B 发生的概率称为 B 对 A 的条件概率记为 p(B|A)。特别地当事件 A 和事件 B 相互独立时即无论事件 A 是否发生事件 B 发生的概率不变有p(B|A)联合概率事件A和事件B同时发生的概率称为联合概率记为p(AB)且有p(AB)p(A)p(B|A)p(B)p(A|B)p(B|A)p(AB)/p(A)(p(B)p(A|B))/p(A)完全事件组全概率公式贝叶斯公式后验概率贝叶斯公式所计算的概率就是后验概率先验概率先验概率是指某一事件 B 本身所具有的随机性程度是不依赖其他事件而得到的一个统计量后验概率正好相反需要根据其他事件的发生情况来推测事件 B 的分布是一个条件概率。离散随机变量离散随机变量取值为有限个或者无限但可数这样的随机变量称为离散随机变量。离散随机变量的统计特性离散随机变量 X 的概率分布 p(x) 描述了随机变量取某一具体值时的随机性但在实际应用中更关心的是群体的平均分布情况。对于离散随机变量而言常用的统计特性有数学期望及其函数的数学期望。数学期望离散随机变量 X 的数学期望就是 X 可能取值的加权平均其加权权重就是对应的概率。加权平均增大集中影响信息随机变量的数学期望X 是离散随机变量Y 的取值与 X 有关因此 Y 也是离散随机变量其数学期望 E[Y] 与离散随机变量 X 有关。信息度量方法的引入(1) 越不可能的消息包含的信息量越多。(2) 确定无疑的消息包含的信息量为零。(3) 消息发生的概率越大信息量越少反之亦然。(1) 信息量是随机事件概率的严格递减函数。即发生概率越小事件发生的不确定性越大则所包含的信息量越多。(2) 极限情况下若随机事件发生的概率为1则事件所包含的信息量为0若随机事件发生的概率为0时则事件所包含的信息量为无穷大。(3) 若两个不同的随机事件相互独立则这两个事件所包含的信息量应该是单个随机变量所包含信息量的和即信息量应该满足可加性。自信息量和信息熵1.自信息量的定义2.自信息的单位与换算a2单位定义为比特(bit)工程上常用此单位。a3单位定义为tit不常用。ae单位定义为奈特(nat)理论推导时常用注\mathrm{e}为自然常数。a10单位定义为笛特det或者哈特hart不常用。3.自信息量含义(1)发生前事件的不确定性。必然发生的事件自信息量为零没有不确定性。自信息量越小发生概率越大预测事件越发困难事件的不确定性越大反之亦然。(2)发生后事件提供的信息量。就通信系统而言自信息量是信源通过随机事件消息要传递给信宿的信息量。必然发生的消息信宿无须信源传递而自知此类消息所提供的信息量为零发生概率越小信宿越感意外所传递的信息量越多反之亦然。(3)信息论中的自信息量概念与日常生活中的信息概念有较大差别。信息论中的自信息量概念实际是信息表示、传输和恢复时对消息不确定性的要求与消息或者随机事件本身的含义或内容无关而日常生活中的信息概念则是消息所要表达的内容或含义。(4)自信息量只与随机性有关。随机性相同的两则消息自信息量相同而与其含义无关。