《信息论》学习小结

  1. 信息论是什么
  2. 信息论告诉了我什么,启发是什么

信息论是什么?

在回答这个问题前,先搞清楚信息论研究的对象是什么?信息论当然是研究信息的,但细想一下,什么是信息?按以往的理解,就是某个事情对我有用就是信息,没用就不是信息。“有用”,这却是一个相对的概念,即便可以量化,那么对于不同的人取值也是不同的。比如:今晚欧洲杯决赛冠军是巴西还是德国?对与我一点都没用,但对于德国球迷我想那是相当有用吧。所以“有用”这个对信息的度量属于社会学的范畴,那信息论度量的是信息的什么属性呢?这个要从信息论的起源说起。当年(1948)香农是在Bell实验室研究通信系统的数学模型时提出的,即对通信系统建立抽象可计算模型,从而在理论上给出某个通信系统的通信能力,甚至为优化通信系统给出方向。因此可以看出,信息论是研究通信过程中的信息,即表达不确定性的量。

怎么理解“表达不确定性”这句话呢?细想一下,我们人与人的交流、人与机器的交互,都是在对某个不确定状态,求得一个确定状态。我问门卫:“今晚几点关门?“,我上网搜索”今晚天气如何?”,如果你在与某个对象通信前,后面要通信的信息对你都是确定的,那根本就谈不上通信,因为这些信息对你来说是已知,通信过程中没有产生任何信息,也就是信息量是0. 注意,信息量这个描述已经出现。任何一个单一信息,都可以理解为对某个事物不同状态发生的概率组合。如:明天早上是否会有雾霾?肉眼识别一个手写字是哪个字?听某个人说话时第几个发音是哪个汉字的发音?也就是说,信息自身是一种概率,而且这个概率分布不以人的意志为转移,即有其客观的固有度量。而信息论就是研究信息的这个属性,即信息自身固有的对自己包含状态概率分布。以此,就可以量化某个编码对信息的表达能力,是否冗余?因为我们通过计算得到某个信息的固有信息量,同时可以算出编码后的信息量。同时可以像计算物体运动速度一样计算出信息在传递过程中的各种量化值:传播速度与传播介质承载、及噪声影响(可以类比物体运动中的阻力)。

信息论告诉了我什么,启发是什么?

除了上面说的,信息论告诉我了通信中信息的本质,告诉了在工程实践中编码如何做最能节省资源,告诉我通信系统各个指标是存在不以人的意志为转移的指标上限,而且这些上限还可以通过计算得出。

除了上面这些可以直接教科书中获得的知识外,信息论告诉我更多的是一种考虑问题的方式,即对问题的思考模式,甚至对世界的理解。

研究或者解决某个问题,如香农一样,首先需要理解你要研究或解决问题对象的本质是什么,尤其对于开拓性的问题(因为没有任何定义和确定解释)。其次,当事物本质超出当前的已有思维范畴,尝试着采用特例来理解其中的本质,如信息论信息量为信息中某个状态概率的函数,可采用两个极端特例来理解:概率为极小接近0 与 概率极大接近1. 如何接近事物的本质呢?需要克服已有的惯性思维(对问题早已有之的定义),将早已附加其上的各种假设全部拿掉(这在思维上是一件极其痛苦的事,不亚于在肉体上剥掉一块肉)。

信息论带给我最震撼的还是对世界的认识,那就是包括像信息这种只有人类出现才有的概念也存在其固定的客观量化,即存在客观的规律在其中。可以说,整个世界的方方面面运行在各种客观规律之下,当然这不是说整个世界的运行都是确定的(这个属于哲学命题了)。

发表评论