第14章 信息论(1)
信息论是一门新兴的横断学科，它与系统论、控制论几乎同时在20世纪40年代末产生。它的主要创立者是美国的数学家香农（G.E.Shannon）和维纳。信息论最早仅限于研究通信领域的信息问题，是一门应用概率论和数理统计方法研究信息处理和信息传递的科学。它的基本内容是研究信源、信宿、信道及编码问题。但是随着近五六十年以来当代科学技术发展相互渗透、彼此交叉和各学科间综合化、整体化趋势的日益加强，信息论的一些基本内容已经突破了通信的范围而渗透到其他更广泛的领域如生物学、医学、仿生学、语言学、管理科学中等。
在这个发展过程中，信息论本身也初步形成为一门独立的理论——信息科学。
13.1人类认识和利用信息的历史
物质、能量、信息被称为客观世界的三大支柱。当今社会是“信息社会”，我们所处的时代是“信息时代”，人们就是生活在这个信息的海洋之中，人类也像离不开空气那样片刻也离不开信息。那么什么是信息呢？信息在日常用语中，指的是消息、情报、指令、密码、数据、知识等等。信息是通过符号（如文字、图像等）、信号（如语言、有某种含义的手势动作、电磁波信号等）等具体形式表现出来的内容。清晨闹钟把我们从睡眠中唤醒；收音机播送今日的时事新闻；骑车上班要注意红绿灯信号；走进机关要出示证件；这些都是在传递信息。至于日常生活中的谈话、书信、报纸、书籍、杂志、电影、电话、电报、电视、电脑等，都是信息传输和处理的方式。如果从信息论的角度来看，人们认识自然界、改造自然界，都可以归结为获取信息、传递信息和信息反馈的过程。
关于信息的概念，各国历史上都没有作出过理论的回答，但是关于“信息”一词，在历史的典籍中曾不断出现过。据新《辞源》考证，一千多年前，我国唐代诗人李中在《暮春怀故人》这首诗中，就用了“梦断美人沉信息，目穿长路倚楼台”的诗句。这在我国可能是“信息”一词见诸文字最早的记载。宋朝王廷圭有诗云：“辰砂更在武陵西，每望长安信息稀”。明代《剪灯余话》中也有“荡于江湖信息稀，疲兵关塞肌肤裂”的诗句。当然，诗人们所指的这些“信息”不是现代意义上的信息，而是指消息、音信。清朝吴敬梓的《儒林外史》的第42回的题目中也出现了“家人苗僵报信息”的句子。至于信息的传递，在历史上也很早就出现了。
我国古代所设立的驿站就是一种传递信息的方式。军事上的“举烽火为号”。甚至在周朝的统治者中出现过周幽王烽火戏诸侯，不惜以国家命运来博取褒姒一笑而导致西周迅速灭亡的惨剧。古罗马地中海一带的城市则以悬灯的方式通报迦太基人进攻的消息。18世纪，法国出现了托架式信号机，人们把这种信号机架设在山顶上或高处，每隔一段架设一台，组成接力系统，把文字信息从一个信号机传到另一个信号机。
这是一种较远和较快地传递信息的工具。据说1815年拿破仑从厄尔巴岛上出逃的消息就是通过这种方法很快传到巴黎的。到了近现代仍沿用的一些信息传输方法，如战场上的信号弹、十字路口的红绿灯、潜水员用的信号绳、船只使用的旗语和各种各样的灯光信号等，这些都脱胎于古代的烽火等的表意方式。
总的来说，人类对信息的利用和开发上经历了五次大的革命，人类对信息的利用可以追溯到比石刻象形文字更早的年代。那时人们没有自己的语言和文字，只能以自身的感官接受和传递信息。传递信息、交流思想是靠手势、表情和简单的音节等方式进行的。在没有文字的情况下，人们以“结绳记事”、刻木等方式将某些事物记下来。“结绳记事”是存储信息的方式之一，就是指人们为了要记住一件事，就在绳子上打一个结。以后看到这个结，就会想起那件事。如果要记住两件事，他就打两个结。记三件事，他就打三个结。距离绳端越近的结，则表示事情越重要。这些方法虽然只能传递和存储某些简单的固定信息，但毕竟是人类对存储和传递信息的最早尝试。
语言的产生是人类历史上第一次信息革命。在原始人的生产活动中，由于共同生活、协同劳动需要向他人表达自己的感情、愿望和见解，人类“已经到了彼此间有些什么非要说不可的地步。”（参见《马克思恩格斯选集》第三卷511页）于是人类的语言产生了。语言的产生，使人类获得了交流思想、传递信息的有力工具。利用语言交流信息，就是把声音作为通信的手段（通信就是指信息的传输）。虽然许多生物也是用声音作为通信的手段，但是只有人类才在发音的基础上发展了语言的功能。
这一点和其他生物用声音传递信息，有着本质上的区别。在这个时期，语言可以说是人们交流思想感情的万能工具。从此人们可以用词汇来概括各种感受到的信息，经过抽象的思维活动，表达出更加复杂、准确的思想内容。这大大促进了人类感性经验的交流和记忆性的积累，从而使人类更有效地从事生产活动和社会交往。很多史前的农事资料、气象资料、医学资料及民间的一些美丽的传说，如“盘古开天辟地”、“女娲拣石补天”、“神农尝百草”、“燧人氏钻木取火”、“有巢氏凿木为巢”等都是靠语言彼此相告，口头留传下来的。当然，利用语言交流信息，参加者必须用同一种语言，而且彼此对情境的理解必须有高度的一致性。
如果一个不懂汉语而只会英语和一个不懂英语而只会汉语的人交谈，而又没有翻译的帮助，那是无论如何也不能理解彼此所表达的意思的。
但是，随着生产的发展和社会的进步，人们接触和掌握的信息越来越多，也越来越复杂。单凭语言传递交流信息的方式日显不足。利用语言人们只能面对面地传递信息，人们只能在同一个地点、同一个时间、面对面地传递信息。话一说完，信息的传递亦即宣告结束，从而使信息传递受到极大的限制。为了满足在生产和生活中的需要，最初人们直接使用图画作为符号记录存储信息，后来逐渐演变成象形文字。
我国的汉字就是在象形文字的基础上发展起来的，而其他许多国家的文字则走上了拼音化的道路。
文字的出现，使人类传递信息的技能向前跨进了一大步。文字在信息的传输上弥补了语言的不足，打破了人们用语言传递信息的同时性，使得信息能够世代传输下去。这一点在历史上留下来的那些大量的文字资料里可以得到验证。那些资料里都包含着丰富的信息，这些都是人类认识自己历史的宝贵财富。在这方面，我们中华民族尤其值得骄傲，因为我们的汉字历史文献规模之大，内容之丰富，是世界上其他任何民族所无法相比的。例如，我国古书《竹书纪年》中，就记载了距今已有三千八百多年前的两次地震。这不仅是我国最早的地震记载，也是世界最早的地震记载。历史上最早的新星记录，则出现在公元前14世纪我国的一片甲骨上。战国时代的甘德和石申所著的《甘石星经》，记载了120颗恒星的位置，这也是世界上最古老的星系表。这些前代的信息，都是现代科学研究的珍贵资料。文字的出现是人类的第二次信息革命。
第三次信息革命是造纸和印刷术的发明。在这之前，信息是用文字记录在甲骨、布匹、竹简或兽皮上的，这些原料不是太贵重，就是太稀少或太沉，这给日益扩大的通信需求带来了阻碍，信息传递上也有很大的困难。但是我国造纸术的发明，就很容易地解决了这些问题。此后，信息就可以书写在轻便的纸上，方便保存和传递。特别是活字印刷术的发明和使用，更促进了书籍、报刊、杂志的出版，使信息得以大量的生产和流通，也显著地扩大了信息的传递范围。造纸和印刷术这两样技术的结合，把信息的记录、储存、传递和使用范围扩大到了更广阔的空间和时间。从此，人类社会进入了以印刷品为知识和信息基本来源的新时代。
第四次信息革命是电讯通信的应用。随着社会的发展，人类对信息在生产和生活中的地位越来越重视，对信息的要求越来越迫切，了解信息的范围也越来越广泛。为了更多更迅速地掌握信息，人们在传递信息的手段和技术上作了长期的探索。人类社会进入19世纪以后，随着电的广泛应用，通信技术产生了新的飞跃，信息传递的历史进入了一个新的时期。1844年，美国一个名叫莫尔斯的人，发明了第一台实用的电报机。电报传输的速度要比以往任何通信方式都快，它可与光的速度相提并论。电报机的发明开创了人类高速传递信息的******。接着，在通信技术上又产生了一系列新的突破。1875年，苏格兰出生的发明家贝尔发明了第一部磁石电话机，这些都是通信手段的重大变革。
接着，广播、电视、传真等新技术相继出现，把人类传递信息的手段又提高到了一个新水平。电讯通信的开发和使用，进一步扩大了信息传递的范围和内容，除了文字外，还能传递声音和图像，使信息传播的时间在缩短，空间在延长；使人类社会对信息的传播和利用正在向全球化、多样化和网络化发展；也使社会的生产、科技和消费等各个领域相互沟通起来，产生了巨大的经济效益，推动了社会的进步。
第五次信息革命是电子计算机的应用。20世纪四五十年代以来由于现代科学技术的迅猛发展，社会生活的节奏不断加快，使人们越来越认识到信息是继物质和能量之后的又一种重要资源。社会进步的幅度，国家发展的水平，在一定意义上说取决于信息传播的速度和利用的程度。电子计算机技术的迅速发展，改善了人们处理信息的能力和对通信系统的管理。特别是20世纪80年代以来，电子计算机、卫星通信、光导纤维、大规模集成电路和集成光路等的综合利用，计算机技术和各种通信技术的结合，正在形成综合的信息网络系统。这使信息的加工和利用向自动化、网络化和社会化发展，有力地推动了人类社会向信息时代的新阶段迈进；也使人类对信息的收集，实时处理、传递与共享达到了前所未有的水平。
这五次信息革命都从根本上改变了人类搜集、加工、处理及利用信息的方式与方法。“信息论”这门新兴学科就是在这些实践的基础上并适应实践的需要而产生的科学技术理论。
13.2信息的含义及基本特性
人类对信息的不自觉的利用虽然历史悠久，但是“信息”一词成为一个科学的概念却是近百年内的事情。对于信息的含义，人们至今仍是众说纷纭，莫衷一是，各种信息定义都从不同的侧面反映了信息的某些特征，但尚无一种可以涵盖其全部内容的科学的定义为社会各界一致接受。
人们只要生活在这个世界上，就要每时每刻传播、接收和加工信息。信息普遍存在于自然界、人类社会和人的思维之中。广义来说，从微观粒子到天体星系，从无机界到有机界，从植物到动物，从机器到人，都能产生信息，也能接收信息。正因为信息无所不在，无时不有，所以它不可避免地成为众多学科的研究对象。不同领域的学者从不同的角度来研究信息，这是形成信息多定义的主要原因。下面我们介绍几种常见的信息定义的方法。
在日常生活中，人们所说的“信息”，是指音信、消息和情况，是人们在互相交流中要告诉对方的某种内容。这些解释基本上都是从字面上来理解的。例如，我们说“某某杳无音信”指的是关于这个人一点消息也没有，利用卫星转播球赛时是转播世界某地正在进行的比赛实况。
总之，这里的信息是指交流双方要告诉对方的音信、消息和情况。
将信息看作是消息，这自然有它一定的道理。但是，这种理解并不确切。实际上，人们常常说“这则消息包含很丰富的信息”，或者说“这则消息没有多少信息”，这就说明，消息和信息并不是一回事。信息是消息的内核，消息是信息的外壳。同样，信息也不等于信号。
因为同一种信息既可以用这种信号来表示，也可以用别的信号来表示。显然，信号是信息的载体，信息是信号所表示的内容。
图4信息创始人、美国科学家香农（C.E.Shannon）信息论创始人，美国科学家香农（C.E.Shannon）（见图4）从研究通信理论出发，认为信息是在通信的、任何可逆的重新编码或翻译中那些保持不变的东西。他还从概率的角度认为信息是用以消除不确定性的东西，即人们把关于事物的某种东西传给对方，使之消除知识上的不确定性。
控制论创始人美国科学家维纳（N.Wiener）提出，“信息这个名称的内容就是我们对外界进行调节并使我们的调节为外界所了解时而与外界交换来的东西，是系统的组织程度、有序程度”。他认为，信息是在我们适应外部世界，并且使这种适应为外部世界感觉到的过程中，同外部世界进行交换的内容的名称。维纳还在1948年发表的名著《控制论——动物和机器中的通信与控制问题》一书中指出“信息就是信息，不是物质，也不是能量”。
信息是系统的组织程度或有序程度的标记。该定义是通过与热力学中的概念“熵”进行类比推理而来的。物理信息本质上就是指负熵（负熵是指系统有序程度的增加）。
关于信息的定义，研究者们还在继续探讨和研究，科学的定义还未出现。但是，人们对于信息的一些新颖的特性却有着大致相同的看法：
（1）信息的普遍性。即信息的存在是普遍的，前面说过，信息无处不在、无时不有。世间的一切事物，无时无刻不在变化发展运动之中，这也就时时刻刻产生了新的运动状态。其实，这些运动状态及其变化的方式就是信息。信息存在的普遍性是信息的一个十分重要的性质，它与人类和人类社会的生存和发展密切相关。