神刀安全网

香农:技能树点得很歪的信息论之父——谨以此文纪念香农百年诞辰

编者注:今年四月是美国数学家和电气工程师克劳德·香农的百年诞辰纪念,他开创先河的研究成果奠定了现代数字通信的理论基础。为了缅怀这位伟人,我们编译原载于美国电气和电子工程师协会(IEEE)旗舰杂志《科技纵览》(Spectrum)1992 年四月号上的香农纪念传略。这篇传略由《科技纵览》原编辑 John Horgan 执笔撰写,Horgan 曾在香农位于马萨诸塞州温彻斯特的住所访问过这位科学家本人。这篇小传从多个视角展示了香农的独特人格魅力:除了众所周知的信息理论的奠基者,香农还是一个发明家、精巧的工匠、难题解决专家和恶作剧达人。此次发文不仅收录了于 1992 年随原文刊登过的一张由波士顿区摄影师 Stanley Rowin 所拍摄的香农肖像,还特别提供了《科技纵览》上没有刊登过的一些照片,这些照片也同样是由 Rowin 拍摄。香农在经历了与阿尔茨海默氏病的长期斗争后,于 2001 年逝世,享年 84 岁。他被世人赞誉为有史以来最伟大的电气工程学风云人物之一。

香农小传:不是一般的开了挂的人生

克劳德·香农究竟是什么样子的呢?当参观者步入这座名为熵宅(Entropy House)的宽敞大房子,走进不同的房间可能会得出不同的结论。

在这座位于波士顿郊外的灰泥墙宅邸中,香农和他的夫人贝蒂已经居住了 30 多年。其中一个房间,整齐有序地排列着各种奖牌徽章,庄严彰显着香农所取得的无数荣誉:包括于 1966 年授予他的美国国家科学奖章、京都奖(有日本诺贝尔奖之称)和美国电气和电子工程师协会荣誉奖章等统统在列。

这个房间里的香农就是神一样的存在。他的工作成果被 AT&T 贝尔实验室研究执行总监 Robert W. Lucky 推崇为技术思想史上最伟大的贡献。IBM 院士 Rolf W. Landauer 曾经评价香农开拓性的洞察力可以和爱因斯坦相得益彰。早在 1948 年,当香农还是贝尔实验室的一名年轻工程师时,就对信息理论做出了明确定义。他在贝尔系统技术期刊(Bell System Technical Journal)上发表了一篇才华横溢的论文,建立了电子数据有效打包和传输的智识框架。这篇名为《通信的数学理论》的论文,在通信时代走到今天,依然地位超然屹立不倒。它对数字通信的奠基作用等同于《自由大宪章》对于英国乃至世界宪政的深远意义。

香农此时已经 75 岁,但这位拥有令人惊叹的如雪白发的长者脸上却还挂着如精灵般狡黠的笑容。而当香农向访客展示他的奖项时,却稍微有些局促——片刻的不安之后,他立即带我们冲进了隔壁的房间。这个房间里也同样陈列着各式各样的镶框证书,其中包括一张证书赫然证明香农是一位「杂耍学博士」。此外还有成排的桌子,上面堆着各式各样的小玩意小器械。

香农:技能树点得很歪的信息论之父——谨以此文纪念香农百年诞辰

有些宝贝——比如会说话的下棋机器,有一百个刀片的折叠刀,装了发动机的弹簧高跷杖,还有无数的乐器——这些都是香农多年来的收藏品。其他一些则是他自己制作的:上面有三个玩杂耍的小丑的迷你舞台、自动穿越迷宫的机械老鼠、正在耍杂技的喜剧演员 W.C. Fields 的机械模型,还有一个用罗马数字进行计算的叫做 Throbac 的计算机(全称是简约的罗马数字反向计算机)。

香农尝试着向来访者展示他的机器版 W.C. Fields 的拿手绝活,但是没有成功。「我喜欢制作机械,不过维护起来挺麻烦」,他有点懊丧地说着。

这一屋子的玩意儿揭开了另外一个香农——这个淘气版的香农着独轮车手上同时抛着四个球穿过贝尔实验室的大厅;他发明了用火箭驱动的飞碟,还设计制作了「读心」机。

这是绝对典型的香农性格——为探求下棋机器运作的奥妙,他居然能花很多工作时的功夫来下国际象棋。他的一位前同事描述过当时的状况:「这让我们的一位主管或多或少有点担心。」

对此香农并未表示出什么歉意,反倒有些兴高采烈:「我常常随着自己的兴趣做事,不太看重它们最后产生的价值,更不在乎这事儿对于世界的价值。我花了很多时间在纯粹没什么用的东西上。」

《金甲虫》的影响力

香农从小就表现出了对于抽象数学和小型机械的兴趣。他出生在 1916 年,在离出生地不远的密歇根州的 Gaylord 长大。他的父亲是位遗嘱认证法官,香农喜欢鼓捣父亲送给他的收音机元器件和拼装玩具组合。此外,香农还热衷于解答姐姐凯瑟琳交给他的数学题(后者长大后成为一名数学教授)。

香农解释道:「当我还是个孩子的时候,就对密码之类的东西特别感兴趣。」他最喜欢的故事之一就是埃德加·爱伦·坡的推理小说《金甲虫》。这个故事有个非常令人愉悦的 happy ending:通过破译一幅神秘地图,主人公找到了埋藏的宝藏。

香农本科就读于密歇根大学安娜堡校区,主修数学和电气工程学。他在这两个领域打下的坚实基础促成了他日后研究生期间的第一个重大成功:他写下了那篇将数学与电工完美结合的论文。这篇硕士论文在位于美国马萨诸塞州剑桥市的麻省理工学院完成,经由香农和贝尔实验室复合电话交换电路领域的著名专家 Amos Joel 的深入探讨。论文把 19 世纪中叶英国数学家乔治·布尔的布尔代数和电子电路中开关和继电器的工作原理独创性地对应结合。

那时,香农年仅 22 岁,而他撰写的论文已经意义如此重大:经由他的研究电路的设计就可以通过数学方法进行测试,而不再需要反反复复冗长乏味的实物线路检验和试错。现在布尔代数已经是工程师们设计计算机硬件和软件,电话网络以及其他复杂系统的常规工具。

香农的这篇论文被认为可能是 20 世纪最重要的一篇硕士论文。但他本人对此竭力保持低调:「这仅仅是因为没有其他人同时对这两个领域都熟悉而已。」

沉思了一会儿,他又将这个词反复细品:「我热爱这个词……『布尔』」。

1940 年,在麻省理工学院获得博士学位后(他的博士论文则是关于基因传递的数学研究),香农在新泽西州的普利斯顿高级研究所工作了一年时间。说到这时,香农猛然压低了声音。他告诉我们有一次在做报告时,神圣的爱因斯坦大人突然从后面的一个门走了进来。爱因斯坦看了看香农,和另外一个科学家悄声说了些什么,然后就离开了。香农无法抑制自己的激动心情,在报告结束后,他立即冲过去问这个科学家爱因斯坦本尊说了什么。后者一脸严肃庄重,慢条斯理地盯着香农回答说,那位伟大的物理学家,「想知道茶在哪里」。

香农说着,爆发出一阵大笑。几十年过去,这位伟大的科学家仍然拥有天真的笑颜。

你会拼写「Eureka」吗?

(编译者注:希腊语「我找到了!」)

1941 年,香农来到贝尔工作室,并在那里工作了 15 年时间。二战期间,他作为小组成员之一,参与研发数字加密系统,其中还包括了丘吉尔和罗斯福进行越洋会议时的加密工作。

香农认为,正是这项工作启发了他对通信理论的深入思考。他意识到,既然数字编码可以保护信息免于刺探,同样它也可以防护信息使其不受到静电或者其他形式干扰的破坏。编码技术更可以用于对信息进行更有效的打包,这样在一个给定的信道上就可以运载更多的信息量。

香农说道:「我最初的出发点——关于信息理论——是考虑怎样在一个有噪声的信道上最高效率地提高信息传输的质量,这其实是电报或者电话系统中的一个具体的问题。但是当你开始深入思考下去时,脑海中就开始浮现出所有这些更广泛的通用的东西。」

当被问及是否曾经有过类似于阿基米德的灵光闪现的一刻时(编译者注:阿基米德在洗澡时忽然领悟到了浮力原理,高兴得忘了穿衣服,冲到大街上大喊「Eureka!」),香农幽默地岔开了这个话题:「如果能喊得出来也许会吧,但我不知道怎么拼这个单词。」

克劳德·艾尔伍德·香农资料

生日:1916 年 4 月 30 日

出生地:密歇根州佩托斯基市

身高:178 厘米

体重:68 公斤

童年时的偶像:托马斯·爱迪生

第一份工作:西联汇款的信使

家庭成员:妻子 Mary Elizabeth (Betty) Moore;三个孩子(分别为 Robert J., 电脑工程师;Andrew M., 音乐家;Margarita C., 地质学家)

学历:1936 年学士,密歇根大学;1940 年硕士、博士,美国麻省理工学院

爱好:小发明、杂耍、独轮车

最中意的发明:W.C. Fields 杂耍机器人

最喜欢的作家: T. S. Eliot

最爱的音乐:迪克西兰爵士乐

最爱食物:沾了巧克力酱的香草冰淇淋

社会地位:会员资格和荣誉:IEEE(美国电气和电子工程师协会) 院士;美国国家科学院院士;美国艺术和科学学院院士;1966 年 IEEE 荣誉奖章;1966 年美国国家科学奖章;1972 年哈维奖;1985 年京都奖

最得意的奖项:1940 年因硕士论文荣获美国电气工程师学会奖

在 1948 年的论文中,香农对信息所做的定义是他的通信理论关键性的部分(论文回避了有关信息含义的问题,香农强调说,他的理论「不可能也不打算涉及」于此)。香农用这篇论文证明,信息可以被量化和计量,一条给定的消息的信息量是由一个概率决定的——即在所有可以被发送的消息中,这个给定的消息被选择出现的概率。

香农提出了「信息熵」的概念,把它定义为信息体系的总体不确定性。「熵」这个概念最初是被一位物理学家引入热力学中用来表示体系的随机性,或者说混乱程度。(这个得名来源很有趣。伟大的数学家和计算机理论家 John von Neumann 说服香农使用了「熵」这个术语。 Neumann 的理由是:反正没人知道「熵」究竟是个什么,基于这个事实,这个名字将会为香农就信息论进行辩论时增加优势。)

香农确定了信息的基本单位,他使用了贝尔实验室的 John Tukey 提出的术语,把它称为一个二进制单位(后来称为一个比特)。一个比特所代表的信息量就是两种状态中的其中一种。如此一来,大量的信息就可以被编码为相对简单的二进制数,这就类似于在那个古老经典的游戏「二十个问」里一样,通过巧妙的提问你可以快速锁定正确答案。

基于这样的数学基础,香农随后证明了,在任何一个给定的通信信道上都存在一个能够可靠的传输信息的容量最大值。事实是,尽管可以通过高超的编码技术无限接近这个最大值,但是却无法达到这个值。这个最大值,后来就被命名为香农极限。

香农在 1948 年的论文中成功计算出了香农极限,但是没有解决无限逼近这个极限的方法问题。香农和其他科学家就这一问题继续努力。首要一步就是排除信息的冗余。

如同罗密欧只需要用言简意赅的几个字符「i lv u」就可以传递出他全部的浓情蜜意,一组好的编码,首先该做到的,是能把信息压缩精简到最有效的形式。

所谓的纠错编码可以解决这个问题。纠错码通过加入正好足够的冗余度,保证了被精简过的信息不会被信道上的噪声干扰得模糊不清。举个例子:用纠错码处理一串数字时可以引入一个多项式方程,条件是这串数字正好全部落在这个方程的曲线上。这样接收端的解码器就可以纠错,重新辨识出任何在传输过程中发生变化而偏离了曲线的数字。

AT&T 位于新泽西州 Murray Hill 贝尔实验室的通信分析研究部主任 Aaron D. Wyner 曾经说过这样的话:

「当人们重新回顾时,有些科学发现似乎是那个时代必然会发生的事件,但香农的发现显然不属于此类。」

事实上,香农的理念几乎可以说是过于前瞻的,所以它没有带来即刻性的影响。Edgar Gilbert 在 1948 年来到贝尔实验室,部分时间就是和香农在一起工作。他曾如此提起那段时光:「实验室很多实用派人物认为香农的理论很有趣但并不怎么能派用场。」

Gilbert 解释了原因:真空电子管电路显然不能胜任处理接近香农极限所需要的复杂编码。伊利诺伊大学香槟分校的著名数学家 J. L. Doob 甚至对香农的论文作出了负面的评价。历史学家 William Aspray 也指出当时的概念架构体系无论如何还没有发展到信息理论可以得到实际应用的程度。

直到 20 世纪 70 年代初,随着高速集成电路的到来,工程师们才开始全面开发利用信息论。如今,香农的远见已经奠定形成了当今数字信息从存储,处理到传输的几乎所有系统——无论是从光盘到超级计算机,还是从传真机到像「旅行者号」一样的外层空间探测器。所有的事,都用上了香农的远见卓识。

「香农的影响力无论怎样形容都不会过分」,IEEE(美国电气和电子工程师协会)信息理论协会的前主席,南加州大学洛杉矶分校的电气工程师 Solomon W. Golomb 这样评价。用他的话进一步解释,就是:

「这就像评价字母表的发明者对于文学的贡献。」

香农:技能树点得很歪的信息论之父——谨以此文纪念香农百年诞辰

信息理论与宗教

值得一提的是,信息论在初期阶段捕获了大批热切的目光,远远超出它理应有的预期。语言学,心理学,经济学,生物学甚至是音乐艺术界的各类人士纷纷表现出极大的兴趣,试图将信息理论融入他们各自的学科领域。

香农的前同事,加利福尼亚州斯坦福大学荣誉教授的 John R. Pierce 把这种「大范围滥用」信息论的现象和其他两个遭受过同样命运的重大科学理论做过类比——海森堡的不确定性原理和爱因斯坦的相对论。

物理学家开始不厌其烦地证明信息理论中的熵在数学意义上等同于热动力学中的熵。贝尔实验室的资深成员,香农以前的同事,在信息编码领域也同样有重要影响力的 David Slepian 就认为,这些学者的努力虽然最后证明了最初的想法确实为真,但是并没有什么重要的意义。Slepian 解释说:「很多工程师也凑热闹跳上[信息论]这列彩车追赶潮流,但其实很多人并没有真正理解信息理论。」

香农的理论促成了 1956 年 IEEE 信息理论协会的成立,很快,专注于经济,生物和其他应用领域的各种下属小组也纷纷建立。在 20 世纪 70 年代早期,《IEEE 信息理论学报》(IEEE Transactions on Information Theory)甚至专门发表了一篇名为《信息理论,光合作用和宗教》的社论,用来哀叹香农理论被过度消费的状况。

尽管香农本人也对于自己理论的某些用途表示怀疑,但在自己的学术研究中,他完全采取了开放自由的态度。20 世纪 50 年代,他和身为贝尔实验室计算机科学家的妻子贝蒂,还有另一对夫妇——同样是贝尔科学家的 Bernard Oliver(也是 IEEE 的前主席)及其夫人一起,就语言的冗余问题进行了一系列的客厅中的实验。实验的方法是其中的一个人说出一个单词的开头几个字母或者一个句子中开头几个单词,然后剩下的三个人试着猜出后面将会出现的内容。香农还指导了贝尔实验室的另外一个实验:在这个实验中,工作人员被要求清点计数,数出在一个书面文本中不同的字母出现的次数和出现的顺序。

不仅如此,香农还建议把信息理论应用到生物系统中。至少,这听起来好像没那么牵强。他说道:「神经系统是个复杂的通讯体系,它处理信息的方式及其繁杂。」当被问及他是否认为机器可以思考时,他的回答是:「当然。我就是一台机器,你也是一台机器,我们都在思考,不是吗?」

的确,香农在信息论方面的研究和他对于机械的好奇心引领了他对于智能机器的超乎同辈同时代的迷恋。还记得 AlphaGo 吗,香农是最早提出计算机是能够和人类进行国际象棋对弈的科学家之一。1950 年他曾为《科学美国人》撰写过一篇文章,在文中他阐述了实现人机对弈的方法。

在国际象棋对弈之外,香农还制作了一台用来玩赌分币游戏的「读心」机器,这个机器可以猜出参加游戏的人将会选硬币的正面还是反面。最初的样机是贝尔实验室的同事 David W. Hagelbarger 制作的,这台机器可以通过分析记录对手过往的选择情况,从而寻找出规律用来预测下一次的选择。人们的选择几乎总是没有例外地落入这些规律模式中,所以机器的「猜心」准确率高达 50% 以上。香农后来做了一台自己版本的机器向 Hagelbarger 发起挑战,双方的对决成了现在流传的一段传奇佳话。

他还造了一台在「Hex」(六角棋)游戏中能打败任何人的机器。「Hex」是一种棋盘游戏,几十年前在数学爱好者中很流行。在事实情况中,香农预先改造了棋盘,使得人类棋手这一边比机器对手一边的六角形格子要多,机器如果要取胜就必须在棋盘中间的六角形格子里落子,然后对应着对手的打法走下去。

这个机器本来是可以马上落下棋子的,但是为了表现出它似乎是在思索斟酌下一步,香农在电路中加了个延时开关。 Andrew Gleason ——一位绝顶聪明的哈佛大学数学家,对机器发起了挑战,宣称任何机器都不能打败他。最后, Gleason 遭到下棋机器的狠狠打击。当 Gleason 要求再来一局时,香农才揭开了藏在机器背后的花招。

1950 年,香农制作了一只机械老鼠。它似乎可以在没有帮助的情况下,自动地在迷宫中找到出路,然后奔向一大块黄铜奶酪。香农给这只鼠起名叫做「忒休斯」,名字出自那个在古希腊神话中杀死人身牛头怪后,从可怕的迷宫中走出来的英雄。其实,这只机械鼠的「大脑」就是藏在迷宫地板下面的一大堆电子管电路,这些电路通过控制一个磁铁的运动来完成操控老鼠的任务。

1977 年,IEEE《科技纵览》的编辑在读者中发起一场挑战赛:竞赛项目是制作一只「电子鼠」——这只老鼠要求拥有独立的「大脑」,可以在不断尝试和失败中学习怎样走出迷宫,然后在下一次进入迷宫时能避免错误顺利走出来。一个香农以前的同事于是把电话打到了《科技纵览》,坚持强调说,早在 20 年前,香农就已经造出你们杂志说的这种电子鼠了。

香农:技能树点得很歪的信息论之父——谨以此文纪念香农百年诞辰

尽管编辑知道 20 世纪 50 年代的技术水平不可能达到这个要求,但他还是致电香农想问问是不是有这么回事。香农大笑,回答说当初他带着他的那只「聪明」的老鼠骗遍了全国。他还咯咯笑着透露了秘诀:桌子上垂下来用来把电子管藏起来的桌布和丝杠机械是整个恶作剧最重要的一关。

当 1979 年,《科技纵览》隆重举行「神奇迷宫电脑鼠竞赛」的颁奖仪式时,香农把他的「忒休斯」从阁楼上请下来,放在自己的旅行车里,然后拉到现场,放在参赛的电脑鼠们的行列旁边进行了展示。

在被问及对于人工智能前景的看法时,香农表示目前的电脑尽管拥有了非常强大的功能,但就原始信息处理方面,迄今为止还远没有达到人类的水平。在机器中复制人类的想象,仍然是非常艰巨的任务。但他也同时表示:「几十年后机器将超越人类,在我看来的确是有可能的。」

统一的杂耍场理论

1956 年,香农离开了贝尔实验室的终身职位(他在这个位置上工作了超过十年时间),转而做了麻省理工学院的一名通信科学教授。最近几年,他最大的兴趣投入到对杂耍的研究中。他制作了好几个玩杂耍的机器,并且构思出了关于玩杂耍的统一的场理论:设 B 代表球的个数,H 代表手的只数,D 代表每个球在一只手上的时间,F 代表每个球在空中的时间,E 代表每一只手空闲出来的时间,那么就有如下的关系式:

B/H = (D + F)/(D + E)。

(不幸的是,这个理论没能帮助香农一次抛耍的球超过 4 个。香农的解释是他的手太小了。)

香农还建立了各种数学模型用来预测股价表现,并且据他所说,已经在他个人的投资组合中成功地完成了测试。

香农的技能点甚至点到了诗歌。香农有许多诗作,其中一首是专门向鲁比克方块(20 世纪 70 年代后期非常流行的智力玩具,现在更多被叫作魔方)致敬的。这首诗名为「魔方的礼仪」,采用了「Ta-Ra-Ra-Boom-De-Aye」的调子。

(编译者注:「Ta-Ra-Ra-Boom-De-Aye」是一首最早出现在 19 世纪末,在杂耍表演和音乐厅中使用的音乐,后常被借用。为了让感兴趣的读者欣赏到原汁原味的香农大作,特把英文原作中的一节摘录于此,以馈读者。)

Respect your cube and keep it clean./

Lube your cube with Vaseline./

Beware the dreaded cubist』s thumb,/

The callused hand and fingers numb./

No borrower nor lender be./

Rude folk might switch two tabs on thee,/

The most unkindest switch of all,/

Into insolubility. [Chorus] In-sol-u-bility./

The strangest place to be./

However you persist/

Solutions don’t exist./

香农有一种能够避开「最不可为之地」的天赋才能。麻省理工学院的学生 Elwyn Berlekamp 与香农合写过几篇论文,他将香农的行为描述为:「有些事可以做成但是没什么价值,有些事意义重大但是做不成。香农有高超的直觉和能力驾驭可行并且意义深远的难题。」

但是,20 世纪 50 年代晚期以后,香农并没有在信息论领域发表过多少研究建树。一些从前贝尔的同事们认为香农在去了麻省理工学院的时候已经精疲力竭,并且对自己开创的这个领域感到厌倦。

对此香农表示否认。他说整个 20 世纪 60 年代,他都一直在就信息论的不同问题继续研究,也发表过几篇论文。尽管他也不认为那个时候他的大部分学术研究足够值得发表。他幽默地调侃自己:「大部分伟大的数学家都是在年轻的时候做出了他们最杰出的工作。」

那一段时间,香农也不再参加他所打造的这个研究领域的学术会议。Berlekamp 给出了一个比较合理的解释。据他回忆,1973 年,他说服香农答应在国际信息理论研讨会上作首届年度讲座,但是香农几乎在最后时刻要打退堂鼓。Berlekamp 讲述说:「我从来没看到一个家伙这么怯场。在这个圈子里,他被看成是上帝一样的人物,我想他担心的是自己不能做到众望所归。」

香农最后还是做出了非常具有启发性的演讲,就自然的反馈和自我指涉的普遍性提出了预见性的想法。

然而,香农还是再次远离了人们的视线。但是最近几年,在妻子的鼓励下,他开始非正式的参与一些小型的会议,并且走访一些基于他的理论进行研究的实验室。

1985 年,他突然在英格兰布莱顿举行的国际信息理论研讨会上露面。大会本来圆满平静地进行着,这时有个消息激起了涟漪。这个消息传遍了各个大厅和会议室,原来那个雪白头发,害羞地笑着,在各个会议上随意地进进出出的老人不是别人,就是克劳德·香农本人。

而此时,有些与会者甚至不知道香农还在世。

在晚宴上,会议的主办方设法说服香农向大家致辞。他说了几分钟,看着乌压压的人群,然后,因为害怕听众会感到无聊,居然从口袋里掏出三个球开始杂耍……观众欢呼了起来,排着队要求签名。研讨会的主席,加州理工学院电气工程学教授 Robert J. McEliece 参与了那次会议,他回忆说:「那情形……简直就像是牛顿他老人家出现在了一次物理学会议上。」

文章来源: IEEE ,由 TECH2IPO / 创见 机智的若水 编译,首发于创见科技(http://tech2ipo.com/),转载请注明出处。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 香农:技能树点得很歪的信息论之父——谨以此文纪念香农百年诞辰

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址