劲舞狂歌五十年
温江涛约 16 分钟文丨温江涛
某瑞士名表品牌曾使用过一则广告语“Very famous, to a very small group of people”，显示品牌在“小圈层”中卓尔不群的定位。今天这个万物都视觉化的世界，也有两个发表在半个世纪前、只为小圈子所知的研究成果。
Summer of 69
《Summer of 69》是歌手Bryan Adams的一首名曲，讲述了作者那在满溢着夏日干草味道的热风里被肆意消耗的荷尔蒙和音乐中的青春。
歌手所追忆的60年代末期的美国，正处于与苏联的冷战高峰。1968年10月11日，阿波罗七号完成第一次载人飞行。同年，唐纳德•戴维斯(Donald Davies)提出了现代互联网建立基础的“包交换(packet switch)”概念；拉里•罗伯茨(Larry Roberts)和巴里•韦斯勒(Barry Wessler)制定了世界上第一个广域包交换网络ARPANET(The Advanced Research Projects Agency Network)接口信息处理器(Interface Message Processor，简称 IMP，即网络路由器的前身)运行规范。
1969年7月20日阿波罗十一号完成人类首次登月之后的3个多月，即1969年10月29日晚，作为互联网前身的ARPANET首次实现端到端链接，利用包交换方式实现了ARPANET上两个IMP即洛杉矶加州大学(UCLA)和斯坦福研究所(Stanford Research Institute, SRI)之间的通信。此次通信的记录至今仍保留在洛杉矶加州大学。
虽然互联网的诞生没有电视直播和阿姆斯特朗“一个人的一小步，全人类的一大步”这样的豪言壮语，但是它对人类社会生活的影响可能是更为深刻的，而且这种影响甚至在重塑或改变人们传统行为模式、价值观念上起到了潜移默化的作用。
知天命的TCP
ARPANET从最早连接美国西岸的四个IMP的非商用网络，逐步演变成了今天无所不在的互联网和互联网产业：从Internet到Web，再到社交网络 (Web 2.0)并快速进入智能社交网络 (AIoT、Web3)时代。
互联网作为一种分布式网络，由用户自主向网络发送数据，接入网络的设备数目和设备发送和接收数据的情况千变万化。我们可以把互联网想象成高速公路，网络上各种用户传输的数据想象成公路上行驶的汽车。而每一台设备控制着其向网络发送数据的速度，就好像高速入口的红绿灯，通过红绿灯自身对高速局部行驶速度的观察，猜测几条街或者几十公里内的高速运行情况，控制车辆上路的频率，防止路网拥堵。
互联网的高速公路的入口红绿灯控制算法就是TCP传输协议（Transmission Control Protocol)。假如协议的发明者是今天万物皆可包装的时代先锋，也许会将他们的研究成果命名成“WOW”、“COOL”之类的网红名称。但是一方面，两位发明人Vincent Cerf和Robert Kahn不但只用了TCP这样朴实的名字，甚至这么重要的成果也只发表在了CCF-B类期刊《IEEE Transaction on Communications》上。该文没有一个公式和一段伪代码，文字简明扼要，是优秀科研论文的典范。
从1973年到1974年Cerf和Kahn发明TCP时代只有四十几个使用NCP协议节点的ARPANET，发展到21世纪的今天接入了170亿个设备运行TCP的巨大网络，Cerf和Kahn的发明承受了时代的考验。虽然随着时代和技术的发展，后人们对TCP做了不同的补充，其中包括作者本人与团队学生发明的TCP-FIT算法，但是其核心设计仍然屹立不倒，如今已入天命之年。
1974年5月 TCP协议发表于IEEE Trans on Communications
历史上获得大奖的学者，大多数因一项突破性贡献获奖，还有的因众多非常好的贡献获奖，也有一些不知道为什么获奖。只有极少数如爱因斯坦，是因众多突破性贡献中一项（甚至是相对最不起眼的一项）获奖。
TCP协议的两位发明者Vincent Cerf和Robert Kahn2004年获得图灵奖，而这个大奖可能竟也是他们两人所获无数荣誉无数中最“不起眼”的那个。Kahn于普林斯顿大学获得博士学位，因机缘巧合在其博士论文期间做了两个不同研究方向，都取得了很好的成果，被评价为同时完成了两个博士论文。其中一项工作的导师，是华人信号处理领域的泰斗和先驱，同样获奖无数的刘必治(Bede Liu)教授。
堪萨斯的印度教授
前面提到，载人登月和互联网诞生几乎同时。载人航天成功推动了多媒体通信的发展。从图像拍摄、传输，到电视直播都需要能在极端环境中完成。今天广为使用的APS CMOS图像传感器就是为满足航天产业需求，于90年代在美国太空署喷气推进实验室(JPL)里发明的。多媒体通信早已是互联网核心应用，甚至成为移动互联网和智能手机的第一个杀手级应用（Instagram）。多媒体通信的一个核心基础，是由一位至今仍籍籍无名的教授-Nasir Ahmed完成的。
Nasir Ahmed生于印度班加罗尔，在一所QS很难找到排名的印度大学(University Visvesvaraya College of Engineering, UVCE)取得学士学位后赴美留学，获得美国新墨西哥大学硕士和博士学位。在工业界短暂工作后，Nasir于1968年加入美国堪萨斯州立大学任教。
Ahmed教授的研究方向是信号处理技术。70年代初期，芯片技术的快速发展带动了数字信号处理发展。从最早的音频和语音处理，逐步过渡到处理图像，直到后来更复杂的视频。数字图像处理的一个核心问题是“信号表示”，也就是怎么把数据量巨大的图片用更简洁的方法表示出来，特别是区分图片中重要的信息，以及把图像信息和人眼很难分辨的细节或者噪声区分开来。
设计信号的表示方法，就好像设计乐高玩具的零件，终极目标是设计出一套零件，一方面能够搭建出尽可能多的不同玩具；另一方面，搭建不同玩具所需要的零件越少越好。假如我们把乐高零件都设计成粉末状，当然是可以搭出无数种形状的玩具，但是用粉末搭建的过程不仅旷日持久，而且毫无乐趣可言。
假如我们只是希望搭建玩具所使用的零件最少，那么零件的设计只要满足玩具组装的需求就可以达到最优化的效果，平时消费者买到的乐高玩具套装就满足这个条件。从数字信号处理理论的角度讲，假如我们用能量作为重建信号的误差度量，那么表示信号的最优方法称为Karhunen-Loeve变换，简称KL变换。和乐高套装一样，KL变换是随着要表示的信号而变化的，因此没有办法设计统一的快速算法。正好像我们需要搭建一个玩具汽车时候设计了一个一摸一样的玩具汽车做零件。这样虽然搭汽车方便，可是这个零件在我们搭一个娃娃的时候就一点用处也没有了。
有没有办法设计一套乐高零件，使用最少的零件满足能搭建任何想要的一切结构？在数字信号处理领域，1972年Ahmed教授发现了被称为“离散余弦变换”的方法即我们今天所知的DCT（Discrete Cosine Transform）。
1972年至1973年间，Ahmed教授和他的学生T.Natarajan、同事K.R.Rao一起设计了快速算法，并投稿于CCF-A类期刊《IEEE Transactions on Computers》。论文的题目简明扼要“Discrete Cosine Transform”，虽然对数字图像压缩而言, “DCT is all you need, really, seriously, positively”。
在Nasir Ahmed之后，华人学者陈文雄(Wen-Hsiung Chen)与合作者C.H. Smith, S.C. Fralick于1977年在CCF-B类期刊《IEEE Transactions on Communications》上发表了一个被广泛应用的快速DCT方法。随着快速DCT算法的芯片化，数字图像的各种应用也在各种计算和智能设备上普及开来。
Ahmed的DCT算法是一个理论上的无限精度浮点算法，实际应用中的任何设备当然只能提供有限的精度。前文提到的刘必治教授早在1970年就同他的学生Kaneko一起针对这种精度误差问题做了研究。后人如H.Malvar又提出了很多不需要浮点运算的DCT和改进的DCT算法，这些迭代更新的方法被广泛应用于互联网媒体中。除了数字图像和视频，网络音频所采用的MP3、AAC、Dolby AC-3等格式也采用了一种修改过的MDCT 算法，一切改变和优化的结果都促进了内容传输的速度和质量快速提升，让读者成为最大的受益者，也让流媒体内容更加丰富更加“高清且细碎”。
标准的狂奔
多媒体的数字应用，除了要对数字化的媒体内容进行DCT变换，还需要对其进行量化和熵编码。早期的熵编码普遍采用David Huffman发明的Huffman编码算法。当时，Huffman只是MIT的一名学生，选修了信息论创始人C.Shannon的课程。Shannon在课上向他的学生提出了一项挑战“谁能发明理论最优的熵编码算法，就可以免于期末考试”。
Huffman整个学期都试图解决这个问题，但直到期末考试前一晚仍然毫无进展。慌忙中，他只得拿起书本准备考试。第二天早上，当Huffman准备奔赴考场的时候，忽然发现前一晚被他放弃的想法其实已经解决了Shannon提出的问题。最终，Huffman确实没有参加考试，而那一晚的“错试”正是Huffman编码的诞生之夜。至今，几乎所有相关学科的本科生都要学习huffman编码，这也成为他本人最受关注的终身成就。有趣的是，几乎所有的学生在学习中或在项目中实现的Huffman编码都不是这个编码的最优算法。而真正的优化算法，是由A. Moffat在一篇不为关注的论文中提出的。
通过对内容的DCT变换和熵编码可以实现对内容的大幅度压缩，更便于存储和网络传输。从80年代开始，相关的商业产品不断涌现，如前文提到的陈文雄博士就是C-Cube公司的创始人之一。广大80后记忆中的VCD也是C-Cube落下的苹果。
两大国际标准组织ISO（国际标准化组织）和ITU（国际电信联盟）分别开始制定相关标准。其中ISO更多关注存储，ITU更加侧重通信，今天这二者殊途同归。标准参与者也从最早的欧美公司（IBM, Philips）、日本公司(SONY,Toshiba)，韩国公司(Samsung)，发展到今天包括中国的流媒体内容公司（如腾讯、字节跳动）和中国高校（如北京大学，浙江大学等），参与者的多元化也反映出整个产业和应用市场重心的迁移。
今天应用最广泛的图像压缩标准是JPEG标准，其标准制定组的负责人G.K. Wallace 90年代从麻省搬至加州，并创办了自己的创业公司。2000年互联网泡沫破裂后，该公司以很低的价格被苹果公司收购。在苹果公司，Wallace负责ProRes的开发工作，ProRes今天已经成为专业领域应用最广的视频格式。从JPEG到ProRes，几乎所有的数字内容生产和消费系统都同Wallace的工作有关。随着苹果公司股票近二十年内的千倍增长，的，Wallace早已实现了财务自由。
早期的视频应用只能支持很低的分辨率，用通俗但是不科学的说法视频“像素很低“，视频编码标准也是针对很低的分辨率采用Huffman算法设计，不能支持更高的分辨率，编码效率也得不到保证。其实，早在上世纪60年代，著名的信息论学者R. Gallager、D.van Voorhis和S.Golomb等人就提出了更好的通用方法。
1979年，在美国太空署喷气推进实验室工作的R.Rice提出了一些适应太空任务的低复杂度、高效率熵编码方法，但是当时并没有获得广泛重视。直到90年末，笔者和合作者重新发现了Golomb-Rice和exp-Golomb编码，从理论上证明了其对于多媒体编码的优异性能，以及可以支持任意高清晰度的内容，并推动这套编码被国际标准采用，成为最近四分之一世纪多媒体编码的基础基础。2019年，JPEG标准获得艾美奖，Wallace和笔者都参加了在洛杉矶的颁奖典礼。
汤姆叔叔的小店和黑胶的智商税
多媒体的广泛应用离不开音频。由于音频所需要的存储和网络带宽与视频相比都较小，因此早在90年代就开始以MP3的格式流行，今天已发展到AAC等多种格式并存。前文提到音频格式如MP3、AAC也采用了DCT算法。
MP3是由德国数学家和工程师K. Brandenburg等人发明，正式名称为MPEG-1 Audio Layer III。Brandenburg毕业于德国Erlangen-Nuremberg大学，该大学对数字媒体技术的发展起到了很关键的作用。在标准的制定中，需要大量的音乐素材作为测试素材，其中最重要的一首就是美国民歌歌手Suzanne Vega的《Tom’s Diner》。研究人员发现，尽管他们设计算法对大部分音乐作品处理效果良好，但压缩《Tom’s Diner》时效果却很差，为此不得不反复改进调制，以至于研究人员听到此曲就生理性不适的程度。
《Tom’s Diner》写于80年代初，当时的Suzanne Vega还是纽约Barnard College的学生。现实中的Tom’s Diner是一个名为Tom’s Restaurant的餐厅，也是Vega学生时代的起居室。它由Tom Glikas于上世纪40年代创立，纽约2880 百老汇大街（西112街街角），哥大Armstrong Hall 底层，因此也是很多哥大师生常去的地方。著名的信号处理学者，瑞士洛桑联邦理工校长Martin Vetterli曾于90年代任教哥大。他曾提到在其代表作Wavelets and Subband Coding (Subband coding 是MP3的基础技术)付梓当日，Vetterli在清晨结束工作后，便是在这家现实中的“Tom’s Diner”以一顿早餐为自己划时代的工作添上句号。
Tom大叔的餐厅还被用于美国90年代最著名的电视剧Seinfeld中Monk’s Café的外景。Seinfeld作为有史以来最成功的电视剧之一，其主创Jerry Seinfeld是最早突破百万美元每集片酬的演员（此纪录一直保持到2000年《老友记》的主演才达到同等水平）该剧也是评论家的宠儿，无数观众对其贴近生活又荒诞不经的情节和对话推崇不已。虽然由于文化和语言的障碍，该剧在中国不如《老友记》流行，但是直到今日，该剧还是Netflix上的热门，每年的重播和热销的周边产品每年持续为Ferry Seinfeld创造4000-6000万美元的收入。
90年代末，MP3成为互联网上热点应用，不但颠覆了传统音乐行业，也推动了一种共享经济的模式，Napster就是这股浪潮的代表。但是事实证明，同自己的衣食父母 ——乐队和唱片公司为敌不是一个好的商业模式，尽管有David Boies这样的强势大律，最后也只能败诉、破产、关门。直到Jobs和苹果推出iTunes服务，才让数字音频成为一个逐步取代传统唱片的赚钱大生意。
在MP3浪潮中，还有一个今天不为人知的公司“Scour”。它的创办人是一群在娱乐之都洛杉矶上学的UCLA学生。他们在诞生了互联网的Boelter Hall聚集，Scour一度成为UCLA学生中的热门应用，笔者也是Scour早期用户之一。他们很快得到好莱坞超级经纪人、迪斯尼前总裁Michael Ovitz的青睐和投资，但是雏鹰毕竟斗不过老狐狸，最后同样关门了事。
有趣的是，基业并不长青的Napster培养了Facebook的Sean Parker，惊鸿一瞥的的Scour培养了Uber的创始人Travis Kalanick， 失败有的时候确实是成功的之母。
Sean Parker（从Napster走出来的 Facebook创始人之一）。图片：GettyImages
Travis Kalanick（从Scour走出来的 Uber创始人）
当下的音乐产业中，流媒体服务已经成为主流，物理唱片很大程度上只是顶级歌手和乐队们（The Rolling Stones, U2, Taylor Swift等）作为音乐会营销的工具，高保真音响已经成为一个“过时“的行业。甚至在知乎等平台上，不断有人提出和回答“黑胶唱片是否智商税”这样的问题，大部分有些技术背景的答主，更是信誓旦旦地阐述：数字音乐如何完美，只具有情感价值和仪式感的黑胶是一种“智商税”。
这些答主的主要技术依据是数字信号处理中的奈奎斯特采样定理。其实，只要这些答主在大学认真听过老师的讲解就应该记得：奈奎斯特采样定理是通过利用Sinc函数，构造了一个通过采样点对带宽受限的周期信号重建的方法。一方面，该定理只是信号重建的充分条件，但是并不是必要条件。另外一方面，该定理说明通过采样可以完美重建信号，但是并不是只要有了这些点就一定能够重建信号。事实上，没有一个实际系统是利用完美的Sinc函数实现信号重建的。高质量和高速率的数字/模拟和模拟/数字转换是一项具有很高难度的技术，国内至今仍没有很好解决。虽然数字音频播放不需要这么高速的数/模，模/数转换，但是常见的消费类电子产品中的廉价转换器，会对音乐的品质“无情屠杀”。事实上，模拟和数字音乐重放面临各自的失真链，孰好孰坏很难一概而论。数字流媒体音乐虽然让听众获取音乐极其方便，但是在品质上绝不是“数字即完美”。黑胶唱片确实面临一些智商税，但是这个税种的“起证点”其实不低，大部分谴责黑胶智商税的，其实没有真的听过一套调试好的黑胶系统。至于激辩曲线和数据的朋友，也不放找找Michael Fremer的YouTube视频听听另外一个极端的原教旨主义者的声音，找他推荐的唱片来试试看。除了音质意外，对于音乐爱好者而言，挑选、翻阅、给唱片“反复包浆“的乐趣，更是数字音乐不能给予的。
笑舞狂歌五十年
从TCP, DCT的发表到今天，五十年匆匆流过，多媒体应用从来都与文化和社会热点密切相关。Tom’s Diner之所以成为MP3的标准测试曲，同它本身就被测试者所熟知密不可分。而Tom’s Restaurant 又是流行文化和研究人员共有的心理地标。
在图像处理方面Lena是这个领域的标志性测试图片。
Lena图片的主人公是瑞典模特Lena Forsen，该图片最早发表于1972年11月的《花花公子》杂志上。关于该图片如何进入数字图像研究领域有不同的说法。按照Jamie Hutchinson 2001年的说法，该图片是时任美国南加州大学(USC)任助理教授的A. Sawchuk于1973年7月为一篇论文找到的测试图像。Sawchuk和他的学生厌倦了当时普遍采用的老旧电视测试图片，希望找到一张有细节，有比较大的动态范围，最好有人脸的图片。正好此时有人拿着一本《花花公子》杂志来到实验室，教授和学生于是撕下其中一页进行扫描。由于扫描仪的分辨率和内容限制，他们只扫描到模特的肩部，一个计算机科学史上最流行的测试图片由此诞生。
该图片在90年代随着数字图像处理的研究高峰而达到应用的顶峰。Lena Forsen本人作为嘉宾在2015年参加了一年一度的国际图像处理盛会，不但做了演讲，而且担任最佳论文颁奖仪式的主席。HBO的热门电视剧《硅谷》更是把该图作为主人公卧室的背景。作为版权拥有者的《花花公子》对该图的流行采用放任的态度。毕竟，一个现象级图片对于其营销不是坏事。
时代变迁，那个研究人员堂而皇之带着色情杂志去实验室的年代一去不返了。虽然作为图片主角的Lena Forsen本人对其青春的回忆从未表示过异议，但是作为研究数据，Lena最近正式从国际学术界退休。
回顾从TCP, DCT发表到今天一路走来的研究历程，多媒体和网络技术确实如唐寅所说“笑舞狂歌”了半个世纪。图片是最早互联网和移动互联网、智能手机的杀手级应用，CMOS图像传感器为相机带来了革命，而视频特别是短视频是4G和5G时代的核心应用。
在这些伟大的技术革命背后，是一群专注、有趣、有缺点但是有执着追求的艺术家、数学家、工程师，他们大部分人甘于寂寞，即便取得了很大的成绩也没有获得什么“流量“的关注，但是他们的韧性和好奇心推动着专用芯片的发展，成就了一个惊人的行业。这些MP3的发明人，也是音响爱好者亦或是音乐家；正如同陈文雄博士，不仅发明了快速DCT算法，还创办了芯片产业。他们是Steve Jobs口中Intersection of liberal arts and technology的代表。
2020年，美国NBC电视台《This is US》节目中介绍了Nasir Ahmed的工作，回忆了他当年发明DCT时的专注和远见。片中的他在对家人介绍他每天早出晚归研究的内容时，憧憬了大众可以通过分享数字图片和视频，进行实时通信的远景。而那个时候，个人计算机还未出现，甚至家喻户晓的微软公司也是在两年后才成立，手机更是无从谈起。而半个世纪前那个勇敢预测的、生活在美国中部堪萨斯州一个名叫“曼哈顿“的小镇印度数学家，却为我们勾画了一个真实而已经到来的“未来”。
他的名字至今对大多数人来还是陌生的，但是当下每个人的生活和社交都离不开他的发明，《绿野仙踪》中那句著名台词的也许是对Nasir的最准确的纪念“We are not in Kansas anymore.”
温江涛，教授、博士、IEEE Fellow
图片来源 作者提供，除特别标注
往期精选