2000万本书的奥秘

这是一个好玩到停不下来的搜索引擎。

CEOCIO - - 数字艺术 / Digital Art - 陈婧/文

Ngram Viewer 是 Google Labs和哈佛大学学者共同开发的成果,只要用这个工具进行搜索,就可以发现从公元1500 年到现在的 500多年里,社会的热点如何不停地切换。谷歌在2004 法兰克福书展上开始启动谷歌图书馆计划,试图扫描自现代印刷术发明以来全世界所有的印刷书籍。在此基础上,通过 OCR 识别,建成了世界上最大的电子书数据库。谷歌图书馆计划与 Google's Partner Program 共同组建成广为人知的 Google Books。

至 2015 年 10 月,这个项目已扫描超过2500万本书,占人类历史上所有出版书目总数的 19.2%。Google 对书籍的处理不仅是扫描, 还进行了数字化与数据化,通过一系列算法从万亿级别的原始数据中识别出单个的词语和短语,建成了一个语料库,这样就巧妙地避开大多数国家的版权问题。

庞大的数据库催生了一个新学科的成立— — Google Ngram Viewer 就是借用这个数据库开发的新工具。Ngram Viewer 支持 8 种语言的检索,包括英语、法语、德语、意大利语、西班牙语、俄语、希伯来语、汉语,其中英语数据占到大约56%,汉语约占8%。

网友可输入至多 5 个不同词汇,透过Ngram Viewer显示的趋势线,观察这些词汇在不同年代出现的频率。当你输入“莎士比亚”,

搜索范围设定在 1500 ~ 2000年的英语书籍里,在他过世后的第92 年,即 1708 年是“热搜”莎士比亚的最高峰,之后1930 ~ 1953 年,莎翁的著作又一次受到了追捧。与莎士比亚被引用热度不分伯仲的还有福尔摩斯,这位虚构的侦探人物在 1971 ~ 1979 年间,成了街谈巷议的热点。维多利亚时代英国最伟大的作家狄更斯在 1917 ~ 1923 年期间,获得了空前的成功。那个年代大约万分之三的书籍里,都会提到狄更斯的名字,这时候距离作家因为脑溢血和写作疲劳去世,已经过去了约半个世纪。

除了可以看到数据趋势图,原始数据还可从网页免费下载,提供给语言学家、社会学家、人类学家等作进一步的资料分析和研究。《纽约时报》将 Ngram Viewer 这个全新的可视化工具,称为“通向 5000 亿单词的文化视窗”。

数据可视化的意义

Ngram Viewer 如同一个普通的搜索引擎,输入一个“关键词”,就可以查询它在书籍中出现的频率,而且可以依据年代时间线查询。在 搜索栏上方的“from the corpus”里可以切换要查询哪种语言的书籍,其中支持简体中文书籍的内容统计分析。接着,可以在两个年代之间查询书籍数据,时间跨度的范围从1500 年到2008年。用户最多可以设定五组关键词来对比,关键词之间用逗号分隔。

我们可以在图表里看到不同关键词在不同年代里被书籍使用的频率,这在统计分析上可以做出很多有趣的调查与申论。若是继续点击图表下方的年代链接,就可以进入 Google Books服务,查询指定条件的书籍,直接找到相关图书。

参与设计项目的是来自哈佛大学的计量社会学教授让-巴蒂斯塔·米歇尔(Jean-baptiste Michel),他因为致力于人文数据的可视化研究而被誉为“数据的艺术家”。埃雷兹·李伯曼·艾登(Erez Lieberman Aiden)是计算机科学家、生物物理学家和应用数学家,他们一直试图找到一幅展现人类文明和人文历史的“科学”画面。

“人类在漫长岁月中写了很多书,我们向他们学习的最佳方法,就是把那几百万本书全部读完。当然,这个可行性极低。人们不得不倾向于另一种做法,就是选择几本书进行精读,可行性很高,但还不够好。”当米歇尔和谷歌的数字化工程师进行交流时,他们找到了这个“既可行又很好的”方法。

自印刷机问世以来,写书的过程变得简单多了,据统计到 2010 年,全世界大约出版了1.29亿本图书,而这些书籍如果没有随着岁月遗失,就都在图书馆里存放着。谷歌已经将图书馆中的书籍进行了数字化,掌握了这些书籍的出版地、作者、出版时间等信息,最终筛选出了5000 亿个高质量的单词。

Ngram Viewer 收录的单词或短语,需要满足一项要求:这个词组或者短语在某年出版的超过 40 本书中出现过,才会有该年该词的数据点。同时,对数据进行标准化处理,可以削弱某些年份某些书印数过多对结果的影响。当这些数据加上时间和引用比例,就转变成为一个具备XY轴的搜索服务。

据米歇尔透露,这5000 亿个单词的长度连起来是人类基因组的 1000 倍,如果把这些单词连续写出来,长度相当于在月球和地球间来回穿梭10次以上,而这仅仅是人类“文化基因组”的小小一段。谷歌向来是分析大数据的专家,它们企图要将所有图书数字化的努力,成就了现在的 Ngram Viewer。

在工作原理上,Ngram将一个句子拆分成N个连续相邻词组成的词组,从而用来猜测语言的可能性,谷歌将这个方法定义为“文化组学”。“文化组学”的方法最早出现在2010 年《科学》 杂志上一篇名为《使用数百万本电子书对文化进行的计量分析》的文章里,现在指的是通过电子化文本的量化分析,研究人类行为、人类活动与文化趋势的计算词典学。

这个由谷歌定义的新词,来源于“基因组学”——把人类基因作为研究对象,是生物学上观察人类基因序列组的透镜。文化组学与其非常类似,挖掘大量数字化信息,将数字化的历史记录片段作为透镜,探寻反映在语言和文字中的社会文化现象。文化组学的优点,就如同人类基因序列,“所有人都可以用上它。”

英语谚语说,“一幅画面可以抵过 1000 个词。”米歇尔表示,他们在邀请了来自哈佛大学、麻省理工大学、《英国大百科全书》、《美国传统英语字典》的编委后,得出了一个惊人的结论, Ngram Viewer的一幅画面抵过上亿个词。

从用字遣词发现社会趋势

Ngram Viewer已经成了一些媒体人爱不释手的玩具,美国最具影响力的商业杂志之一《快公司》比较了英语中报纸、杂志、英特网在不同年代的兴衰,结果出人意料,不管哪个年代,报纸都是最受青睐的读物,甚至在英特网风靡的时代,报纸的流行度虽然不如鼎盛时期,但还在向上攀升。此外,《快公司》还对蒸汽、电力、原子能等三种不同能源的兴衰做了比较,原子能自1945 年迅速崛起,并在上世纪 80 年代成了最热门的能源话题。

当查找“流感”这个词时,你会看到全球范围内,1918 ~ 1920年在欧洲爆发的西班牙流感,成了人类历史上最致命的自然事件之一。在之后的几十年里,流感虽已平息,但人们的讨论从未终止,它的热度似乎不亚于一些文学畅销书。

具有 160 多年历史的《亚特兰大》杂志收集了一系列有趣的趋势比较,例如:在过去的200年里谁比较受欢迎,狗和猫?咖啡和茶?男性和女性?对比发现,狗受到的宠爱始终多于猫;茶的流行度始终高于咖啡,直到上世纪70 年代

趋势才被改变;女性在书籍里出现的概率逐渐走高,并与男性接近,性别平权的趋势非常明显。

广告从业者希望通过一些敏感词获得用户的关注度,使用 Ngram Viewer 也有助益。如果你想告诉大家“上帝死了”,那么该换一个说法了,自 1968 年这个说法达到鼎盛之后,关注度就一路下滑。但“气候变化”的热度却在飞涨,从1970 年后,很多书籍里都出现了“海平面正在上升”、“全球气温升高”、“二氧化碳浓度增加”这样的词汇,比起上世纪 50 年代,这些词的使用增加了 500 倍。对广告人来说, Ngram Viewer 是一个把社会热点切换成趋势的关键工具。

Ngram Viewer 虽然没有公开全书的内容,但是公开了书本的相关统计数据,从而可监测人们口语表述的变化情况,搜索者还可以透过数据本身,看到数据背后的故事。在搜索英文书籍数据库时,如果检索马克·夏加尔这位定居在法国的俄裔超现实主义艺术家,是一条稳步上升的曲线,知名度越来越高。

然而在德语书籍库进行同样的检索时,你会看到非常奇怪的现象— —闻所未闻。他先是名极一时,但突然之间名声直线下落,1933年到 1945年间达到了低谷,后来才回升。为什么呢?原来夏加尔因为犹太人的身份,而在纳粹德国遭到了政治禁令,这幅图反映了书籍记录中的审查情况。

同样,人们从上世纪60年代就开始展望“千禧年”,到了80 年代中期关注度突然飞升,人们意识到 2000 年快要来了,各种书籍里都在讨论,这样的讨论持续了整整十几年,而到了2008 年,大家醒悟过来 2000 年已成往事,一场关于千禧年大讨论的泡沫就这样破裂了。

通过 Ngram Viewer,美国学者阿历山大·彼得森发现了词汇的产生和消亡的生命周期临界点:在它产生30 年到 50年之后,要么写入字典,要么消亡。词汇的消亡速度,通常超过了新词汇的产生速度。而且,通过这些漂亮的图表也可以发现,人类对过去的遗忘速度快得惊人。

关于准确性的质疑

据参与 Ngram Viewer开发的威尔·布鲁克 曼(Will Brockman)和乔恩·欧文特(Jon Orwant)表示,自上线以来,这个工具每分钟的使用频率至少达到50次,用户生成的数据图表超过了4500万张,透过这些词汇,人们发现文字背后的人类社会与历史。其中,粘度非常高的用户有语言学家、历史学家、图书学家。

除了发现过去,Ngram Viewer 还有预测未来的功能:在文化组学 2.0 的项目里,卡列夫·利塔如(Kalev Leetaru)通过分析包含印刷品和媒体信息的数据库,预测到了2011年的“阿拉伯之春”事件,并且成功地预测到了本·拉登生前的居住地,误差在124 英里范围内。

但是对于这个工具的准确性,各方依然有着不一致的评价。加州大学语言学教授杰奥夫·扭恩伯格(Geoff Nunberg)发现,有很多无效的数据:出版时间、作者、类型等等。由于 OCR自动识别扫描的关系,因此可能带来非常高的错误率。他在检索中搜索了美国前总统巴拉克·奥巴马的名字后,在他的出生年份之前,竟然有 29 条数据。不过谷歌很快就更正了这些错误。

也有评价认为,对于人名、概念热门度的评估,不能仅仅依靠在书籍中被引用的数量计算得出——这样的话,一本只被读过一次的书和被浏览过数百万次的书,具有相同的价值。这既不能反映出大家在热议什么,也无法得出出版界在关心什么。

更多的评价则认为,Ngram Viewer 建立在谷歌图书馆计划扫描的图书基础之上,但是没有人知道,谷歌是如何选择和获取这占到人类出版史约 19.2%的图书的。不确定是否会有系统性的选择偏差,也不确定图书的幸存者偏差有多严重,故而这些图表得出的结论,并不能随意外推。

圣迭戈州立大学的心理学家吉斯曾经使用Ngram 作为工具研究自恋,但他提醒“小心倒 洗澡水的时候,把孩子一起倒掉”。因为这个工具的缺陷,在于无法衡量某一类著作在数量上的变化。比如一段时间“秋天”这个词语的使用变少了,很难真正说清楚,到底是对秋天感兴趣的人变少了,还是因为和“秋天”无关的词汇变多了?

也有学者认为这个工具没有将动词、名词、形容词等做出有效区分,例如“Cheer”既可以是动词,也可以是名词。但在斯拉夫·比特罗夫(Slav Petrov)领导的谷歌自然语言处理小组的带领下,弥补了这个缺陷,目前可以区分出这两个不同类型词语的频度。

除此之外,目前 Ngram Viewer 收录的数据还有一定滞后性和片面性— —与 Google Trends的高度实时性不同,图书的滞后性较长,只能在比较大的尺度上看趋势变化。数据库的内容完全来自出版图书,而不包括未出版图书或其他形式的文字,也不包括正在以指数级增长的网络和电子信息。

由于英文图书占到了数据库的56%,而汉字书籍仅占其中的8%,英语的语料库最大,且英语在最近几百年来的图书中的使用率总体看来看是最广的,比较能够反映真实世界的一些变化。

对汉语检索的结果,需要更加谨慎的解读。一方面是因为中文里,单词和字符的概念是模糊的,如果分词不当,就很难在 Ngram Viewer里找到了。另一方面,汉语在不同时期,语义、用法和拼写的差别比较大,文言文和现代汉语很多时候很难进行比较。而且 Ngram Viewer目前只支持简体中文的搜索,这也限制了对 1950年前繁体汉字的搜索能力,不过近几十年的汉语数据分析结果还是具有较高的可信度。

对此,项目发起人之一的艾登教授认为, Ngram Viewer 和很多科学计量工具一样,都存在着缺陷,但并不影响它的受欢迎程度,一个世纪以前,研究人员梦寐以求这个工具,现在它终于上线了,并不断改进着。

文化组学如同人类基因序列,将数字化的历史记录片段作为透镜,探寻反映在语言和文字中的社会文化现象,所有人都可以用上它

谷歌图书项目已扫描超过 2500 万本书,占人类历史上所有出版书目总数的19.2%

参与谷歌图书项目的哈佛大学计量社会学教授米歇尔(上图),计算机科学家、生物物理学家和应用数学家艾登(下图),他们试图找到展现人类文明和历史的“科学”画面

Newspapers in Chinese (Simplified)

Newspapers from China

© PressReader. All rights reserved.