光明日报：国学大数据时代来了
访谈嘉宾：
赵敏俐（首都师范大学文学院教授、中国诗歌研究中心主任）
孙茂松（清华大学计算机科学与技术系教授、中国中文信息学会副理事长）
张 涛（北京师范大学易学文化研究院教授、院长）
尹小林（首都师范大学电子文献研究所所长）
特邀主持人：
杜晓勤（北京大学中文系教授、中国古代诗歌研究中心副主任）
主持人：21 世纪进入第二个十年，信息技术得到突飞猛进的发展。我们正在进入一个全方位的“大数据时代”，呈现出从“云计算”到“大数据”的发展趋势。这个发展趋势不是虚空的，而是正在对社会生活和学术研究产生着实实在在的重大影响。今天在座的都是中国古籍数字化事业的参与者和见证人。我们希望通过这样一个小型的讨论，与广大读者一起分享各位关于古籍整理与国学研究如何应对“大数据时代”问题的思考。
一
赵敏俐：“大数据时代”已经降临了。它表现在各个领域，不仅仅是生产领域，还包括知识领域。“大数据时代”是一场革命，它不仅会促进经济发展、科技进步，在文化领域也会起到巨大的作用。十七届六中全会《关于深化文化体制改革、推动社会主义文化大发展大繁荣若干重大问题的决定》明确提出：“要加强文化典籍整理和出版工作，推进文化典籍资源数字化建设。”我们应站在“大数据时代”这样一个新的高度，来理解和认识中央推进古籍数据化事业的战略意义。
主持人：赵敏俐教授，您是倡导古籍数字化的重要学者，而且已经主持研制了一些古籍数据库。请问您对“大数据时代”之“大”是如何理解的？
赵敏俐：我想，“大”应该包括两个方面的内容。首先是规模上的“大”。按尹小林的提法，几百万到一千万字的数据库算是小型数据库；几千万到一亿字的数据库算是中型数据库；从一亿字到十亿字算是大型数据库，超过十亿字以上的应该算是超大型数据库。
另一方面是功能上的“大”。功能的强大是超大规模古籍数据库很重要的标志。怎样才能算功能的强大？到目前为止，我们虽然已经做了很多古籍数字化的工作，比如把古籍做了一般的简单扫描，入库后也可以进行一般的查找，实现了一部分功能，但这个功能和我们想做的超大规模古籍数据库还有差距。按照我的理解，超大规模古籍数据库应该有这样几方面的特点：第一，因为它有超大规模的数据量，其中文献种类和内容都非常丰富，有更大的包容性。和过去中小规模数据库只是某一个类别、某一个专题的内容相比，通过这样的数据库进行综合整理之后，可以把更多更丰富的信息汇集在一起，可以获得更多、更全面、更准确的资料，为研究者提供更多的便利。第二，超大规模古籍数据库的建设因为有更多技术层面的支持，所以能够实现更多的功能，如对古籍的自动识别、自动标点、自动排版、智能检索、智能分析，可实现多种数据格式的转换和输出，可以满足文、史、哲、经各学科研究所提出的各种特殊需要，更能适应跨学科综合研究的高级需要。只有具备了这样两个特点，才能称之为超大规模古籍数据库。
为什么“大”就会带来一些功能上的突破呢？比如说，关于“中国古代诗词韵律的发展状况”这一研究课题。一直以来，我们的理想是把先秦、两汉、魏晋南北朝到唐宋时代每一首诗、每一首词的每一个字的读音、声调、韵部等全都统计出来，由此再考察中国古代诗歌声律的发展，弄清它们之间的变化。这在过去是不可能做到的。现在有了中国古代诗歌文本和古代汉语音韵数据库，这样的工作就可以做了。超大规模古籍数据库的建设，可以使得学者们从那种非常繁重的翻检古书的劳动当中腾出更多的时间，发现前人未能发现的课题，或者前人虽已发现但囿于精力和技术条件未能研究的课题，进行更多的创造性劳动。将人文社会科学的研究和现代科学技术手段完美结合起来，是未来的发展方向。超大规模古籍数据库所带来的功能是不可比拟的，对于学术的发展和人文学科的建设的推动都是巨大的。
再比如，《二十四史》的标点。这项工作从上世纪五十年代末开始，先后参与的专家学者上百人，历时20年才得以完成。如果用同样的传统人工方式，来标点总字数是《二十四史》25倍的《四库全书》，同样人力需要工作500年时间，这显然是不现实的。今天就不一样了，借助于现代技术手段来标点，效率可以提高50倍以上。也就是说，最多10年就可以完成《四库全书》的标点整理工作。而且在这期间，技术还会不断进步，时间因此还会缩短。我们预计，用5到8年把这个工作完成，是有相当把握的。
孙茂松：利用现代信息技术，将传统文化典籍以数字化“大数据”的形式保留下来，并且发扬光大，正在日益引起许多国家，特别是发达国家的重视。一个典型的例子是，由哈佛大学、麻省理工学院、Google和大英百科全书的专家学者组成的一个研究小组，2011年1月在著名的《科学》杂志发表了一篇题为《基于数以百万计数字化图书的文化定量分析》的文章。该项工作利用Google Books中数字化质量比较高的超过500万种图书，时间跨度从公元1500年到公元2000年，规模总计5000亿词，其中英文3610亿词、法文450亿词、西班牙文450亿词、德文370亿词、中文130亿词、俄文350亿词，以及希伯来文20亿词（据估计，占人类有史以来出版图书总种数的4%），借鉴基因组学（Genomics）的思路，对这些图书组成的“大数据”进行分析，如发现单词或人名在历史文献中随时间变化的频率，由此推导出人类文化的发展趋势和演变规律。他们把这个全新的研究领域称为“文化组学”（Culturomics）。这个例子表现了历史文献“大数据”建设与高水平研究的成功结合。值得注意的是，Google Books中的中文图书其实已经具有相当规模了，这显然对我们形成了一种巨大压力。还需要指出的一点，与现实世界中源源不断产生的科研大数据、互联网大数据、企业大数据、感知大数据相比，历史文献大数据的总量规模要小得多，并且基本上已经“固化”了，原则上不会产生新的数据，数字化一点就离目标近一点，只要我们本着“愚公移山”的精神，就一定可以完成中国古籍数字化的历史重任。
二
主持人：标点整理《四库全书》的蓝图真是令人振奋。我在想，如果把它作为我们国家应对大数据时代的挑战，一个率先建设的超大规模古籍数据库，一个文化强国的龙头工程，诸位专家认为会有怎样的文化意义和社会影响？
张 涛：《四库全书》的整理是一个意义非凡的大型项目。如何更好地阅读和使用《四库全书》，怎样进一步挖掘其在各个方面的价值，实际上也是我们古典文献学、历史文献学，特别是新兴的数字文献学学科建设和学术发展需要面对的一个重要课题。
根据我对古籍的认识，《四库全书》的版本，也就是库本，其文献价值不容低估。有许多重要典籍，库本是最好的。而要深度挖掘和广泛应用库本在学术研究、文化推广、社会影响等方面的价值，就需要超大规模数据库的建设。
《易经》是群经之首。我们最近几年一直在做易学典籍的整理研究工作，其中一个重要项目就是与首都师范大学电子文献研究所合作研发《中华易学全书》。这是一次大型专题数据库建设，是古籍数字化的一个很好的示范项目，也是我们进一步深刻认识数字文献学之价值和意义的一个重要切入点。
《四库》经部易类图书共有158种，1757卷，2400多万字，可谓集大成，都是经典中的经典。这说明四库馆臣的学术眼光、文化修养和研究水平是值得景仰和称道的，而数据库的建设又凸显了这些易学典籍的价值。尤其现在是一个读图时代，需要有高清晰度的易图。以前出书的时候，光易卦符号和易图就很难弄好，现在首都师范大学电子文献研究所把这个问题解决了。有了高清晰度的易图，对易学研究者来说是一个大大的惊喜，其中的学术价值自然也是毋庸置疑的。
另外我认为，虽然《四库全书》的纸质版印了这么多，但翻阅、查找极其不便。尽管现在已有可以检索的电子版，但没有标点整理，存在不少问题。因此，超大规模古籍数据库建设，先选择《四库全书》作为一个切入点，以后再选择更多的文化经典，这是切实可行、简捷高效的工作思路，也符合学术研究的发展规律。
国家要求中华文化应以更大的步伐走出去，并不断扩大在世界文明对话中的话语权，大规模古籍数据化正顺应了这一要求，将大大助力中华文化的对外传播，助力更好地搭建中外文明对话的桥梁，推动人类文明进一步向前发展。
孙茂松：可以预期，这个古籍数据库一旦建成，将对推动我国的文化传承事业发挥重要作用，尤其是为相关研究的开展提供坚实的数据基础。我在前面讲过，国际上基于历史文献数据库开展的研究是成果众多的。如哈佛大学和麻省理工学院的学者2007年10月在著名的《自然》杂志上发表的文章《语言演化动力学的定量化》，利用一个规模近1800万词、跨度长达1200年的英语历时语料库CELEX，通过定量分析揭示了英语不规则动词向规则动词的演化规律。再如，多伦多大学的学者最近借助计算机统计技术对大约100多万份中世纪英国的契据（其中大多数契据都没有标明年代）进行断代：他们使用1万份署有年代的契据，考察所使用的语言随时间的变化情况，以此来确定其他契据的年代，取得了有价值的实验结果。此外，从2007年开始，欧洲每年都举办“文化遗产、社会科学和人类学中的语言技术论坛”（LaTeCH），研讨的话题包括：文化遗产、社会科学和人类学中的知识表示、知识发现和文本挖掘、本体、数据模型和层级体系的自动构建和标准化、语篇分析、不同来源、载体信息的链接和检索等。我国在这方面的研究实际上是落后了，需要奋起直追。依托“超大规模古籍数据库”，可做的事情有很多，如计算机自动作诗和集句、历史文献断代和作者推断、中国历史典籍和古典文学作品的词汇层语言加工、中国传统文化本体体系和知识图谱构建、中国传统文化基因在现代生活中使用状况大规模量化调查等，囿于时间关系，我在这里就不展开谈了。
三
主持人：尹所长，就目前你们所掌握的技术而言，对超大规模古籍数据库建设的支撑性到底如何，你们能够建成一个怎样规模的大数据库？
尹小林：超大规模古籍数据库建设专业性很强，难度非常大，除了需要计算机硬件、软件、网络等现代信息技术外，还涉及到文字、版本、目录、训诂、音韵等多个学科。只有打通这些专业领域，才能将时间跨度上千年、不同地域的存世文献整合在一个大系统下。为什么我们今天能够提出这个问题？因为我们在建设超大规模古籍数据库的核心技术方面，已经取得重大突破。以前的一个数据库为什么大多只有几百万字、几千万字，至多一两亿字？原因就在于技术上缺少一个环节，缺少对超大规模数据进行加工整合的能力。
具体需要哪些技术呢？首先需要一个庞大的字库，这个字库必须能够把所有数据文献中所用的不同的字在同一个平台上显示。现在的计算机字库已有很大的改观，Unicode有7万多字，再加上一些造字，汉语存世古籍的字库问题基本上解决了。
第二个问题是数据加工。过去十年，我国处理转换的古籍大概已经有数十亿字，如《四库全书》有7亿字，《中国基本古籍库》有20亿字，这些古籍都已经完成了扫描识别转换。但文字的数据化转换，只是数据库建设的第一步。超大规模古籍数据库不仅仅是数据量大，而且数据整理和软件功能也需要达到一个标准。超大规模古籍数据库中的古籍文献必须是经过标点整理并进行正确标引的结构数据，这一环节的难度和工程量都非常大。传统的人工古籍标点的工作量十分巨大，而且只有经过训练的专业人员才能做。按一个专家一年标点50万字的工作量计算，如果建设一个10亿字的超大规模古籍数据库，需要100个专家连续工作20年。首都师范大学电子文献研究所经过多年的潜心研究，在古籍自动标点技术上取得了突破，成功开发了一套自动标点软件。去年在二十四史和唐宋诗文集上做了成功的尝试，完成了上亿字古代文献的自动标点，正确率达90％以上，具有很高的实用价值。
主持人：你们开发这一技术大致用了多长时间？
尹小林：研制时间很长，从2003年算起，用了将近10年时间。今年年初开始投入试用。经过测试，如果前期数据准备工作做好了，每天可以标点500万字。
除了自动标点，我们还开发完成了自动比对、自动排版软件。这些技术的推广使用，可以大幅度提高古籍整理的质量和速度，整体上降低出版成本。自动排版软件还可应用于网络出版和个性化出版。
需要100年才能完成的事情，我们很难规划；如果是5～8年就能完成的事，我们就可以计划立项。中国历史上有名的文化工程《四库全书》的编撰，前后历时十多年。除去收集图书、编写目录和确定版本的时间，仅正式抄写一项，最多时就用了2000人，花了5年多时间。《四库全书》收书达3400多种，都是中国文化史上的重要文献，全部标点整理后，总规模将超过10亿字。如果正式立项，标点整理可在5至8年内完成。超大规模古籍数据库不仅可在互联网平台上运行，还可广泛应用于各种移动终端。特别值得一提的是：超大规模古籍数据库投入使用，将进一步提高古籍整理出版的创新能力和水平，为现代个性化出版、网络出版提供强大支撑。
主持人：孙教授，从技术的角度，您对首都师范大学研发的古籍自动标点、自动比对、自动排版三项技术有什么评价呢？
孙茂松：无疑，这三项技术对建设超大规模古籍数据库都非常重要。分析起来，其技术难度是有所区别的。相比较而言，自动比对技术难度相对较小，但也很好地利用了计算机能够对海量文本进行快速查找、匹配的“天然”能力，而这一点恰恰是人类能力之所短，因而可以十分显著地提升比对效率；自动排版难度更大，需要将古籍排版知识引入到计算机算法中，可以认为是一个基于“排版知识”的古籍排版专家系统；自动标点最难，这需要在专家标点过的大规模古籍语料库的支持下，设计相应的计算机算法，才有可能实现。其工作过程大体上是：计算机算法从标点过的大规模古籍语料库中学习有关标点（句读）的知识，据之对新的古籍语料进行标点，经过专家校对后的带有标点的语料再补充到这个语料库中，由计算机算法再行学习。经过这一次“轮回”，自动标点的性能会得到提升。上述过程多次迭代，便有望使得自动标点技术渐趋完善。钱钟书先生在他修改过的一篇文章《电脑里的唐诗》中曾经讲过一句非常深刻的话：“能够帮助人的电脑，需要人的更多帮助。”自动标点技术在一定程度上“呼应”了钱先生的这个想法。应该说，自动标点技术较为充分地反映了“大数据”的特点，即：经过标点加工的数据规模越大，自动标点的性能便越好，于是乎对大数据的标点效率就越高，其结果是人工标点数据规模的进一步扩大，构成了正反馈。
主持人：这三大核心技术，让首都师大电子文献研究所在中国古籍数字化的道路上有了独领风骚的能力与实力。这一点令人钦佩。
赵敏俐：首都师范大学早在2002年就开始了古籍数字化的建设过程，2003年成立了电子文献研究所，2007年又成立了国学传播中心。为了适应古籍数字化建设发展的需要，2013年，我们将国学传播中心扩建为国学传播研究院。在近十余年的时间内，首都师范大学在古籍数字化方面做了一系列的工作，取得了有目共睹的成绩。第一项工作是国学网的建设。国学网建于2000年，现在已经发展成世界知名的中国文化网站，在国内外的人文社会科学研究领域里具有广泛的影响。国学网的成功建设，显示了数字化技术下的网络文化传播的巨大潜力与功效。第二项工作是数据库的建设。我们开发研制的《国学宝典》，从一开始就探索与国内相关研发机构不同的古籍数字化方式。其核心是将浩如烟海的古籍一部一部、一字一字地录入计算机系统，为今后日益先进的古籍数字化技术提供坚实的基础，走可持续发展之路。在此基础上，我们从2002年开始，联合国内四所高校开发了具有多种功能的《中国古代文学电子史料库》，汇集了将近2亿字左右的文献资料。第三项工作是学科建设。我们从2007年开始，在国内高校设立了第一个以古籍数字化为研究对象的交叉学科——数字文献学，获得了北京市教委的支持，被列为北京市重点学科。这是北京市所建设的第一个人文科学和自然科学的重点交叉学科。2013年9月，第一届数字文献学研究生入校，这在国内也开了先例。人才的培养，必将为“大数据库时代”的中国传统文化建设提供长久的、坚实的支持。
我们的努力得到了国务院有关领导的高度肯定，教育部领导指示首都师范大学在以往取得成果的基础上，联合全国高等院校、各大图书馆，在大数据库的建设方面做出新的成绩，要在全国起引领作用。我们为此深受鼓舞，今后将进一步加快大数据库的建设，以适应世界范围“大数据时代”已经到来的形势，为全国的人文社会科学发展，繁荣社会主义文化作出应有的贡献。
四
主持人：各位专家的发言，使我们对超大规模古籍数据库的建设充满信心。当然，这一工程是浩大的，面临很多现实的困难。那么，还有哪些问题需要得到解决呢？
尹小林：如果这个项目能变成一个国家工程，动员全国高校的古籍整理力量，有充足的经费保障，完成这个项目则指日可待。总的来说，需要三个方面的条件：第一，要有观念上的突破。坚决打破古籍数据库建设“小、散、乱”，各自为政的模式，形成学术共识。第二，要有体制上的变革。单纯的商业模式或完全的政府立项，都难以完成这一巨大的文化工程。没有高校和学术界的支持，这项工程无法达到所需的质量；没有企业高效率的管理模式，成果难于推广，无法发挥持续的影响力。政企结合，是一个高效合理的模式。第三，要有政策上的支撑。大型古籍数据库建设涉及到许多新情况、新问题，如何处理国家和个人、局部与全局、保护与创新的关系，需要有关部门制订相应政策，扶持和鼓励这一产业的健康发展。我们正处于一个伟大的时代，需要产生伟大的作品，创造伟大的成果。
主持人：这也就是说，比起技术手段来，现在更需要决策者的决心。这项工程单纯依靠一个高校的一个学术机构确实是难以完成的，需要多学科多个相关单位的通力合作，古代文史研究界和计算机信息化处理相关领域的合作，以及国家政策的配套，科研基金项目的支持等等，这样的一些条件如果都具备了，超大规模古籍数据库的建设就能够开展得比较顺利。
尹小林：的确，超大规模古籍数据库建设是一个大型文化工程，非一己之力、一家之力、一时之力可以完成。像《中华大典》《清史》《儒藏》都动员了全国的专家学者，这个项目规模比《儒藏》《子藏》都要大得多，将来出来的成果也会大得多。
刊于《光明日报》2013年9月16日第15版