中國古籍“回家”之路

中國是世界四大文明古國之一，中國浩如煙海的文獻典籍記錄了歷史。然而遺憾的是，近代以來超過400萬冊中國古籍由于種種原因流散海外。

阿里巴巴達摩院、四川大學(xué)、美國加州大學(xué)伯克利分校近日公布，他們花費兩年多的時間，教會了AI識別中國古籍，將它們以數(shù)字化的形式接回故土，置于網(wǎng)絡(luò)公益平臺，向所有人開放。

這個項目的名字叫“漢典重光”，意為讓失落的珍貴古籍重放光芒�！皾h典重光”以97.5%的準確率，識別了20萬頁古籍，覆蓋3萬多字的古籍字典。

現(xiàn)代科技照亮中國古籍“回家”之路

中國古籍擁有非常龐大且復(fù)雜的知識體系，包括甲骨簡牘、敦煌遺書、宋善本、明清精槧、拓本輿圖、少數(shù)民族文獻等等。所涉及的范圍也是極其廣泛，有應(yīng)對自然災(zāi)害、流行疫病、經(jīng)濟波動、政治斗爭、外交危機、氣候變遷等的經(jīng)驗，有戰(zhàn)爭、瘟疫、地震、洪澇災(zāi)害、病蟲害等方面的經(jīng)驗總結(jié)，還有醫(yī)療、中藥、養(yǎng)生、家具、服飾、飲食文化等生活經(jīng)驗。

加州大學(xué)伯克利分校的東亞圖書館是全美三大東亞圖書館之一，90萬冊藏書里四成都是中文書，還有不少甲骨文和拓片。第一次到這兒的中國學(xué)者總感覺在穿越歷史的“蟲洞”，這些古籍不能運回中國，那就用數(shù)字化手段讓古籍的內(nèi)容“回家”。

2019年，阿里巴巴和四川大學(xué)提出“數(shù)字化回歸”設(shè)想，四川大學(xué)歷史文化學(xué)院副院長王果與中央文史研究館館員陳力牽線搭橋，溝通北美、歐洲、日韓等地藏書機構(gòu)，最后獲得加州大學(xué)伯克利分校支持，達成共識，將伯克利東亞圖書館的中文古籍善本逐步數(shù)字化。

前所未有的挑戰(zhàn)

據(jù)王果介紹，“漢典重光”的分工非常明確——采集側(cè)把紙質(zhì)書變?yōu)橛坝“�，�?shù)字化生產(chǎn)側(cè)把影印版變?yōu)槲淖职妫瑧?yīng)用側(cè)為文字版增加檢索、字典和知識圖譜等研學(xué)系統(tǒng)。東亞圖書館完成第一個環(huán)節(jié)后，四川大學(xué)將和達摩院共同完成另外兩個步驟。其中，四川大學(xué)將提供一切非計算層面的專業(yè)支持，并與達摩院的機器視覺實驗室合作，共同開發(fā)古籍AI技術(shù)。

首批數(shù)字化的古籍共20萬頁，包含40余種珍貴宋善本。剛開始大家對這個項目很有信心，但實際一上手才知道難度有多大。

首先是中國古籍的載體很多，紙、布、竹子、木頭、甲骨、石碑……幾乎所有能用的載體都被古人留了字，不同載體上面的字識別起來差別非常大。年代久遠的紙張大多殘缺不全，上面還布滿斑點，而且排列非常復(fù)雜。古人喜歡從上到下，從右到左，還非常喜歡在上面做批注。

字跡的精美也成了負擔(dān)。隸書、楷書、草書、行書都漂亮，但也真難認。大部分字還是手寫的，不但兩個人寫的同一個字不一樣，同一個人寫的同一個字也差別很大，很多字還有不同寫法。

團隊原有的OCR(圖像文字識別)的識別準確率只有40%，這顯然是不夠的，較早涉足古籍識別的Google Books(谷歌圖書)針對的都是英文古籍，對中文也不適用。

大量創(chuàng)造性和創(chuàng)新性的辛勤勞動

沒有前車可鑒，只能自己來了�！斑@就像教小朋友識字，確實難，但也有簡單的部分，我們就由易到難慢慢做�！蓖豕�說。

前所未有的開拓性成果，包含著中國學(xué)者大量創(chuàng)造性和創(chuàng)新性的辛勤勞動。

達摩院的古籍識別算法，用AI替代人工，大幅壓縮了專家標(biāo)注工作量。在機器為主進行識別的97.5%的內(nèi)容中，約有1%(1萬字左右)需要專家錄入；機器不能識別的余下2.5%(2.5萬字)的文字，全部交給專家做后期標(biāo)注。相比人工專家錄入，百萬字書籍的數(shù)字化工作量從1000天降低到了35天，效率比人工專家錄入方案提升近30倍。這種古籍識別算法，為中華古籍的回歸提供了另一種可行可期的思路。

非計算機層面的工作也非常重要，四川大學(xué)專門組織了30多個歷史系學(xué)生來做標(biāo)注，這很耗神，眼力、腦力缺一不可，但這個過程沒法省略，就像學(xué)生要學(xué)習(xí)，算法也要迭代，“只有數(shù)據(jù)夠多夠好，機器才能搞定”。

這是一件非常難但非常有意義的事情。古籍識別的挑戰(zhàn)巨大，但大家還是想通過技術(shù)讓古籍活起來，用科技守護文明。

據(jù)了解，達摩院、四川大學(xué)、美國加州大學(xué)伯克利分校、中國國家圖書館、浙江圖書館將繼續(xù)投入人力、物力，擴大古籍?dāng)?shù)字化回歸的數(shù)量，讓所有蒙塵的古籍重?zé)ㄐ律��?/p>

達摩院院長張建鋒表示，阿里計劃將這套技術(shù)工具連同古籍?dāng)?shù)字化平臺一并捐贈，交由權(quán)威公共機構(gòu)長期運營，最終將成為一個開放的網(wǎng)絡(luò)平臺，供大眾檢索學(xué)習(xí)。

責(zé)任編輯：王磊