李仁淵(中央研究院史語所副研究員兼圖書館主任)

 

 

1984年5月19日中研院資訊所研究員兼計算中心籌備處主任謝清俊與中研院史語所研究員毛漢光共同執行的「史籍自動化—食貨志輸入電腦」正式開始。這個計畫由文建會資助,第一年輸入正史宋朝之前的〈食貨志〉,並以不同符號標註其中人名、地名、朝代年號、官名、書名等專有名詞。這個計畫第一年為試驗性質,接著又得到文建會三年資助,陸續輸入其餘正史的〈食貨志〉與前四史。四年計劃結束後,在1989年之後轉為中研院的專案計畫。[1]這個計畫即為漢籍全文資料庫的前身(圖1),若從它開始算起,這項標誌台灣歷史研究進入數位時代的數位化工作,已經持續了超過四十年。[2]

 

圖1 漢籍全文資料庫

 

回到1984年,IBM的個人電腦才問世三年、中文字碼的統一標準尚未建立、國際間文字史料的數位化活動也尚未普及,不過台灣的資訊學者與歷史學者已經開始合作開發數位化的潛力。在三年後《台灣光華雜誌》介紹史籍自動化的報導〈電腦跨界讀古書〉中,已經期許,「『史籍自動化』後,只要坐在終端機前就可以輕鬆地做研究了。」並在報導開頭這樣斷言,「……我國文史研究工作,在方法上將面臨的一個大革命。電腦正是推動此次革命的主角。」[3]

這四十年來,已有不少學者討論數位時代對文史研究的影響,特別當2004年前後「數位人文」(digital humanities)逐漸被接受為描述一個新興領域的詞彙,以及最近幾年生成式AI帶來的風潮之下。[4]這些文章有些著重介紹新的概念與工具、有些討論數位化帶來的衝擊,有些重點在反省與檢討。而如同前述這篇1987年的報導,這些文章大多滿懷著進入新時代的渴望。

這篇文章同樣是在討論數位時代的歷史學研究,不過重點不在介紹最新的工具怎麼在歷史研究中應用,而比較是想回頭看這持續了四十年的「衝擊」。從思考過去數位時代對歷史研究帶來的改變,或許可以幫助我們想像這個改變會怎麼持續下去。

 

一、作為資訊科學的歷史學?

 

「數位」(digital)和「數位化」(digitalization)這些詞,因為太常用,我們有時會忘記它們最基本的意思。所謂數位化,就是把原本用紙張、錄音帶、膠卷等方式記錄的文字、聲音、影像,轉換成電腦可以處理的數位格式。轉換成數位之後,這些訊息可以更精確地被儲存和傳遞,也能透過電腦運算進一步呈現和分析。從資訊史的角度來看,過去類比格式的資訊主要依靠物質載體上的連續痕跡(例如墨跡或聲波刻痕)來保存,而在數位時代,更多訊息則以數位格式存在。因為儲存、傳遞、呈現和分析方式不同,我們接受與處理資訊的方式也跟著大幅改變。

人們之所以常覺得「數位化」總是新的,重要原因在於資訊科技的不斷進展。關鍵往往不僅是技術的發明,也是這些技術能普及到一般人可負擔、容易學習與使用的程度。例如,個人電腦的普及使人們在家中就能處理數位資訊;智慧型手機進一步讓數位訊息隨手可得,並逐漸成為獲取資訊的主要管道。隨著儲存技術的進步,龐大而複雜的資訊也能被輕鬆存取;網路傳輸速度與穩定性的提升,則讓這些資訊可以即時流通。這些條件使影音等大容量訊息得以更普遍傳遞,人們也逐漸習慣以影音而不只是文字來接受資訊。數位訊息的大量累積加上運算能力的提升,「大數據」(big data)曾成為熱門議題,而近年興起的「大型語言模型」(large language model, LLM)與生成式 AI 也正是建立在同樣的基礎之上,並且成熟到可在一般人的電腦上操作。無論是新技術的出現,還是既有技術的普及,都深刻改變了一般人接受與處理資訊的方式。

接受與處理資訊方式的改變已深入人們日常生活的諸多層面,也自然影響到學術研究的進行方式。歷史研究在性質上也可以視為收集與處理資訊的學術。我們可以粗略地將歷史研究分為三個階段。第一階段是收集與研究主題相關的資料,在歷史學中,這些資料主要是能夠作為理解與重構過去依據的各種資訊。第二階段是處理這些資料,以形成特定的敘述或論點;處理的方法可能包括分類、摘錄、比對、解讀、計量與詮釋等等。第三階段則是將這些敘述或論點以某種形式表達出來,並使其在研究社群或更廣泛的社會中流通。這三個階段都與資訊處理密切相關,而資訊處理方式的轉變也勢必會對歷史學研究的方法產生影響。

限於篇幅,這篇文章先把焦點放在前兩個階段,討論數位時代帶來的改變。而這些觀察主要也根據我較熟悉的台灣學術界與中國史研究。

 

二、數位時代的史料收集

 

雖然把「歷史學等同於史料學」未免過度,但若要指出歷史學的方法論特徵,或它與其他學科的主要差別,最突出的地方仍在於歷史研究必須立基於「史料」。即使探討的主題與其他學科相似,歷史學除了時間向度之外,更強調對史料的討論與分析基礎。

因而歷史學的發展常與史料的處理方式相關,如因應研究的主題歷史學者開發可以藉以建構過去的史料,或者發展新的解讀方式。許多新領域的展開都與史料的發掘緊密相連,從正史、檔案、文集、文學作品、書信、日記、碑銘,到地方文獻、出土文獻,乃至於非文字的圖像、器物、建築、口述、儀式展演等等,都逐漸被歷史學者納入「史料」的範圍。歷史研究者不僅要跑圖書館與檔案館,也開始走向田野調查、口述訪談與考古現場。透過這些多樣化的史料,歷史研究的視野不只侷限於政治與菁英人物,而能更深入地探討日常生活、基層社會、經濟活動、思想、信仰、心態與情感。

 

1. 保存、複製與傳遞

 

當數位技術逐漸成熟後,人們開始將各種訊息轉換成數位格式。最初數位化工作的主要目的是「保存」,因為物理載體上的資訊會隨時間磨損與散失,而數位編碼的訊息則在理論上能保持穩定,並可透過複製避免進一步劣化。也因此,早期的數位化工作常與「文化遺產」(heritage)與「保存」(preservation)等概念相連,包括在台灣影響深遠的「數位典藏國家型科技計畫」(National Digital Archives Program, 2002-2008)。整體而言,圖書館、檔案館與博物館等典藏機構,正是這一波早期數位化的主要參與者。    

然而數位訊息另一項更重要的優勢是它容易精確複製,因此也更容易快速傳遞。人類歷史中一直在追求更快、更準確、成本更低的訊息複製方式,諸如手抄、印刷、影印、照相、錄音、錄影。跟聲音或圖像相比,文字之所以在早期具有優勢,正是因為它的符號化特徵,使得只要有識字者即可相對準確、快速地抄寫。印刷術的出現進一步提升了複製的速度與精確度,並使圖像也能被準確複製。雖然印刷需要較大的前期投入,但在大規模複製時反而能降低單位成本。只是這也讓這種複製技術需要組織性的資源投入,不是個人可以掌握。不過無論是抄寫還是印刷,訊息仍必須依賴物理載體來保存與傳遞。

相較之下,數位訊息在技術支援下能以低廉且個人可操作的方式進行快速、精準的複製與傳輸。當然,從類比格式轉化為數位格式時往往會造成訊息的減失,因此後續的技術發展致力於讓轉錄更全面與精確,例如更高解析度的攝影與掃描,乃至捕捉三維空間的 3D 模型。然而一旦訊息已轉化為數位格式,便能夠如實複製並迅速傳輸。這一特性大幅降低了使用門檻,使人們只需在家中透過網路便能取得各種數位訊息,包括前述典藏單位所數位化的「史料」。而且隨著技術進展,不僅文字,圖像與影音資料也能輕易獲取與複製。若在過去下載一張圖像需要長時間等待,今日高解析度的圖像與影音已能即時存取,成為日常生活的一部分。數位化的發展也因而可以讓研究者更容易地把地圖、書影、圖畫、器物等非文字史料整合進研究當中。

而當數位化訊息日益豐富時,資訊搜尋技術的發展使人們能在龐雜的數位環境中迅速找到所需內容。面向開放網路的搜尋引擎,讓使用者能在浩瀚的資訊海洋中檢索材料;而在學術研究中,同樣重要的則是針對特定範圍、經專業組織化的電子資料庫。在資訊過載的情境下,人們為了方便搜尋與管理資訊所設計的各種工具,其實並非現代才有。以書籍為例,出版者逐漸增設頁碼、目次、索引、摘要等裝置,幫助讀者定位內容;讀者則透過畫線、摘錄、筆記或卡片來輔助檢索。在數位時代,這些工具突破了物理載體的限制,徹底改變了讀者獲取與組織資訊的方式。過去在 1980 年代,歷史學者仍需依賴手工抄錄史料、製作大量卡片,並以顏色或關鍵字進行分類。而從史籍自動化的標誌工作開始,學者便意識到,這些繁複的工作可以交由電腦來處理。

數十年來資訊數位化的趨勢對研究者收集與使用史料的方式有很大的影響。許多原本要旅行、經過繁瑣申請程序還未必看得到的藏品,如今可以輕易得到其所乘載的內容。各類易得、難得的資料都可在個人的設備上存取操作,省去許多收集整理的功夫。(圖2)不僅是文字訊息可以大量取得,以往較難得的圖像等資訊現在可以輕鬆在電腦放大、比對細節。以往要靠抄寫、影印的方式複製所需要的訊息,影印卡是收集資料必須。現在會先尋求數位解決:使用已經數位化的訊息,或以拍照、掃描的方式自行建立數位圖檔,再透過電腦進行處理,甚至藉由 OCR 工具轉換為可編輯的文字檔。這些轉變使得研究流程更具效率,也重新定義了史料工作的基本步驟。

 

圖2 全球漢籍影像開放集成系統

 

2. 反思數位化史料

 

當然,研究者對數位環境下的史料收集也不是沒有反省。歷史學者雖然致力於收集能夠建構過去的材料,但很明顯,並非所有資料都已經數位化。由於數位資訊的可即性遠高於未數位化的材料,難免在使用上導致偏差。研究者往往傾向先從可檢索的資料庫出發,也因此持續期待更強大、更全面的資料庫出現。近年數位化的重要工作,一方面在於建立收錄更廣泛史料的綜合型資料庫(如漢籍全文資料庫、中國基本古籍庫),另一方面則是針對特定領域打造更專門、更深入的資料庫。

然而資料庫對使用者而言雖然便利,其建置卻需要龐大的人力、資金與技術支援,且維運更是一大挑戰。大型資料庫往往仰賴政府或學術機構支持,也有不少由商業公司開發與營運,更多時候則是不同組織間的合作,例如新版漢籍資料庫在 2005 年後將技術外包給商業公司,專注於內容編輯、抖音支持的「識典古籍」則與北京大學合作。整體而言,大型資料庫是學術、技術與資金三方面結合的成果:學者把關內容,資訊技術提供者掌握數位化流程與檢索介面,資金則支撐整體運作。這些結構性條件影響資料庫的建置,同時也影響到研究者如何使用資料庫。當數位化的史料已成為研究的重要來源時,哪些資料被數位化、如何被處理,研究者往往無法掌控。不同領域、不同機構組織間的合作對建構資料庫來說是很大的挑戰。是而當資料庫需要龐大的組織性力量建置與維持,研究者有時候也需要相應的支持來應對,如所在的單位是否有能力訂購收費較高的資料庫。當數位化資訊成為歷史研究最主要的來源,可以取得這些資訊的能力或許就會與其他學術能力一樣重要。過去研究者需要有收藏豐富的圖書館與足夠的旅行資金收集資料,這些落差未必因為數位化而消弭,而是用另外一種方式呈現:誰有能力建立大型資料庫、誰有能力使用它。

有時候研究者並非只是資料庫的追隨者,而是更傾向於反思數位化的趨勢。有的研究者強調使用未被數位化的史料。由於大規模的數位化需要大規模的資源投入,並不是所有的史料都會被機構組織納入優先數位化的標的。歷史學者的專長之一正是在發掘史料,諸如稀見的檔案、手稿,或是從地方或個人收集來的文獻。有的研究者則指出不僅是數位化什麼材料已經經過挑選,在從非數位化格式轉成數位化格式的過程中也會丟失許多資訊。像是早期數位化報刊可能沒有包括廣告、書本可能省略序跋評點、沒有收錄所有版本、全文輸入可能有錯誤,以及數位化無法得到史料的物質性資訊,諸如紙張質地或裝幀結構。而倚靠資料庫搜尋,最顯而易見的弊病是脫離史料原來的脈絡,不深入精讀史料的內容,只浮面地擷取需要的資訊。從資料庫開始流行使用者便一直被提醒割裂史料的風險,不過這當然無法抵擋資料庫便利性的誘惑。[5]

這些討論指出數位化尚無法取代傳統收集與閱讀史料的方式,也凸顯過度仰賴數位資訊的後果。在資訊技術轉換之際的反省也非今日獨有,如宋代印刷普及後,就有理學家批評讀者不再親手抄書、逐字研讀,而是藉助冊頁裝訂與工具書進行跳讀。即使沒有經過數位化,也會有學者強調親自查閱原件的重要性,而不能完全相信複印件。所謂「原件」在歷史研究中始終閃耀著神聖的光芒。不僅是未數位化的史料,未出版的史料也所在多有。數位化是一種便利的複製與傳遞手段,並不代表可以窮盡所有史料。

而其中部分問題在資訊技術日益精進下也逐漸減少。如近年OCR技術的推展,讓全文數位化的門檻顯著降低,甚至個人就可以在電腦上將自己核心的史料全文化。(圖3)而高規格影像處理成本的下降,也使越來越多全文資料庫附帶高品質書影,讓使用者能同時進行全文檢索與原件比對。這些技術改進不但擴大數位化的範圍,也減少過程中資訊的漏失。總體來看,數位化應被理解為對傳統方式的添加,而非取代。便利的新工具固然可能產生排擠效應,但研究者更需要在多元選擇中,建立最適合自身的研究策略。

 

圖3 中央研究院文字辨識與校對平台

 

3. 史料的基本性質

 

除了資訊取得的層面外,數位化對歷史研究的影響還在對史料基本性質的挑戰。史料是歷史研究的基礎,為了讓後續的論述具有正當性,史學研究對於史料來源的說明格外嚴謹。儘管經過後現代主義的洗禮,研究者不再單純認為史料是歷史事實的直接反映,但在建立與過去之關係的前提下,對史料的釐清與檢討仍是必要的,也因此特別注重「出處」與「原本」。然而這套史學規範建立在數位訊息大量流通之前,其對史料權威性的理解與它的物理載體結合在一起。如歷史研究特別注重「原件」的重要性,無論是檔案、手稿或文獻,都必須標註其收藏處所,並考察其製作時間。即使是複製件,也需清楚標誌其物理載體的製作資訊,例如由哪一家出版社影印、何時何地出版,以及出現在書籍的哪一頁。由於數位時代之前的訊息複製存在相當技術門檻,複製往往伴隨訊息的漏失,因此能夠提供可追溯的訊息傳播足跡,便成為判斷其引用正當性的依據。學者也普遍傾向信任由權威機構或出版社提供的複本,而非私人抄錄的訊息。

然而對於沒有固定物理載體、原本與複本幾乎無從區分的數位訊息而言,前述提供史料正當性的機制便難以運作。若依照前數位時代的史料批判標準來衡量,數位訊息往往難以被視為可靠。絕大多數的數位訊息缺乏穩定的「位置」,有時人們會以存取時的網址作為引用依據,但許多資料庫搜尋得到的結果並無固定網址;即便有網址,也未必能永久留存。出於這種不確定性,研究者在使用數位化史料時,往往仍需標示其數位化之前的物理載體資訊,即使他們自己未曾真正接觸過所謂的「原件」。而進入數位時代後,愈來愈多資訊自始即以數位形式存在。這類「原生數位」(born-digital)的訊息,事實上已成為現代資訊流通的主流,迫使歷史研究不得不面對新的挑戰。

對於非數位的資訊,除了內證之外,歷史學者部分是以其物理載體可追溯的實體生產脈絡,來建立其與過去事實的連結。例如這份引用的契約內容出自某年由地方文化局出版的契約集,而這本契約集是由某人收藏的契約原件影印而來,此契約的原件製作於十九世紀,因此反映了當時的交易活動。然而原生數位訊息因為可以輕易複製與流通,並不存在一個單一、固定的儲存位置。如何將其視為史料、並評估其與特定時空的關聯性,便成為數位時代研究歷史必須面對的問題。研究者早已注意到,與過去可收藏的報刊、檔案、信件不同,數位時代的原生數位訊息,如電子郵件、部落格文章、手機簡訊、社群媒體貼文等,雖然更容易流通,卻往往難以長久保存。舉例而言,一篇社群貼文可能在原平台上被刪除,但在某人當時的瀏覽器快取(cache)中仍留有備份。這樣的檔案能否被視為史料?如何評估其作為史料的可靠性?這些問題不僅挑戰了史料的定義,也迫使歷史學研究要重新思考其操作方式與規範。

而近年來,以大型語言模型為基礎的生成式 AI 又使這個問題更加複雜。大語言模型收集了巨量的數位文本資訊,既包含原生數位的內容,也包括經數位化處理的傳統媒介資料。在向量化與演算法運算的過程中,這些文本脫離了原有的生產時空脈絡,只作為符碼之間關聯的資料單位。演算法再依據符碼間的距離與機率,組合生成新的訊息。這些 AI 生成的文本,並非出自特定時空中個人意志的創作,但也不是全然無意義的雜訊。換言之,它是一種「反歷史訊息」:其素材源自歷史上實存的文本,卻不再具有可追溯的時空背景與生產脈絡。歷史研究能夠演繹史料的基礎,正是建立在資訊與其生產脈絡的連結之上。然而這樣的預設在處理數位資訊時已經受到挑戰,而對於生成式AI所生產出來的資訊,除了受到廣泛討論的著作權等問題之外,也讓我們思考各種資訊的層次問題、資訊成為史料的基礎何在。

理論上所有在過去生產的資訊都可以作為史料。傳統的史學訓練是透過史料內容的內部邏輯與外部形式的生產脈絡來考察史料的信度及其與過去的關聯,即使在內容上是偽造的史料都可以從它的生產脈絡(是誰在什麼時候為了什麼緣故偽造什麼)作為歷史研究的證據。對於沒有實體且容易複製的數位訊息,雖只能有限度地依靠metadata、儲存紀錄與網路足跡加以追查,但至少仍保有可供推證的內部邏輯。然而生成式AI創造的數位訊息則是進一步模糊訊息內容與其創造者、創生時空之間的連結。未來的歷史學者可能要有一套新的方法來處理這些資訊,如果未來還需要歷史學的話。

 

三、數位化時代的史料處理

 

歷史研究當然不僅是將收集的史料羅列出來,而是要以史料出發,形成敘述或發展論點。這些「史家的技藝」形式多樣,而由於研究強調必須立基於史料,許多技術都圍繞著對文本資訊的處理,例如分類、摘錄、比對、解讀與詮釋。在文本處理之外,歷史學也不斷借鑑其他學科,正所謂「史無定法」;[6]許多分析概念常來自社會科學,但最後仍需回到史料本身的支撐。

當史料被數位化後,便能以數位方法來處理。計算是數位方法的核心,透過演算法,研究者得以分析大量資料。有人將這樣的大規模文本分析稱為「遙讀」(distant reading),相對於傳統的「細讀」(close reading)。傳統上,「閱讀」(read)意指人類以視覺接受符號(主要是書寫或印刷文字),並在腦中解碼以獲取意義,本身就是一種資訊處理的過程。而在資訊科學語境裡,當電腦從儲存系統取出資料時,也稱作「讀」(read)。許多數位人文的嘗試,正是希望讓電腦在超越單純的資料存取之外,能模擬部分人類的閱讀行為,協助研究者在龐大文本中辨識模式與關聯。

 

1. 數位史料處理的工具與方法

 

「搜尋」應該是所有研究者都會使用到的功能,即在已編碼的大量數位資訊中找到相同的字串,並定位其在文本中的位置。為了達到更好的搜尋結果與多樣的搜尋模式,在技術上又有許多改良,例如模糊搜尋(fuzzy search,允許拼寫錯誤或小差異)與詞距搜尋(proximity search,檢索兩詞在一定距離內的共現)。確實,在傳統史料處理中,「搜尋」一直是非常重要的基本工作。許多研究的起點,便是在不同文本中找到相同或相近的詞,並根據其上下文(context)展開討論。例如文字訓詁與考證在先秦以來的文獻或辭書中查找詞語,比較其意義的演變;制度史研究搜尋不同時代、不同性質的史料裡對官名或制度的記載,藉此考察其變化;思想史則比較思想家對「理」、「天」等基本概念的不同論述。這類文本收集與比對的工作,可以說是歷史研究的基礎。

傳統上有許多工具書正是為了協助這類資料處理而設計。例如類書的編纂法之一是收集某一詞在不同文獻中的上下文,再加以分類輯錄。索引(或音譯為「引得」)則是將同一部書或一套文獻中所有出現該詞的位置逐一標記並彙整。在傳統時期,這樣的工作需要逐字翻閱全文、紀錄位置、再進行分類,是工程浩大的任務,耗費大量學者的精力。而在數位文本中,這些工作則能迅速完成。如「史籍自動化」的早期工作便以此為目標,而在輸入文本的同時進行命名實體識別(named entity recognition, NER),標註文本中的人名、官名、地名等,希望能在二十五史等基礎史料上得到全面且精確的索引結果。這種努力,其實正是將傳統索引工作以數位技術加速與精確化的延續。

而可以在龐大文本中迅速找到相同字串後,除了可讓研究者找到相同主題的文本分析比對之外,另一種顯而易見的可能處理方式是「計量」。史學中的量化應用可以追溯到 1940 年代的「計量史學」(cliometrics),不過當時主要聚焦於史料中可以擷取的數字,因此研究多偏向經濟史與社會史。隨著文本與其他資訊的大量數位化,在文本探勘(text mining)的技術發展下,文本本身也能成為計量的對象(圖4)。最直接的如詞頻分析計算出一定範圍內的文本某些詞出現的頻率,或是關聯分析,呈現特定的文本範圍內那些詞最常在一起出現。頻率與關聯本身就可以是很直接的分析工具,如從《清實錄》中各年代災荒關鍵字出現的頻率與共同出現的地名與官職討論政治史、制度史或環境史的課題。

 

圖4 Docusky數位人文學術平台

 

不過跟所有的量化統計一樣,這些文字計量當然也需要留意各種條件的控制,如關鍵字詞的設置(那些詞的組合可以代表「災害」)、斷詞或是字詞的歧義(如「太平」等可能同時是人名、地名與年號的詞)、以及如何界定統計的單位與範圍(同一事件多次出現的詞是否會被放大、哪種段落的共現才有意義)。此外,還要考慮史料本身的性質與限制。如《清實錄》因為其時間跨度,特別適合做歷時性分析,但它是否記載了所有災荒事件,抑或僅有上報皇帝的災荒,便需要進一步討論,以評估這些數字可以解釋的現象。這些條件都會直接影響計量結果的解釋與意義。

在這些字詞的頻率與關聯基礎上,還可以進一步推導出模式與模型,展開更深入的分析。如主題模型 (topic modeling)透過演算法,自動從龐大的數位史料中識別出抽象的「主題」,而每個主題都是由一組高度共現的詞彙組成。由此可量化文本的主題比例,辨識在傳統分類結構下未必彰顯的關聯或概念結構,並大幅提升文本分析的效率。或者透過文體計量分析(stylometry)從慣用詞彙組合、平均句長、段落長度等等顯現文本的風格差異、判別作者或版本歸屬。又例如網絡分析(network analysis),則從人名、地名或其他關鍵詞的共現建構關聯,進一步呈現人物關係、地理互動或知識傳播的結構。

而數位資訊的跨媒介特性,讓計量結果能與圖像結合,開啟另一種分析視角。例如社會網絡分析(social network analysis, SNA)透過節點(nodes)與連線(edges)將人物或事件的關係以圖像展現,使複雜的互動結構得以一目了然(圖5)。地理資訊系統(geographic information system, GIS)則能將文本計量與地圖資訊結合,呈現空間上的分布與演變(圖6、圖7)。在數位時代之前,圖表原本就用來表達研究結果並輔助說明。但在數位時代,由大量資料計算生成的 SNA 或 GIS 圖像,不僅是展示的方式,更能作為探索性的分析工具,協助研究者辨識文字中未必顯而易見的趨勢與變化。

 

圖5 CBDB中文天祥條目的社會網絡

圖6 《明實錄》中正統朝軍事記載熱區圖[7]

 

圖7 THDL古契書歷史地理資訊系統

 

2. 數位方法的限制與反思

 

然而這些數位工具雖然已經發展多年,大家也的確已經脫離不了數位文本以及如搜尋等基礎的功能。但從歷史學這邊看起來,運用數位方法的歷史研究似乎沒有達到預期的影響力。在可視化上有很好的發展,但並未必所有數位方法的運用都發揮效果。原因可能很多,例如這樣的研究需要兩種不同的技術,通曉資訊技術者未必知道歷史學者需要什麼,而歷史學者不知道資訊技術可以做到什麼程度。又或許問題未必是不能兼習二者,還有兩種研究取向在基本預設上的差異。

以「細讀」與「遙讀」的對比為例,歷史研究通常強調史料的脈絡,透過精讀深入分析,凸顯其獨特性或時代特徵,而量化為基礎的分析通常較傾向尋找共相與規律。這當然不是說歷史研究對模型、趨勢等不感興趣,而是歷史研究通常更在意這些模型與趨勢的時間向度,及其與特定時空脈絡的聯繫。即使是人口、戶口、價格、收支等經濟財政的數字,歷史研究者也常反省這些數字的生產脈絡與代表性,對來自文本計量分析及其簡潔的結論更有警惕。

舉例來說,在社會網絡分析會以「連線」來表示兩人關係,但在文本中,兩人共現所依附的詞句(如「為之作序」、「師生」、「同年」)是否能一律視為同等的關係而以同樣的線條表示?而關係的持續時間、強弱如何在模型中呈現?雖然在社會網絡分析中多會引入關係強度的考慮,但這些變項要如何在圖中表示與分析?對計量分析者而言,龐大樣本可以沖淡少數錯誤,不影響整體趨勢;然而在歷史研究中,能抽取的有效案例往往有限,這使人不得不質疑計量結論的信度與解釋力。史料的質與量是否足以支撐統計分析,正是歷史學者最關切的問題。

其次,能夠經數位化並整理過的歷史文獻仍然有限,因此在固定範圍內進行文本計量分析時,必須先釐清文本能回答的問題,以及其分析的限度。許多學者提醒,數位化資料本身可能存在偏差,字詞的意義也會隨時代而變,高頻詞彙未必就代表更重要的概念。[8]同時,不同時期留存的資料數量與品質差異很大,若要進行歷時性分析,必須留意這些比例上的變動。以前述《清實錄》為例,它或許能夠呈現的是皇帝所接收到並被記錄下來的訊息,因此相關分析結果必須放在這一脈絡下來理解。再者,如同清代各朝檔案留存數量不同,《清實錄》在不同時期或許也有記錄標準與詳略不一的問題,因此在比較時必須納入這些差異。原則上,對單一文本的分析應注意結果可解釋的範圍;而在多文本分析時,還要進一步考慮不同文本是否可直接並置,以及它們在數量與比例上的差異。

再者,歷史研究雖然以史料文本為基礎,但又不止於文本本身。不少數位化工具嘗試各種自然語言處理(natural language processing, NLP),讓分析結果更接近語意,讓電腦更會「讀」。然而在實際研究中,學者常會發現研究並非只是文本的排列或堆疊,或者是追求更多文本的排列堆疊。敘述中缺失的連結,或論點中關鍵的聯想與推理,往往來自經驗、想像、默會知識或靈感等難以言喻的環節。數位工具的分析結果因此更適合作為觸發靈感、推動論述建構的助力,而不是取代研究者判斷的最終結論。

歷史學的研究有時是從問題出發而蒐集史料,而這些問題常常源自對前人二手研究的閱讀;也有些研究則因為接觸到特定史料而發現問題,進而展開探討。隨著數位方法的出現,不少研究似乎是因工具而起。在工具發展的初期,從新方法的探索出發是自然的,但若要成為成熟的研究,仍必須回應歷史學本身的問題意識,並在史料層面具有說服力。若研究僅止於「常識的證明」,即用計算重複驗證一個本來就容易觀察到的現象,就難以展現其價值。要使數位方法真正深化歷史研究,除了技術之外,或許也需要對學術史脈絡與史料性質的掌握,在此基礎上善用數位方法的優勢而推動新的突破。

 

3. 生成式 AI:新挑戰與新契機

 

近年來數位方法最大的衝擊莫過於生成式 AI。資訊科技長久以來的努力之是希望讓電腦能更接近「讀懂」人類語言,不僅是把數位化資訊視為符碼處理,而是能在語境中模擬語意並做出回應。從自然語言處理到人工智慧的發展,生成式 AI 在某種程度上可說是推進了這一目標:它不僅能「讀」,還能「寫」。生成式 AI 透過在巨量數位語言資料上訓練出的模型,利用機率統計來預測接下來的文字,因而能根據提示(prompt)生成文本,呈現出類似語言交流的效果。不過當電腦真的好像能讀能寫時,又引起人類的恐慌了。

對於生成式 AI 的影響,學界與社會上已經有許多討論。它的強大能力與快速進步有目共睹,但同時也引發不少疑慮。其中最常被提及的問題之一是所謂的「幻覺」(hallucination),即模型生成出看似合理卻實際上虛構的內容,且因表達過於自然,往往容易讓人誤信。另一項挑戰是其運作機制猶如黑箱,生成過程缺乏透明性,使得結果難以重複驗證。對此,也有許多改進的方向。例如「檢索增強生成」(retrieval-augmented generation, RAG),透過在大型語言模型生成回應前先檢索指定資料庫,讓回答有更可靠的依據,從而降低幻覺的風險。另一些方法則強調「提示工程」(prompt engineering),藉由精心設計的提示詞,提高生成結果的相關性與精確度。

在眾多討論之外,限於篇幅本文僅能略提幾點。生成式 AI 在某些基礎工作上確實是強大的工具,例如清理文件、翻譯、搜尋相關研究等。它能以自然語言互動,降低使用門檻,使研究者更輕鬆處理大量資料。不過與傳統數位工具相比仍有差異:一般數位工具多依研究者輸入原始資料,並以明確界定的方式進行處理;生成式 AI 則是基於預先訓練的大量語言資料運作,雖能透過自然語言調整輸出方向,但結果往往難以精確控制,且多數模型也未開放如temperature等參數調整。這種「不透明性」容易引起使用者不安,也使其如何納入研究設計成為挑戰。

若不僅將生成式 AI 視為「處理資料的工具」,而是利用它「在既有模型中引入隨機性生成新文本」的設計,它也可以成為一種「思考與推論的實驗室」。研究者可以輸入特定資訊、限定條件或討論框架,藉由 AI 生成看似合理的新文本,獲得新的啟發。若再結合「檢索增強生成」(RAG)與「提示工程」,不僅能提供來源依據,也能讓生成的論述更符合研究需求。這樣的使用方式或許能幫助研究者發現史料閱讀中未曾注意的連結,拓展論點的方向。然而,傳統上從資料處理到論點形成的過程,雖可依賴工具輔助,但最終的統合與思考必須由研究者完成,這正是學術原創性的來源。若在過程中大量引入人工智慧的參與,是否構成研究倫理的問題,當前已有聲音要求學者揭露 AI 介入的程度。

此外,當 AI 被納入思考過程時,研究者的「鑑別能力」就更顯重要。不能輕信生成的文本,而必須能判斷哪些有依據、哪些屬於虛構。畢竟生成式 AI 並不是真的會思考,而是透過運算與機率生成可能的語言回應。這種鑑別力需要依賴史學訓練,包括解讀史料、具備基本領域知識、判別合理證據與推論等。若研究者一開始就依賴 AI 代勞這些基本功,反而會使能力難以養成。而且在語料庫的擴大與模型精進,未來一個個人在愈來愈少的實作經驗下累積的能力,是否還可以鑑別生成式AI給出的結果,則又是可能要面對的模型精進挑戰。

 

、小結

 

本文討論了數位時代歷史研究的前兩階段:史料收集,以及史料處理與形成論點的過程。然而,相較於十九世紀以來奠定的期刊論文與專書體制,研究成果的呈現與傳播在數位時代也出現了顯著變化。在成果呈現上,史料易得使長引文的運用更頻繁,然而數位環境下也讓圖像與多媒體更方便用來論證,也更方便用來展現結果。計量的研究也影響論文寫作與推論的方式。在成果傳播上,電子期刊與社群媒體的即時性,使傳統固定出刊節奏的期刊顯得遲緩。線上分享則重塑了意見交換的動態,不僅改變學術社群內部的互動,也重新界定學術研究與更廣泛社會之間的關係。前端的改變只是影響到研究者怎麼作研究,然而後端的改變則影響到「研究」在社群中是什麼、學術集體要怎麼運作,值得再作更深入的討論。

數位化本身是一種資訊儲存、處理與傳遞方式的變革。這篇文章以資訊為切入點,想討論作為資訊處理學科的歷史學在數位化的環境之下受到哪些挑戰、得到哪些機會。雖然只能大略的討論,並且在一些地方提出反省,但我們仍不得不承認數位化讓史學研究比起四十年前、二十年前有更多可能性、有更多豐富的問題可以探討。這些可能性讓各階段的歷史研究者、典藏單位、技術開發與數位人文學者,迎來時時常新的局面。

漢籍2005年改版時,史籍自動化與漢籍資料庫的重要推動者謝清俊研究員曾說:[9]

筆者曾半開玩笑地對朋友說過,做個資料庫比生個孩子還累;生孩子也許只要照顧二十年,可是照顧資料庫卻是永無休止的負擔。此言照顧,主要包括資料庫的維護、更新和改版。其中,改版一事又好比是資料庫在資訊科技的無常(進步)裡輪迴;若不「投胎轉世」,即配合電腦硬體、軟體和網路的環境改版而再生,則資料庫遲早會「形神具滅」。歷年來,「形神具滅」的資料庫,可說是不計其數。漢籍全文資料庫能存活二十年,是大家努力的成就,值得慶幸、珍惜。

如今漢籍資料庫從史籍自動化開始算起已經超過四十年,儘管各類更強大的全文資料庫迭興,漢籍本身也有許多可以再改進的地方,但始終維持穩定與高品質的服務。資料庫的維護者感受到技術進步帶來的衝擊,研究者同樣面對這樣的壓力。然而學術研究若要持續保持活力,就必須在這樣的循環裡不斷調整自身的方法。歷史學從來不是靜態的學問,它之所以能夠長久存在,正因為能夠回應新的知識環境與社會需求。

在這個意義上,數位化並不是單純的外在工具,而是推動歷史學思考方式更新的一部分。它提醒我們:史料的定義可以再被擴大,資訊處理的技藝可以再被重塑,知識傳播的邊界可以再被突破,不同領域的協力將愈來愈重要。數位時代的歷史學或許更加複雜與不確定,但也因此充滿創造性的可能。歷史研究者不只是面臨挑戰,更是獲得前所未有的探索空間。這些新的條件,為研究者帶來了豐富的資源與方法,讓歷史學能以更多元的形式與社會對話,並開啟過去難以想像的問題意識與研究方向。

 


註腳

[1] 關於史籍自動化與漢籍全文資料庫的發展回顧,參考黃寬重,〈數位典藏與人文研究:中央研究院文獻資料數位化工作的回顧與展望〉,《漢學研究通訊》20.2(2001):68-74;劉錚雲,〈史語所漢籍電子文獻資料:回顧與展望〉,《古今論衡》31(2018):3-18。

[2] 如果追根究柢,此計畫並非台灣第一次在文史領域中運用數位化資料的嘗試,如謝清俊提到他在1982年便曾為潘重規用電腦處理《紅樓夢》,然而此計畫還是第一次持續下來,且發揮影響力的大型計劃。謝清俊,〈漢籍全文資料庫的緣起、沿革與展望〉(稿),「漢籍全文資料庫系統改版發表會」,2005.09.22。

[3] 張毅軍,〈電腦跨界讀古書〉,《台灣光華雜誌》1987 https://www.taiwan-panorama.com/Articles/Details?Guid=af27560c-ca08-48eb-8050-de200fa3dc53&CatId=9&postname=%E9%9B%BB%E8%85%A6%E8%B7%A8%E7%95%8C%E8%AE%80%E5%8F%A4%E6%9B%B8

[4] 如項潔主編,《從保存到創造:開啟數位人文研究》(台北:國立臺灣大學出版中心,2011);林富士主編,《「數位人文學」白皮書》(臺北:中央研究院數位文化中心,2017)等等。

[5] 部分討論參考Ian Miligan, The Transformation of Historical Research in the Digital Age (Cambridge: Cambridge University Press, 2022).

[6] 余英時,〈中國史學的現階段:反省與展望〉,《史學與傳統》(台北:時報文化,1982),1-29。

[7] Richard Tzong-Han Tsai et al., “Digital humanities approach to analyzing the roles and military power of Supreme Commanders and Grand Coordinators in the Ming Dynasty: a computational analysis of Ming Shilu,” Digital Scholarship in the Humanities, 40.3 (2025): 910–927. https://doi.org/10.1093/llc/fqaf024

https://academic.oup.com/view-large/figure/530512161/fqaf024f2.tif

[8] 參考Jo Guldi, The Dangerous Art of Text Mining: A Methodology for Digital History (Cambridge: Cambridge University Press, 2023).

[9] 謝清俊,〈漢籍全文資料庫的緣起、沿革與展望〉(稿),「漢籍全文資料庫系統改版發表會」,2005.09.22。

 


本文採用 創用CC 姓名標示非商業使用禁止改作 3.0 台灣版條款 授權。

歡迎轉載與引用,但不得為商業目的之使用,亦不得修改本文。轉載、引用本文請標示網址與作者,如:

李仁淵/數位時代的歷史學研究:一些方法論的思考
引自歷史學柑仔店(https://kamatiam.org/數位時代的歷史學研究:一些方法論的思考/)


 

最後修改日期: 2025-10-13

留言

發表迴響