隨著大模型在社會應用中逐漸普及,人們在享受便利的同時,也面臨著“AI 幻覺”產生的風險。訓練數據是影響大模型“認知能力”的關鍵要素,近期,上海合合資訊科技股份有限公司(簡稱“合合資訊”)TextIn“大模型加速器 2.0”版本正式上線,基於領先的智慧文檔處理技術,對複雜文檔的版式、佈局和元素進行精準解析及結構化處理,從數據源頭降低大模型“幻覺”風險,讓大模型在與人類的溝通中“更靠譜”。
圖說:“大模型加速器 2.0”文檔解析引擎助力知識庫理解手寫筆記示意圖
據悉,升級后的“大模型加速器”在複雜版面理解、表格及圖表處理、內容溯源等能力上實現新突破,可精準識別上千種文檔中的跨頁表格、合併儲存格、密集表格、手寫字元及公式,解析穩定率達99.99%,單頁處理耗時較行業可比產品降低超30%;可“逆還原”十余種專業圖表數據,並將其轉化為大模型可理解的結構化數據。此外,“大模型加速器 2.0”版本新增知識庫系統列開源元件,助力醫療、製造、教育等行業開發者構建個人化的知識庫。
文檔解析技術助力教育大模型建設
大模型需要不斷“吸收”正確的專業知識,才能應對實際應用問題。合合資訊技術團隊成員表示,在處理年報、論文、實驗室報告等專業文檔的過程中,一個符號的解析失誤,便可能“誤導”大模型,得出與事實相悖的結論。可信性的缺失,也制約了大模型在實際應用場景中的縱深拓展。
賽爾教育科技發展有限公司(簡稱“賽爾教育”)系“中國教育和科研計算機網CERNET”的運營公司賽爾網路的重要子公司,是教育國際化、教育資訊化、數位化教育方案的供應商。賽爾教育CTO、教育數位化事業部總經理楊林提到,教育行業中所涉及的文檔格式多樣,在內容上也包含了表格、公式、手寫字元、多語言文字等資訊。如何高效準確地提取各類文檔中的文本資訊,並非易事。
“教育行業的大模型建設工作中,數據的數量和品質起著決定性作用。我們做了很多嘗試,模型的速度和準確性都達不到要求,嚴重影響科研工作的進展。”楊林表示,行業知識庫的構建基於大量文檔的文本資訊提取,需要高效率、高準確率的工具。合合資訊文檔解析技術提供了專業的技術支持和服務,有效解決了文檔處理過程中的問題。
在“大模型加速器”的支援下,合合資訊與賽爾教育共同協作,提升大模型對複雜版面、元素的“理解”,使其按照人類正常的閱讀順序識別文檔結構,智慧劃分標題、段落、表格和圖表等內容塊,説明大模型理解版面、內容間的對應關係,減少AI“幻覺”現象。
圖說:圖表解析模組將圖表還原為表格數據
除了複雜的版面佈局,種類繁多、空間結構複雜的圖表元素也是解析難點所在。“大模型加速器2.0”圖表解析模組可智慧提取多種圖表中的關鍵數據點、座標軸資訊、圖例說明等,在精準解析不同類型圖表數據的基礎上,將其還原為一組完整的Excel表格數據,作用於教育行業大模型微調,學科知識庫建設、智慧審閱等環節。
智慧溯源讓大模型用得更“安心”
近期,多家券商機構紛紛宣佈接入大模型,説明分析師、行業研究員等專業人士提高工作效率。為説明用戶簡化專業文件數據篩選和數據抽取流程,提升文件內容解讀效率與準確率,“大模型加速器 2.0” 上線了知識庫產品元件,支援複雜文檔的智慧問答、總結與檢索。
為了讓行業“安心”使用大模型,知識庫產品推出溯源功能,通過在“投喂”給知識庫的Markdown及JSON檔中標記頁碼、座標等空間位置資訊,實現對句子、段落的精確溯源,為使用者提供了一個快速檢驗的路徑。以財務分析為例,大模型在多份高達上千頁的財報檔中找到收入、利潤等關鍵數據后,券商分析師可利用溯源功能定位原表格,對資訊進行複核,防止錯誤、遺漏。
圖說:知識庫對財報數據所在表格進行精準溯源
目前,知識庫元件已面向開發者開源,幫助其根據自身需要快速構建個人化行業知識庫。此前,合合資訊已開源智慧文檔處理“百寶箱”系列產品,解決文件解析精度低、解析效果評估難等問題,開發者可根據研發需求靈活搭配使用。未來,“大模型加速器”將持續優化反覆運算,助力大模型在各行各業中“百花齊放”。