AMD發佈開源專案GAIA,加速本地端大型語言模型高效運行
更新于:2025-03-26 01:15:02

AMD近日宣佈推出一項名為GAIA的全新開源應用程式,其設計目標在於提升大型語言模型(LLM)於本地端的運行效率。目前GAIA支援Windows平臺,是一款生成式AI應用,旨在讓使用者能在Windows個人計算機上實現LLM的當地語系化私密運算,並已針對Ryzen AI 300系列處理器進行優化。該應用程式通過利用神經網路處理單元(NPU)來增強AI任務的性能,並支援混合部署量化的LLM。

據悉,GAIA是基於ONNX TurnkeyML的Lemonade SDK所開發,並採用了檢索增強生成(RAG)技術,可支援包括Llama、Phi等主流模型。其功能模組主要包含四個部分:Chaty聊天機器人、Clip視頻搜索專家、Joker笑話生成器以及Simple Prompt測試工具。

GAIA專案包含四大功能模組,每個模組都針對特定應用場景進行了優化:

AMD為GAIA提供了普通版和混合版兩種安裝方案。普通版相容任意Windows設備,這意味著無論您使用什麼樣的計算機,都可以輕鬆安裝和使用GAIA。混合版則專為銳龍AI 300系列優化,能夠充分利用AMD處理器的AI運算能力,提供更佳的性能和體驗。

GAIA的一個重要特點是當地語系化處理。所有數據都在本地設備上進行處理,無需上傳到雲計算伺服器。這不僅確保了用戶的數據隱私,還大大降低了回應延遲。GAIA的回應延遲降低至毫秒級,讓用戶能夠享受到即時、流暢的AI體驗。此外,GAIA還支援離線執行,即使在沒有網路連接的情況下,也能夠正常工作。

GAIA項目採用MIT開源協定,這意味著任何人都可以免費使用、修改和分發GAIA的程序代碼。這種開放的模式有助於吸引更多的開發者參與到GAIA的開發中來,共同推動GAIA的發展。未來,GAIA團隊計劃將GAIA擴展至多平台支援,讓更多的用戶能夠體驗到GAIA的便利和智慧。