AMD宣佈推出專為本地運行大語言模型(LLM)設計的開源應用GAIA,目前支援Windows平臺。GAIA是一款生成式AI應用,可在Windows PC上實現當地語系化私密運行LLM,並針對銳龍AI 300系列處理器進行了優化。該應用通過NPU提升AI任務性能,並支援混合部署量化LLM。
GAIA基於ONNX TurnkeyML的Lemonade SDK開發,採用檢索增強生成(RAG)技術,支援Llama、Phi等主流模型。其四大功能模組包括Chaty聊天機器人、Clip視頻搜索專家、Joker笑話生成器和Simple Prompt測試工具。
AMD提供普通版和混合版安裝方案,普通版相容任意Windows設備,混合版專為銳龍AI 300系列優化。GAIA的當地語系化處理確保數據隱私,回應延遲降低至毫秒級,並支援離線運行。該項目採用MIT開源協定,未來或擴展至多平台支援。