AI年代:港企「專才」代「通才」低成本攻AI 以百個AI Agent代替語言大模型
【明報專訊】人工智能語言大模型爆紅這兩年多以來,市場參與者好像都是美國和內地大公司。這是因為開發大模型的投資驚人,門檻極高。不過,也有本地公司另闢蹊徑,利用100個專門搜尋某種主題內容的AI Agent程式,發揮類似大模型的效果。該公司還計劃進一步推出文生圖和文生短片功能。
明報記者 薛偉傑
港科研集團(Sengital Group)創辦人兼主席林曉鋒表示,早在兩年多前某些人工智能語言大模型(LLM)推出初期,他試用了一些時間後發覺兩大問題:第一,是AI幻覺問題,當它們被問到一些不懂的名詞時,有時會無中生有地作一些資料;第二,它們回覆的答案雖有來源,卻可能來自一些可信度低或已失效的網頁。
訓練「專才」減少「AI幻覺」
作為一名科技人兼3間本地大學的客席教授,他覺得這些出錯率太高。於是,他決定另闢蹊徑,自行研發可以和它們競爭的產品。林曉鋒表示,市場上的LLM普遍都被當成一個「通才」般訓練。但他覺得若將知識細分成100個主題,分別訓練100個專攻某一主題的「專才」(AI Agent程式),加起來便可能勝過一個「通才」(LLM),尤其在減少出錯方面。這就是該公司的人工智能平台POffices.AI的基礎概念。
林曉鋒還設計了一批自動化程式,每日向這100個AI Agent提供公開資料來訓練它們。在訓練過程中,這100個AI Agent亦會持續地為不同網站的可信度評分。每個AI Agent背後亦有一個雲端資料庫,儲存茈戍P斷為可信的資料。
POffices.AI的使用方式,和一些不需下載程式安裝的LLM沒什麼分別。只是POffices.AI有可能需要多一些時間來開始回應(約20多秒),以及完全生成答案(約一至兩分鐘)。POffices.AI生成的答案,會在結尾列出多個資料來源,方便用戶翻查和判斷可信程度。此外,它在一些細節上,更設計得比較貼心。例如,LLM通常只提供文字答案,讓用戶複製。若答案內包括數理方程式,複製之後會變成一堆散開的文字和符號。POffices.AI的答案除了可以包括統計圖表、數理方程式之外,用戶也可以將答案儲存成pdf、docx、pptx等多種格式下載,以保留圖表和方程式不變。林曉鋒自己出試題給研究生,也不時借助POffices.AI。
人機交互仍由LLM處理 運作時間或較長
至於運作時間可能較長,林曉鋒解釋這是因為POffices.AI背後的流程較多。首先,POffices.AI的前端其實都有利用兩個主流的LLM處理人機交互工作,讓用戶以各種語言的文字或語音輸入問題。接荂A系統會召喚出最適合的AI Agent,來搜尋和核實資料。隨後「檢索增強生成」(RAG)程式會將相關的檔案或網頁內容整合成大約3500至4200字的資料,交回給那兩個LLM。最後,那兩個LLM再將資料撮寫成大約1200字的答案(若用戶沒指定長短),過程中也可能包括翻譯。
林曉鋒表示,POffices.AI將人機交互工作交給LLM,是因為LLM在撮寫、翻譯、語音辨識等技術方面確實成熟和準確。但重要性最高的搜尋和核實資料工作,都是由該公司自行開發的AI Agent負責。而該公司亦可以隨時更換那兩個LLM,不怕被外國卡脖子。暫時該公司是使用DeepSeek加上一個美國的LLM。
公司內部已使用逾一年半
該公司2023年9月研發出POffices.AI第一個版本,都是在公司及參與投資的其他初創公司內部使用。直至月前才逐步在本地IT業界內發表,以及正式推出。現時,POffices.AI的每日使用人次已經達到以萬計。
6月3日,該公司宣布將推出3款預先安裝了POffices.AI和LLM的「AI一體機」,開始接受預訂。三者定價分別是19.98萬、29.98萬、49.98萬元,最初3日預訂可獲半價優惠。