全球首款繁中 AI 語言模型開源釋出 聯發科:比現有大1000倍
記者/林育如
大型語言模型為人工智慧技術進步的重要的一環。由聯發科技集團轄下的前瞻技術研究單位聯發創新基地、中央研究院詞庫小組和國家教育研究院三方所組成的團隊,22日宣布開放全球第一款繁體中文語言模型到開源網站提供測試。以開源語言模型BLOOM開發的繁體中文大型語言模型,比目前開源可用的最大繁體中文模型大1,000 倍,所使用的訓練資料也多1,000倍。
為了建立該項語言模型,三方運用各自優勢資源。其中,國家教育研究院提供了大量高品質的繁體中文語料,聯發創新基地則建置了訓練的硬體環境,而中央研究院詞庫小組則針對模型生成的文字不合適的內容,進行自動偵測與改正的研究與評估。
大型語言模型近來的蓬勃發展,源自於 2019 年 Google 推出的 BERT 語言模型,以及同年 OpenAI 開始推出的一系列 GPT 語言模型。這些大型語言模型已經被證實具備相當的知識與能力,即使在少量訓練資料,甚至無訓練資料之下也依然能夠對新任務產生正確結果,已成為人工智慧往前進化不可或缺的基礎。
聯發創新基地負責人許大山表示,此次合作結合台灣極少數能訓練大型語言模型的團隊,以透明、開放和包容的方式,善用技術、人才及資源,既發展自主訓練大型人工智慧模型的能力,也讓繁體中文的大型語言模型研究及應用更為普及。
聯發科表示,模型已公開讓外界下載,可應用於問答系統、文字編修、廣告文案生成、華語教學、客服系統等。
瀏覽 1,595 次