全台首個BLOOM 語言模型　企業快速進入AI 2.0世代

記者／Shirley

近期大型語言模型（Large Language Model，LLM）火紅加上生成式AI（Generative AI）的快速發展，開啟新世代AI，台智雲今（2/14）宣布領先全台成為第一個成功建置1,760億個參數的BLOOM（BigScience Large Open-science Open-accessMultilingual Language Model）大模型，推出「AI 2.0大算力顧問服務」一站式整合方案，讓企業降低進入生成式AI開發的門檻，可立即投入AI應用研發，進入AI 2.0世代。

台智雲表示，完成的BLOOM大模型，資料集包含46種人類語言、13種程式語言，參數量達到1,760億個，整體資料量高達1.5TB以上，運用了840個GPU做跨節點（node）訓練，除了效能逼近線性理論值外，也可收斂訓練結果，若欲增加效能，也可用線性的方式擴容（scale out），增加GPU提升平行運算能力。

另外企業自行推動LLM專案，需熟悉分布式訓練架構、建置AIHPC高速運算系統、理解微調技術（fine-tune）、大模型推論（inference），布建門檻極高，若使用「AI 2.0大算力顧問服務」，可快速降低投入時間、技術成本、開發風險、硬體設備和人力投資等成本，打造自有生成式的AI應用。

台智雲技術長陳忠誠表示，AI技術結合大型語言模型已是產業科技發展的趨勢，但企業要單獨執行LLM專案的難度極高，利用一站式AI 2.0大算力顧問服務，可更專心投入研發專案，大幅降低進入門檻。台智雲AIHPC高速運算平台結合技術資源團隊，提供完整的AI外部支援，現今已有高科技研發製造、金融和零售領域企業正在洽談合作中。

瀏覽 1,127 次