輝達推全新4款NIM微服務 加速提升組織必要安全性與效能
記者 / 孟圓琦
當全球都在追求主權 AI ─ 其中涵蓋了實體及數據基礎設施,並以各地自身的數據資料、運算基礎設施、商業網路等,進行 AI 發展,同時確立 AI 系統與在地的法律及價值觀吻合。作為全球 AI 風向儀的輝達 (NVIDIA) 今 (27) 日發表 4 款全新NVIDIA NIM 微服務,不僅支援社群慣用的各項模型,同時針對當地需求、語言和文化進行打造,強化與當地使用者的互動、同步優化並準確回應。
延伸閱讀:捨不得黃金手銬 輝達員工選對公司入對行嗎
使用一個地區的語言訓練大型語言模型(LLM),能夠更精準地理解和反映文化與語言上的微妙之處,有益於確保進行更加精準細緻的溝通,創造出更有效果的輸出內容。比如使用日文資料訓練出的Llama-3-Swallow-70B,和用國語資料訓練出的 Llama-3-Taiwan-70B 皆屬於區域語言模型,可更深入瞭解當地法律、法規和其他習俗。而建立在 Mistral-7B 模型上的 RakutenAI 7B 系列模型,投入英文和日文資料集進行訓練,並且可以當成用於對談(Chat)和指令(Instruct)的兩種不同的NIM 微服務提供給外界使用。
全球人工智慧發展主力集中主權 AI
全新 NIM 微服務讓企業、政府機構和大學得以在各自的環境中託管原生 LLM,使得開發人員能夠開發先進的 AI 輔助功能(copilots)、聊天機器人和 AI 助理。連同新加坡、韓國、阿拉伯聯合大公國、瑞典,再到法國、義大利和印度,全球各地皆投注相當的心力在發展主權 AI 基礎設施。
適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量,而 Llama 3 70B 正是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型。這麼一來可以降低在生產環境中運行模型的總成本,又能減少延遲,讓使用者享受更好的操作體驗。
各國多項產業組織採用 NIM 微服務 提升工作效率
NIM 微服務能夠加速部署、提升整體效能,且為全球各產業的組織提供必要的安全性,這些產業包括醫療保健、金融、製造業、教育與法律。其中,東京工業大學即使用日文資料微調 Llama-3-Swallow 70B。此外,日本的 AI 公司 Preferred Networks 則是使用 Llama-3-Swallow 模型,開發出專門用於醫療保健領域的模型,這個名為 Llama3-Preferred-MedSwallow-70B 的模型更是在日本國家醫師考試中拿下高分。
台灣也有不少企業或醫療單位進行採用,如長庚紀念醫院目前正在建置該院專屬的 AI 推論服務(AIIS),使用 Llama 3-Taiwan 70B,提供患者能夠理解更細膩的醫療語言,提高第一線醫護人員的工作效率。和碩聯合科技將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用,該公司已將這款微服務與旗下的 PEGAAi Agentic AI 系統進行整合,以達到流程自動化,提升製造與營運效率。
※探索職場,透視薪資行情,請參考【科技類-職缺百科】幫助你找到最適合的舞台!
瀏覽 184 次