輝達推全新4款NIM微服務 加速提升組織必要安全性與效能

記者 / 孟圓琦

當全球都在追求主權 AI ─ 其中涵蓋了實體及數據基礎設施，並以各地自身的數據資料、運算基礎設施、商業網路等，進行 AI 發展，同時確立 AI 系統與在地的法律及價值觀吻合。作為全球 AI 風向儀的輝達 (NVIDIA) 今 (27) 日發表 4 款全新NVIDIA NIM 微服務，不僅支援社群慣用的各項模型，同時針對當地需求、語言和文化進行打造，強化與當地使用者的互動、同步優化並準確回應。

延伸閱讀：捨不得黃金手銬 輝達員工選對公司入對行嗎

使用一個地區的語言訓練大型語言模型（LLM），能夠更精準地理解和反映文化與語言上的微妙之處，有益於確保進行更加精準細緻的溝通，創造出更有效果的輸出內容。比如使用日文資料訓練出的Llama-3-Swallow-70B，和用國語資料訓練出的 Llama-3-Taiwan-70B 皆屬於區域語言模型，可更深入瞭解當地法律、法規和其他習俗。而建立在 Mistral-7B 模型上的 RakutenAI 7B 系列模型，投入英文和日文資料集進行訓練，並且可以當成用於對談（Chat）和指令（Instruct）的兩種不同的NIM 微服務提供給外界使用。

全球人工智慧發展主力集中主權 AI

全新 NIM 微服務讓企業、政府機構和大學得以在各自的環境中託管原生 LLM，使得開發人員能夠開發先進的 AI 輔助功能（copilots）、聊天機器人和 AI 助理。連同新加坡、韓國、阿拉伯聯合大公國、瑞典，再到法國、義大利和印度，全球各地皆投注相當的心力在發展主權 AI 基礎設施。

適用於 Llama 3 70B 的 NIM 微服務可提供高達 5 倍的輸出量，而 Llama 3 70B 正是全新 Llama-3-Swallow-70B 與 Llama-3-Taiwan-70B NIM 微服務的基礎模型。這麼一來可以降低在生產環境中運行模型的總成本，又能減少延遲，讓使用者享受更好的操作體驗。

各國多項產業組織採用 NIM 微服務 提升工作效率

NIM 微服務能夠加速部署、提升整體效能，且為全球各產業的組織提供必要的安全性，這些產業包括醫療保健、金融、製造業、教育與法律。其中，東京工業大學即使用日文資料微調 Llama-3-Swallow 70B。此外，日本的 AI 公司 Preferred Networks 則是使用 Llama-3-Swallow 模型，開發出專門用於醫療保健領域的模型，這個名為 Llama3-Preferred-MedSwallow-70B 的模型更是在日本國家醫師考試中拿下高分。

台灣也有不少企業或醫療單位進行採用，如長庚紀念醫院目前正在建置該院專屬的 AI 推論服務（AIIS），使用 Llama 3-Taiwan 70B，提供患者能夠理解更細膩的醫療語言，提高第一線醫護人員的工作效率。和碩聯合科技將採用 Llama 3-Taiwan 70B NIM 微服務來開發供內部及外部使用的應用，該公司已將這款微服務與旗下的 PEGAAi Agentic AI 系統進行整合，以達到流程自動化，提升製造與營運效率。

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

瀏覽 111 次