輝達NVIDIA NeMo微服務上線！有效助企業IT部門訓練AI代理模型

記者孫敬／台北報導

為因應生成式AI快速發展，不少公司的IT部門都希望能建立自己的AI戰鬥部隊，但具體來說又能怎麼做？輝達（NVIDIA）今日宣布推出端到端平台NVIDIA NeMo微服務，不僅支援多個大型語言模型，更透過資料飛輪（Data Flywheel）協助企業IT部門快速建立AI代理模型（AI Agents），系統藉由推論、商業資料及使用者互動回饋，持續優化模型效能。

延伸閱讀：輝達推出新一代AI模型「Eagle 2.5」 性能直逼參數大十倍的GPT-4o

NeMo微服務擁有多個訓練代理模型工具

細看NeMo微服務提供的工具中，包含NeMo Customizer、NeMo Evaluator、NeMo Guardrails、NeMo Retriever及NeMo Curator。

NeMo Customizer可加速微調大型語言模型，將訓練輸送量加大 1.8 倍；NeMo Evaluator能簡化AI模型跟工作流程評估；NeMo Guardrails則協助組織實施符合組織政策與指導方針的強大安全和保護措施。除了上述三種開發AI代理的關鍵元件外，開發人員亦能搭配NeMo Retriever來幫助AI再資料庫中找到正確的知識；NeMo Curator主要用於訓練高度準確的生成式AI模型。

資料飛輪的概念，可以想像成訓練AI越來越聰的大腦，AI在不斷的與環境互動時，產生的大量資料經NeMo Curator整理，再轉交NeMo Evaluator評估其表現，NeMo Customizer在這階段會幫助微調，使模型精準度提升，這全部的運作過程將不用花費大量人力，也能維持模型訓練跟自主強化的特性，應用範圍涵蓋如自動偵測詐欺活動、購物助理、預測性機器維護、文件審查等。

多個企業已採用NeMo微服務，提高 AI 代理的準確性

輝達表示，目前已有多個企業將NeMo微服務投入訓練模型，美國電信業者AT&T透過微調Mistral 7B模型，使用 NeMo Customizer 和 Evaluator 將 AI 代理的準確性提高 40%；貝萊德在Aladdin技術平台上提供代理型AI；思科的Outshift團隊則透過NeMo微服務將工具選擇錯誤率降低40%，且回應速度加快10倍；納斯達克將NeMo Retriever微服務用於增強平台搜尋功能，準確性和回應速度提高30%。

現有的NeMo微服務可支援的開源模型，包括Llama、微軟的Phi系列、Google Gemma、Mistral ，以Llama Nemotron Ultra，Meta也透過Meta Llamastack全新連接器來整合NVIDIA NeMo微服務。

另外，Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights & Biases等AI軟體供應商，皆將各自的平台與NeMo微服務整合。開發人員同樣可以在CrewAI、Haystack by deepset、LangChain、LlamaIndex和Llamastack等AI框架中使用NeMo微服務。

瀏覽 175 次