凌華攜群聯推「DLAP Supreme」提升企業地端設備AI運算能力

記者／孫敬 Archer Sun

工業電腦廠凌華科技，上週宣布和台灣IC設計公司群聯電子，合作推出「DLAP Supreme」邊緣生成式AI平台，其整合群聯固態硬碟（SSD）產品「aiDAPTIV+」，可提升推論（Inferencing）速度8倍、Token長度4倍，打破地端生成式AI應用中的記憶體限制，提升地端設備的AI運算能力。

延伸閱讀：凌華攜銳能推「EMS能源管理系統」電動車社區高效充電服務

凌華DLAP Supreme提升運算效能助企業訓練LLM模型

「我們希望通過DLAP Supreme系列，幫助更多企業和機構輕鬆導入生成式AI技術，並在降低成本的同時，提升效能。」凌華科技邊緣運算平台事業處總經理陳少華指出，凌華跟群聯合作超過十年，這次共同推出的DLAP Supreme系列，將進一步推動智慧製造與智慧城市等場景中的AI普及與應用。

凌華表示，隨著生成式AI逐步滲透至各行各業，許多地端設備在執行大型語言模型時，面臨因DRAM容量不足而造成的性能瓶頸，影響模型運行，甚至出現Token長度不足等問題。

若以DLAP Supreme框架，套用DLAP-411 Orin Supreme搭載NVIDIA Jetson AGX Orin 32GB組態搭配上Gemma 27B模型為例，其推論產生第一個Token的時間（Time To First Token, TTFT）提升了8倍，一次性處理的Token長度提升了4倍，並可執行需在H100／A100 80G tensor core GPU才能運行的模型訓練任務，顯著的提升了運行生成式AI模型的效能，大幅度降低部署生成式AI的成本。

去年4月，群聯電子執行長潘健成於AI EXPO大會分享aiDAPTIV+產品，企業可在伺服器內透過群聯自行開發的軟體，把SSD當作記憶體來使用，來解決AI運算導致記憶體容量不足的問題，目前這項技術已獲雲達、技嘉、研華和華碩等伺服器廠使用。

「群聯推出的邊緣AI技術方案aiDAPTIV+，很高興能協助凌華打造以NVIDIA Jetson AGX Orin平台為基礎的全新DLAP Supreme邊緣生成式AI系列，這不僅是一項重要的合作里程碑，更將在邊緣AI的發展上掀開新篇章。」潘健成回應，未來將共同加速並擴大邊緣AI在模型fine-tuning的應用及市場，特別是在智慧製造、智慧城市及其他產業場景中的實際應用。

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

瀏覽 184 次