性能超越 Meta 和 Google 微軟推全新 Phi 3.5模型

編譯／莊閔棻

微軟推出了一系列經過更新的小型語言模型，這些模型在多項基準測試中超越了Meta與Google等競爭對手產品，僅次於OpenAI的GPT-4o-mini，這些新模型已在Hugging Face平台上發布，並獲得了開放的MIT許可，表現勝過Llama 3.1-8B-instruct、Gemma 2-9b-It和Gemini 1.5-Flash等對手。

Phi 3.5新模型在基準測師中表現優異

據報導，這次發布的Phi 3.5模型是對4月發布的Phi 3平台的升級版本，包括Phi 3.5-MoE-instruct、Phi 3.5-mini-instruct和Phi 3.5-vision-instruct三種模型，根據微軟的說法，這些模型在推理和多語言支援方面表現出色，特別是在BigBench、MMLU和ARC Challenge等基準測試中。

更多新聞：這5個痕跡  讓你辨識 AI 生成圖像  

Phi 3.5-MoE-instruct模型的優勢與限制

其中，Phi-3.5-MoE-instruct模型是基於Phi-3合成數據和經過篩選的公開文檔訓練而成，著重於高品質且推理密集的數據，該模型支援多語言，具備128K上下文長度，適用於商業和研究用途，微軟表示，這款模型針對記憶體或計算受限環境、低延遲場景，及需要強推理能力（如程式設計、數學和邏輯）的應用而設計，其表現優於Llama 3.1-8B-instruct、Gemma 2-9b-It和Gemini 1.5-Flash，但它無法與OpenAI的GPT-4o-mini-2024-07-18的版本相提並論。

然而，微軟也指出，Phi-3.5-MoE-instruct模型在某些任務中受到其大小的限制，無法儲存過多的事實性知識，可能導致資訊不準確的情況，但該公司也補充說，只要透過在RAG（檢索增強生成）設置下與搜尋引擎結合使用，就可以解決這一問題，在技術細節上，微軟則是使用了512塊輝達H100-80G GPU，歷時23天，用4.9萬億個詞元進行了訓練。

Phi 3.5-mini-instruct模型：性能優異，適合多輪對話

此外，支援128K上下文長度的mini-instruct模型，也有優異表現，這款mini-instruct模型基於2024年6月Phi-3 Mini的指令調整版本進行改進，儘管其推理能力仍略遜於OpenAI最新的4o-mini聊天模型，但透過增加後續訓練數據，也提升了多語言、多輪對話和推理能力，mini-instruct擁有38 億個參數，是一個密集的解碼transformer模型，使用與Phi-3 Mini 相同的標記器，在512 個輝達H100-80G GPU 上，經過10 天的時間對3.4 兆個標記進行訓練。

Phi 3.5-vision-instruct模型：多模態能力強大

最後，除了上述模型外，微軟還發布了Phi 3.5-vision-instruct模型，該模型具備42億參數，內含影像編碼器、連接器、投影器和Phi-3-Mini語言模型，同樣支援128K 詞元，經過256塊輝達A100-80G GPU，為期6天的訓練，處理了5000億個視覺與文本詞元，儘管參數較少，但其性能也優於競爭對手產品，包括 Claude-3.5-Sonnet 和 GPT-4o-mini。

參考資料：infoworld

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

瀏覽 675 次