Google發布LLM Inference API　手機和網頁都可執行大型語言模型

記者／竹二

Google近日發布MediaPipe LLM Inference API，這是一個可以讓開發者在裝置上執行大型語言模型，支援文字生成、自然語言資訊檢索，以及總結文件等任務，目前支援網頁、Android或iOS平台，但是只接受文字輸入與輸出。

LLM Inference API可達到跨平台相容

據了解，這項新功能的重要性在於，可以讓大型語言模型能夠在裝置上運作，並達到跨平台之間的相容。根據Google官方說法，因為大型語言模型的記憶體和運算需求，是傳統裝置上模型的100多倍，因此這個新功能可以說是變革性的，之所以大型語言模型可以在裝置上運作，牽涉到新的操作、量化、快取和權重等共享等技術堆疊。

更多新聞：大型語言模型輸出無法零錯誤　Google提出新訓練方式

目前LLM Inference API還只能使用較為輕量的大型語言模型，在初始版本當中，Google支援Falcon 1B、Gemma 2B、Phi 2，以及Stable LM 3B等4種模型架構，這些模型架構相容的模型權重選擇，不管是基本模型權重、社群微調版本，或是開發者自己微調的權重都可以使用。

Google未來將擴展支援更多平台

此外，為了讓大型語言模型可以在行動裝置上運作，Google官方提到，他們對MediaPipe、TensorFlow Lite、XNNPack進行大量的最佳化，這些最佳化功能主要落在CPU與GPU上面，在特定的高階手機中，Android AICore還可以運用專門的硬體神經網路加速器，來加速大型語言模型的運算。

Google表示，他們會持續進行這項研究，並擴展支援更多平台和模型，提供廣泛的轉換工具、裝置上元件，現在開發者已經可以在GitHub上查看Google官方給的範例，以便深入理解API的使用方式。

瀏覽 2,634 次