蘋果低調開源Ferret雪貂模型 AI技術悄悄進行中
記者／竹二
近一年來人工智慧爆發性發展，許多人都很關心蘋果在生成式AI方面的進展，而近日有人發現，蘋果和美國哥倫比亞大學在今年10月悄悄推出開源多模態大型語言模型（Multimodal Large Language Model，MLLM），這項研究被命名為「Ferret」（雪貂），可以辨識圖像區域內的元素以回應使用者的查詢，創造更多應用可能性。
Ferret多模態大型語言模型10月開源
其實，Ferret早在10月就在GitHub推出，只是沒有任何公告或大肆宣傳，因此並沒有引起關注，蘋果的AI和機器學習研究科學家Zhe Gan在10月的一則推文裡面解釋了Ferret的用途，可以檢查圖像上繪製的區域，確認對使用者查詢有用的元素，辨識並在檢測到的元素周圍描繪邊界。
更多新聞：Google最新多模態VideoPoet 可完成各種影片生成任務
Ferret可以使用被辨識的元素做為查詢一部分，用典型方式對提問進行回應，舉例來說，當使用者標記圖像中的某一隻動物，並詢問該動物是什麼，Ferret可以確認動物物種及使用者指的是群體中哪一隻動物，可以利用圖像檢測到的其他項目，以及提示上下文回應查詢。
Ferret未來有機會應用到蘋果產品
發表在GitHub上的內容還提到，Ferret是用8個具有80 GB記憶體的NVIDIA A100 GPU進行訓練。不過，開源的Ferret現階段還無法商業化，目前可應用在研究用途，然而蘋果參與其中研究，未來應有機會應用到蘋果產品或服務中。
據了解，蘋果在大型語言模型部署在iPhone上的技術已有突破，蘋果近日有2篇研究論文介紹3D頭像和高效語言模型推理的新技術，允許複雜AI系統在iPhone、iPad等裝置上運作。
瀏覽 628 次
