GPT-4識圖未開放之際 已有MiniGPT-4推出同功能AI！

記者／潘冠霖

OpenAI在上個月推出了GPT-4，最受外界矚目的大概就是識圖功能，只要放上圖片就可以獲得相對應的答覆或分析，不過，可惜的是此一功能目前尚未開放，而似乎已有用戶等不及，打算自己動手建立一個生成式AI模型。

來自沙烏地阿拉伯沙特的阿卜杜拉國王科技大學（KAUST），有研究團隊開發了類似GPT-4的AI模型，並將其命名為「MiniGPT-4」。MiniGPT-4展現出諸多和GPT-4相仿的能力，如上傳一道菜的圖，MiniGPT-4就能給出食譜、從草圖創建網站，以及可以解釋一張圖片的笑點。GPT-4日前展現出的功能，MiniGPT-4可說是都能駕馭。

研究團隊表示，能達到這麼好的效果，過程卻不複雜。MiniGPT-4進行了兩個階段的訓練。第一個傳統的預訓練階段使用大約 5 百萬對齊的圖像文本對，在 4 個A100 GPU上使用10小時進行訓練。第一階段後，Vicuna 能夠理解圖像。但是其文字生成能力受到了很大的影響。

為了解決這個問題並提高可用性，研究者提出了一種新穎的方式，通過模型本身和ChatGPT一起創建高質量的圖像文本對。基於此目的，該研究創建了一個小而高質量的數據集（總共 3500 對）。第二個微調階段使用對話模板在此數據集上進行訓練，以顯著提高其生成可靠性和整體可用性。這個階段具有高效的計算能力，只需要一張A100GPU大約7分鐘即可完成。

雖然目前GPT-4還不能使用，但用戶們可以試試看已開放的MiniGPT-4的Demo，可以說效果絕不輸GPT-4。研究團隊也指出，他們正在準備一個更羽量級的版本，部署起來只需要23GB的VRAM。

瀏覽 20,503 次