Meta發表新翻譯AI模型套件 可更精準即時、高效翻譯
記者/竹二
Meta近日公布了翻譯AI模型套件Seamless Communication,這是他們為了慶祝基礎AI研究(FAIR)成立十周年而發表的研究成果之一。這款套件是Meta在今年8月所公布的多語雙模(文字、語音)翻譯模型SeamlessM4T第2版為基礎而發展出,號稱能在翻譯時保存不同語言的說話表情,以及說話者講話同時加速翻譯。
Meta新推出AI翻譯模型套件
Seamless Communication套件是以SeamlessM4T的技術為基礎,再加上其他模型SeamlessExpressive、SeamlessStreaming與Seamless所組成新推出的翻譯模型,在跨語言表現上忠實呈現原意,並能達到同步翻譯的效果,可以解決傳統AI翻譯時無法抓住聲音語調、停頓和重點,因此失去情感和意圖的重要訊號的問題。
Meta認為,既有的翻譯服務難以捕捉協助人們傳達目的與情緒的重要訊號,像是語調、停頓與抑揚頓挫等,SeamlessExpressive是第一個開放且可生動跨語言溝通的系統,模型將保留講者的情緒與風格,並分析說話速度及節奏,還能維持翻譯的品質,目前支援英文、西班牙文、德文、法文、義大利文及中文。
Seamless Communication可即時高效翻譯語言
根據Meta的說法,Seamless Communication提供更精準再現說話者情緒、及延遲僅2秒的幾近同步翻譯能力的新模型,可支援口譯(speech-to-speech translation,S2ST)、聽寫翻譯(speech-to-text translation,S2TT),已及自動語音辨識(Automatic speech recognition,ASR)。
此外,不同於傳統的逐句翻譯,SeamlessStreaming功能更即時、高效翻譯,在講者說話時即時翻譯,使資訊傳達更有效率。據了解,Meta已經將示範影片公布在GitHub與HuggingFace的網站上。
瀏覽 1,975 次