LLM 訓練救星 ? cacaFly 用 RAG 陪使用者精準「問問題」！

記者／孫敬 Archer Sun

台灣雲端服務代理商聖洋科技 cacaFly （7）日與 Google 台灣、台灣新創孵育品牌 Startup Island Taiwan，共同在 Google 台灣辦公室舉辦「Web3 & AI ! Elevate Your Financial Experience」活動，邀請含 AI、Web3、金融、法律等領域專業人士參與，期望在 AI 的崛起下能吸引更多產業投入開發 AI 解決方案。

就在 Google 近期推出新大型語言模型（LLM）「Gemini」，文字、圖片、聲音、影片，甚至是程式碼都能自行分析並交互生成，cacaFly 在改善、深化 LLM 的應用上，究竟做了哪些準備？

更多新聞：Bing、Bard和ChatGPT　LLM如何改寫網路世界

迎戰生成式 AI 戰場！cacaFly 讓使用者下指令變得更精準

隨著生成式 AI 的功能越趨多元，也讓許多企業積極投入開發、測試各種可能的機會，但 LLM 還是需要使用者花費大量的時間找出最精準的指令（Prompt），才能獲得最接近需求的建議。cacaFly 雲端智能中心技術副總吳振和指出， cacaFly 的 RAG（檢索增強生成）服務可以協助使用者，透過檢索找到最相近、最適合特定問題的參考資料，只要將該資料輸入進 LLM，使用者不再需要反覆修改輸入 AI 的指令，就能夠獲得更精準符合使用者專業領域的建議。

然而在現今強調資料儲存安全、資安防護的時代，並不是所有的產業都能隨心所欲的投入 LLM，特別像是重視資安、資料隱密性的金融、半導體業者，這些業者同時也面臨大量地端資料無法上雲、活化運用的問題。
cacaFly 觀察到此現象後，便將資料庫上雲和 LLM 做整合，提出「雲地混合解決方案」，企業可將公司的內部專業文件，透過 API 來做 Embedding 模型（可以想像成一種幫助企業整理、篩選統整資料的工具）將企業、政府允許能上雲的資料，轉換成文字片段、向量資料去識別化，進一步上雲標記座標，再透過 RAG 將使用者的指令以座標的方式去呼叫企業的雲端資料庫，這麼做能讓企業在零開發基礎下持續訓練自家的 LLM 模型，實現資料雲地混合架構。

LLM 一直以來最難被投市場應用的原因，很大一部分來自於需要專業的開發人員，針對該產業的專業知識協助訓練。cacaFly 從企業既有的資料庫出發，搭配 RAG 精準的投入 LLM 所需要的資料，有望加速生成式 AI 在市場的影響力。

瀏覽 1,428 次