數位轉型浪潮 資料工程師炙手可熱

新冠肺炎疫情，驅動數位轉型的浪潮在各產業發酵，至今未歇，國際研究調查機構IDC估計今年到2025年，全球企業和政府在數位轉型的投資承諾將達2.8兆美金。各家公司想成功轉型站上浪頭，而不被大浪吞噬，如何有效收集大數據（Big Data），是重要課題之一，這也讓資料工程師近年搖身成為產業界炙手可熱的重要資產。

圖/123RF

專欄作家Aayushi Johari發表在線上教育平台《edureka》的文章中，比較三個職業的樣態。資料工程師要運用其技術設立及整合應用程式介面，在前端進行資料收集、分類管理等工作；接著資料科學家運用統計分析、結合機器學習和數據處理的知識，將複雜的數據資料進行初步分析跟轉譯；數據分析師則是要以數據分析配合產業的理解，為公司提供更好的決策。

隨著資料量越來越大，分析越來越複雜，資料工程師對技術的要求也就相對高。《glints》的專欄作家Amburger指出，資料工程師需要發展演算法，將企業擁有的數據轉為可發揮作用的指標，他們需要擁有寫程式、機器學習、大數據工具、雲端計算、自動化等技術的相關知識，這也讓他們相較資料分析師、資料庫管理師等資料相關職位，普遍有機會享有更好的薪資待遇。

企業為數位轉型，持續加大力道投資在補強AI（人工智慧）等相關技術人力，而如何能讓AI確實發揮效益，靠的就是龐大且完整的數據資料。在這樣的趨勢下，接下來如何用更有效率的方法，收集到真正所需的數據這件事，會在越來越多產業中更加被重視，資料工程師的價值和需求，可望更進一步的提升。（作者／萊恩）

瀏覽 16,257 次