Databricks推出Lightspeed
美國大數據及人工智慧公司Databricks在Data+ AI峰會上發布三樣產品的消息，分別為Delta Lake 2.0、MLflow和Lightspeed。根據Techcrunch消息，Delta Lake 2.0是建構資料湖平台的下一版本，MLflow管理機器學習pipeline下一代平台，而Lightspeed則被視為下一代Spark串流引擎(Spark streaming engine)。
圖/翻攝自Databricks官網
關於上述消息，在VentureBeat的文章中有詳細整理出本次所有公開內容的重點。目前Databricks已經組織新的團隊要推動Lightspeed，之後將會改善處理串流資料性能及其延遲問題，並新增新功能。
Delta Lake是開放原始碼儲存層，為資料湖提供安全性、可靠性和功能。這部分Databricks近期和Apache Iceberg有著激烈的競爭，Databricks從領先到被迎頭趕上的其中一個問題是因為其較嚴格的控制， 而在2.0版本則針對該部分有了變動，Databricks將Delta Lake內容給了Linux基金會開源項目，使得使用者可使用相同代碼庫，並可以利用所有功能。
MLflow是MLOps的支柱，是開源機器學習平台，用來管理機器學習生命週期，這次宣布2.0將會增加名為Pipeline的新功能，是設置ML應用程式的範本(template)，提供了較大的彈性因為開發者可用notebook和pineline互動。
除此之外，Databricks將會有新氣象發佈在GA，例如Databricks SQL的Photon和Dataricks Unity Catalog，從此次峰會可看出Databricks對旗下產品的積極投入，但在越來越多競爭和創新的環境中，Databricks是否還能保有其優勢在產業中？目前Dataricks已經加強投資並影響了Spark、Delta Lake、MLflow等開源項目的發展方向。這次Data+ AI峰會上Databricks的公開資訊是否是對現況的回應未可知，但未來Databricks與Snowflake雙方將會如何各自尋求創新，以及區隔或競爭彼此的客群與市場，雙方間的競爭值得期待。（編譯／施毓萱）
資料來源：
https://databricks.com/product/delta-lake-on-databricks
瀏覽 3,150 次
