Data + AI Zirvesinde, Databricks bugün bir şirketin amiral gemisi geliştirici etkinliklerinden beklenebilecek sayıda duyuru yaptı. Bunlar arasında, veri göl evleri inşa etme platformunun bir sonraki versiyonu olan Delta Lake 2.0’ın piyasaya sürülmesi yer alıyor. MLflow 2.0. Apaçi Kıvılcımı Databricks platformunun çekirdeğini oluşturan veri analizi motoru.
Spark Connect ile Databricks bugün, Spark için şu temele dayanan yeni bir istemci ve sunucu arabirimi duyurdu: DataFrame API’si. Spark’ta bir DataFrame, sütunlar halinde düzenlenen ve Scala, Java, Python veya R gibi dillerde bir API aracılığıyla kullanıma sunulan dağıtılmış bir veri koleksiyonudur. şirket, daha iyi stabiliteye yol açacağını ve yerleşik bir özellik olarak uzaktan bağlantıya olanak sağlayacağını söylüyor.
Belki daha heyecan verici olan şey, Databricks’in şirketin Spark akış motorunun yeni nesli olarak tanımladığı Project Lightspeed olarak adlandırdığı bir şeydir. Databricks, artık daha fazla uygulama akış verisi gerektirdiğinden, akış motorlarının sağlayabileceği gereksinimlerin de değiştiğini savunuyor.
Şirket bugün yaptığı duyuruda “Spark Structured Streaming, kullanım kolaylığı, performansı, geniş ekosistemi ve geliştirici toplulukları nedeniyle akışın ilk günlerinden beri geniş çapta benimsenmiştir” diye açıklıyor. “Bunu akılda tutarak, veri tuğlaları performansı iyileştirmek, bağlayıcılar için ekosistem desteği sağlamak, işleme işlevselliğini geliştirmek için toplulukla işbirliği yapacak ve Project Lightspeed’e katılımı teşvik edecek veri yeni operatörler ve API’ler ile devreye alma, operasyonlar, izleme ve sorun gidermeyi basitleştirin.”
Bir Databricks sözcüsü, projenin Karthik Ramasamydaha yüksek verim, daha düşük gecikme süresi ve daha düşük maliyetin yanı sıra genişletilmiş bir bağlayıcı ekosistemi ve ek veri işleme işlevselliği sağlamaya odaklanan şirketin akış başkanı.