Google, Bulut Verileri Zirvesi’nde bugün, yeni bir uygulama olan BigLake’in önizleme lansmanını duyurdu. veri gölü depolama motoru bu, kuruluşların veri ambarlarındaki ve veri göllerindeki verileri analiz etmelerini kolaylaştırır.
Buradaki fikir, özünde, Google’ın BigQuery veri ambarını çalıştırma ve yönetme konusundaki deneyimini almak ve bunu Google Cloud Storage’daki veri göllerine genişleterek, en iyi veri göllerini ve ambarları temeldeki depolamayı soyutlayan tek bir hizmette birleştirmek. formatlar ve sistemler.
Bu veriler, BigQuery’de yer alabilir veya AWS S3 ve Azure’da yaşayabilir. Data Lake Storage 2. Nesil, fazla. BigLake sayesinde geliştiriciler, tek bir tek tip depolama motoruna erişebilecek ve verileri taşımaya veya çoğaltmaya gerek kalmadan tek bir sistem üzerinden temeldeki veri depolarını sorgulama becerisine sahip olacak.
“Google Cloud’da Veri Tabanları, Veri Analitiği ve İş Zekası Başkan Yardımcısı ve Genel Müdürü Gerrit Kazmaier, farklı göller ve ambarlar arasında verilerin yönetilmesi, silolar oluşturur ve özellikle verilerin taşınması gerektiğinde risk ve maliyeti artırır” diye açıklıyor., bugünkü duyuruda notlar. “BigLake, şirketlerin veri ambarlarını ve göllerini, temeldeki depolama formatı veya sistemi hakkında endişelenmeden verileri analiz etmek için birleştirmelerine olanak tanıyor, bu da verileri bir kaynaktan çoğaltma veya taşıma ihtiyacını ortadan kaldırıyor ve maliyet ve verimsizlikleri azaltıyor.”
Resim Kredisi: Google
BigLake, politika etiketlerini kullanarak yöneticilerin güvenlik politikalarını tablo, satır ve sütun düzeyinde yapılandırmasına olanak tanır. Bu, Google Cloud Storage’da ve ayrıca desteklenen iki üçüncü taraf sisteminde depolanan verileri içerir. BigQuery Omni’siGoogle’ın çoklu bulut analiz hizmeti olan , bu güvenlik kontrollerini etkinleştirir. Bu güvenlik kontrolleri ayrıca Spark, Presto, Trino ve TensorFlow gibi araçlara yalnızca doğru verilerin akmasını sağlar. Hizmet ayrıca Google’ın veri kompleksi ek veri yönetimi yetenekleri sağlamak için bir araç.
Google, BigLake’in ayrıntılı erişim kontrolleri sağlayacağını ve API’sinin açık sütun odaklı Apache gibi dosya biçimlerinin yanı sıra Google Cloud’u da kapsayacağını belirtiyor. Parke ve Apache Spark gibi açık kaynaklı işleme motorları.
Resim Kredisi: Google
Google Cloud yazılım mühendisi Justin Levandoski ve ürün müdürü Gaurav Saxena bugünkü duyuruda, “Kuruluşların yönetmesi ve analiz etmesi gereken değerli verilerin hacmi inanılmaz bir hızla artıyor” diyor. “Bu veriler, veri ambarları, veri gölleri ve NoSQL mağazaları dahil olmak üzere birçok konuma giderek daha fazla dağıtılıyor. Bir kuruluşun verileri daha karmaşık hale geldikçe ve farklı veri ortamlarında çoğaldıkça, silolar ortaya çıkar ve özellikle bu verilerin taşınması gerektiğinde artan risk ve maliyet yaratır. Müşterilerimiz bunu açıkça belirttiler; yardıma ihtiyaçları var.”
BigLake’e ek olarak, Google bugün ayrıca şunları da duyurdu: İngiliz anahtarı, küresel olarak dağıtılan SQL veritabanı, yakında “değişim akışları” adı verilen yeni bir özelliğe sahip olacak. Bunlarla, kullanıcılar bir veritabanındaki değişiklikleri, eklemeler, güncellemeler veya silmeler gibi gerçek zamanlı olarak kolayca izleyebilir. “Bu, gerçek zamanlı analizler için değişiklikleri Spanner’dan BigQuery’ye kolayca kopyalayabildikleri, Pub/Sub kullanarak aşağı akış uygulama davranışını tetikleyebildikleri veya değişiklikleri uyumluluk için Google Cloud Storage’da (GCS) depolayabildikleri için müşterilerin her zaman en yeni verilere erişmelerini sağlar.” Kazmaier’i açıklıyor.
Google Cloud da bugün getirdi Vertex AI Workbenchbir veri bilimi projesinin tüm yaşam döngüsünü yönetmek için bir araç, beta sürümünden çıktı ve genel kullanıma sunuldu ve Connected Sheets for Looker’ın yanı sıra Data Studio BI aracında Looker veri modellerine erişme yeteneği başlattı.