Şirketlerin veri hatlarını oluşturmalarına yardımcı olmasıyla tanınan Fivetran, Salı günü açıklandı duyuruldu Fivetran Yönetilen Veri Gölü Hizmetinin en yeni ürünü genel kullanıma sunuldu.
Yeni hizmet, şirket müşterileri için veri göllerini otomatikleştirerek ve düzene sokarak tekrarlanan işleri ortadan kaldırmayı ve onlara bu veriler üzerinde ürünler oluşturmaya odaklanmalarını sağlamayı amaçlıyor. Şu an itibariyle hizmet, yol haritasında Google Cloud desteğiyle birlikte Amazon S3, Azure Data Lake Storage (ADLS) ve Microsoft OneLake’i destekliyor.
Fivetran geleneksel olarak yalnızca, analitik ve iş zekası (BI) uygulamalarına güç sağlamak amacıyla yapılandırılmış, ilişkisel verileri depolamak için kullanılan veri ambarlarını destekliyordu. Öte yandan veri gölleri, çok çeşitli kaynaklardan gelen yapılandırılmış ve yapılandırılmamış verileri depolamak ve genellikle gerçek zamanlı analiz ve makine öğrenimi iş yüklerini içeren kullanım senaryoları için tasarlanmıştır. Databricks ayrıca bu kavramı popüler hale getirdi. Göl EviHer iki dünyanın en iyilerini tek bir veri deposunda birleştirmeyi amaçlayan.
Fivetran’ın kurucu ortağı ve COO’su Taylor Brown, “Amaç, son dokuz yıldır BI’ya sunduğumuz ölçeklenebilir altyapıyı yapay zekaya ve tüm iş yükü ortamına getirmemiz” dedi.
Yönetilen Veri Gölü Hizmeti, Fivetran’ın mevcut 500’den fazla bağlayıcısını kullanır ve ardından onu Delta Lake veya Apache Iceberg tablo formatlarında desteklenen veri göllerinden birine göndermeden önce normalleştirir ve tekilleştirir. Veri gölüne girdikten sonra kullanıcılar, bu verileri operasyonel hale getirmek için tercih ettikleri bilgi işlem motoruyla (Databricks, Snowflake, Starburst veya Redshift’i düşünün) çalışabilir veya yeni yapay zeka uygulamalarını desteklemek için bunları bir makine öğrenimi platformuna getirebilir.
“Fivetran gerçekten yalnızca veri ambarlarını destekledi, […] ve kesinlikle bazı müşteriler bu araçları veri gölleri olarak kullanıyor, ancak çok sayıda müşterimiz oldu ve veri göllerine, özellikle de daha büyük müşterilere daha fazla Iceberg ve Delta Lake formatını desteklememizi talep etti,” dedi Brown.
Brown bana, yeni yönetilen hizmeti ön izleme döneminde deneyen müşterilerin çoğunun, verilerini veri ambarlarına ve veri göllerine yüklemek için aynı işlem hatlarını oluşturduklarını fark ettiklerini söyledi.
Veri gölleriyle ilgili bir sorun, kullanıcıların yalnızca kullanmaları gereken verilere erişmelerini sağlamanın genellikle zor olmasıdır. Salı günkü duyuruda Fivetran, bunun AWS Glue, Databricks Unity Catalog ve Microsoft Purview gibi mevcut veri katalogları ve yönetim çözümleriyle entegre olduğunu vurguladı.
Databricks Ürün Direktörü Himanshu Raja, “Fivetran’ın Delta Lake’i doğrudan varış noktası olarak desteklemesinden büyük heyecan duyuyoruz” dedi. “Bu yeni özellik sayesinde müşteriler artık Fivetran’ı kullanarak Databricks Veri Zekası Platformu tarafından desteklenen Delta Lake ile açık bir göl evi inşa edebilecekler. Ayrıca Fivetran tarafından oluşturulan tüm tablolar için kullanıma hazır yönetişim ve güvenlik sağlamak amacıyla Fivetran’ın Unity Catalog ile yakında entegrasyonu konusunda da çok heyecanlıyız.”
Fivetran, ağustos ayının sonuna kadar yeni hizmeti ücretsiz olarak kullanıma sunacak (müşteri başına 10.000 dolara kadar). Bundan sonra Fivetran, ücretlendirmek için mevcut tüketim modelini uygulayacak. Brown, “Fivetran’ın Yönetilen Veri Gölü Hizmetini kullanmanın faydalarından biri de alımın ücretsiz olmasıdır” dedi. “Snowflake veya Databricks veya diğer alt tüketiciler içinde yükleme yapıyorsanız, verileri gerçekten almak için ambar bilişimini kullanmanız gerekir ki bu oldukça zor olabilir. [expensive] bazı durumlarda.”