Tanışmak Kestra, çeşitli hizmetler, veritabanları, dosyalar, depolar ve depolar genelinde veri orkestrasyonuna odaklanan açık kaynaklı bir proje üzerinde çalışan bir girişim. Açık kaynak projesi ilgi gördü binlerce yıldız GitHub’da, yeni bir veri düzenleme platformunun arkasında ilgi ve potansiyel bulunduğunu kanıtlıyor.
Ama öncelikle büyük şirketinizde neden bir veri düzenleme ürününe ihtiyacınız olsun ki? Bir noktada büyük şirketler, verileri çeşitli depolama konumlarına dağıtmaya başlar. Bazı müşteri verileri eski bir ERP’de saklanabilir, yeni siparişler bulut altyapınızdaki bir veritabanında görünebilir, vb.
Bir veri orkestratörüyle, tüm verilerinizin birleştirilmesi ve veri ambarı (Snowflake, Google BigQuery vb.) gibi tek bir konumda depolanması için verileri çıkarabilir, dönüştürebilir ve yükleyebilirsiniz (veya verileri çıkarabilir, yükleyebilir ve dönüştürebilirsiniz). . Birçok veri mühendisi aşağıdaki gibi araçları kullanıyor: Airbyte veri entegrasyon platformu ve tetikleyicileri koordine edecek ve oluşturacak bir orkestratör olarak.
Kestra’yı tanımlamanın en iyi yolu onun orada olanlardan neden farklı olduğunu tanımlamaktır. Eğer aşina iseniz Apache Hava AkışıKestra, bazı önemli farklarla Airflow’a alternatif olarak kullanılabilir.
Kestra, Python kodunu kullanmak yerine YAML yapılandırma dosyalarını temel alır ve bir noktada Docker görüntüleri ile oynadıysanız YAML’e zaten aşina olabilirsiniz.
Ketra’nın API’sine birinci sınıf vatandaş muamelesi yapılıyor, bu da diğer araç ve sistemlerle iyi bir şekilde entegre olduğu anlamına geliyor. Başka bir deyişle Kestra, orkestrasyon için YAML kullanımı ve Kestra’nın API’sini kullanarak iş akışlarını değiştirme ve görevler oluşturma yeteneği sayesinde dilden bağımsız olacak şekilde tasarlanmıştır.
Ve Kestra’nın bunu getirmesinin nedeni kod olarak altyapı modeli Veri düzenlemeye yönelik yaklaşımın nedeni, startup’ın veri yönetiminin belirli bir veri mühendisi ekibi yerine tüm mühendisler ve iş kullanıcıları tarafından ele alınması gerektiğini düşünmesidir.
Bu inatçı yaklaşımın yanı sıra, Kestra’nın sağlam bir yaklaşımı var. entegrasyon kütüphanesi Büyük bulut sağlayıcıları (AWS, Azure ve Google Cloud), veri ambarları (Snowflake ve BigQuery), veri dönüşümü için dbt, veri entegrasyonu için Airbyte ve daha fazlası için resmi eklentilerle.
Kestra ayrıca planlanmış ve olaya dayalı iş akışları oluşturmayı kolaylaştıran bir kullanıcı arayüzüne de sahiptir (“eğer bu olursa, bunu yapın”). Bu kullanıcı arayüzü ile iş kullanıcıları, SQL sorguları oluşturmak ve dahili raporlamaya yönelik dahili araçlar oluşturmak için Kestra’ya da güvenebilirler.
Resim Kredisi: Kestra
Aslen Fransa’dan olan ve Emmanuel Darras ve Ludovic Dehon tarafından ortaklaşa kurulan Kestra, ISAI ve Axeleo Capital’in ortaklaşa liderliğini yaptığı tohum turunda 3 milyon dolar topladı. Tura Datadog’dan Olivier Pomel, Collibra’dan Stan Christians, Strapi’den Pierre Burgy ve BlaBlaCar’dan Olivier Bonnet gibi birçok melek yatırımcı da katıldı.
Açık kaynak orkestratöre ek olarak Kestra’nın ayrıca bir kurumsal sürüm ve Leroy Merlin, Huawei, Acxiom, Tencent, Gorgias, Sophia Genetics ve Decathlon gibi ayda milyonlarca orkestrasyon etkinliğini yönetmek için Kestra’ya güvenen birkaç büyük müşteri.
Kestra’nın nihai hedefi, yalnızca veri orkestrasyonu için değil, tüm orkestrasyon ihtiyaçları için kullanılabilecek bir orkestrasyon aracı yaratmaktır. Pek çok şirket veri orkestrasyonu, mikro hizmet orkestrasyonu, altyapı ve daha fazlası konusunda uzmanlaşmış spesifik ekipler oluşturuyor. Kestra, bu görevler üzerinde çalışan herkesin çok yönlü bir şekilde kullanabileceği tek bir platform oluşturmak istiyor.