Veriler ortaya çıktı video tavsiye motorları ve dijital bankacılıktan gelişen AI devrimine kadar her şeyin temelini oluşturan dünyanın en büyük kaynaklarından biri olarak. Ancak, veritabanlarından veri ambarlarına, veri göllerine ve ötesine kadar verilerin konumlar arasında giderek daha fazla dağıtıldığı bir dünyada, hepsini gerçek zamanlı senaryolarda kullanmak için uyumlu bir formatta birleştirmek devasa bir girişim olabilir.
Bağlam açısından, anında, gerçek zamanlı veri erişimi gerektirmeyen uygulamalar, verileri sabit aralıklarla gruplar halinde kolayca birleştirebilir ve işleyebilir. Bu sözde “toplu veri işleme”, aylık satış verilerinin işlenmesi gibi şeyler için yararlı olabilir. Ancak çoğu zaman bir şirket irade oluşturulan verilere gerçek zamanlı erişime ihtiyaç duyar ve bu, örneğin her bir satışla ilgili güncel bilgilere dayanan müşteri destek yazılımları için çok önemli olabilir. Başka yerlerde, dolu dolu yolculuk uygulamalarının da bir sürücüyü bir sürücüye bağlamak için her türlü veri noktasını işlemesi gerekir – bu birkaç gün bekleyebilecek bir şey değildir. Bu tür senaryolar, yapılandırması çok daha karmaşık olan gerçek zamanlı erişim için verilerin toplanıp birleştirildiği “akış verisi işleme” olarak bilinen işlemi gerektirir.
Ve bu öyle bir şey ki Dozer tak ve çalıştır veri altyapısı arka ucu aracılığıyla doğrudan herhangi bir kaynaktan hızlı, salt okunur API’leri güçlendirerek bu sorunu çözmek için yola çıkıyor.
el emeği dozer Vivek Gudapuri Ve Matteo Pelatişirketi yaklaşık bir yıl önce Singapur’daki üssünden kuran. İkili, ürünün mevcut durumunun ötesine geçmek için hazırlanırken Asya ve Doğu Avrupa’da 10 kişilik dağıtılmış bir ekip oluşturdu. kaynak mevcut (yani tam olarak açık kaynak olmayan) enkarnasyon ve tamamen paraya çevrilebilir bir ürün.
Dozer, ürününü bir avuç gizli tasarım ortağıyla test ediyor ve bugün herhangi bir geliştiricinin erişmesi için gizlilikten çıkıyor. Şirket ayrıca, 3 milyon dolarlık tohum fonu topladığını da açıkladı. Sequoia Capital’in Kızılderili kol (onun aracılığıyla Kabarmak programı), Google’ın Gradyan GirişimleriVe Ocak Başkenti.
Dozer kurucu ortakları Matteo Pelati ve Vivek Gudapuri Resim Kredileri: dozer
dağıtılmış
Akış veritabanları ve aşağıdakiler gibi ETL (çıkarma, dönüştürme, yükleme) araçları dahil olmak üzere, dağıtılmış verileri dönüştürmek, entegre etmek ve kullanmak için tasarlanmış sayısız araç zaten mevcuttur. Apache Flink’i, Airbyte ve Fivetran; Redis gibi geçici veri depolama için önbelleğe alma katmanları; ve sistemler arasında veri akışı sağlamak için Hasura veya Supabase gibi araçlar tarafından desteklenen anlık API’ler.
Dozer kendi payına tüm bu çeşitli kategorilerde çalışıyor, en iyi parçalar olarak gördüğü parçaları benimsiyor ve gerçek zamanlı veri uygulamalarının temelini oluşturan altyapıyı ve tesisatı oluştururken ortaya çıkan sürtüşmeleri ortadan kaldırıyor.
Kullanıcılar, Dozer’ı veritabanlarını, veri ambarlarını ve veri göllerini içerebilecek mevcut veri yığınlarına bağlar ve Dozer, gerçek zamanlı veri çıkarma, önbelleğe alma, dizine ekleme ve düşük gecikmeli API’ler aracılığıyla bunların yüzeye çıkarılmasıyla ilgilenir. Airbyte veya Fivetran gibi bir şey, verileri bir veri ambarına aktarmaya yardımcı olurken, Dozer diğer tarafa odaklanıyor – “bu verileri en verimli şekilde erişilebilir kılmak”, Gudapuri TechCrunch’a açıkladı.
Gudapuri, Dozer’in “dikkatli bir yaklaşım benimsediğini”, çok özel sorunları ele alan ve daha fazlasını yapmayan bir yaklaşım olduğunu söyledi. Örneğin, yerleşik akış veritabanları, tek bir üründe gerçek zamanlı veri güncellemeleri ve API’ler sunmakla ilgili olan Dozer’in sunduklarının çok ötesinde birçok sorunu çözer.
Gudapuri, “Geliştiricilere hızlı bir yapı deneyimi ve kullanıma hazır performans sunmak için bu kategorilerin her birinde doğru miktarda sorunu çözüyoruz” dedi. “Geliştiriciler (şu anda) aynı şeyi başarmak için birkaç aracı entegre etmek zorunda.”
Örnek olarak, mevcut bir akış veritabanı, muhtemelen tüm veritabanı deneyimini sorgu motoru, veri keşfi, OLAP () ile dolu olarak kullanıcıya sunmaya çalışacaktır.çevrimiçi analitik işleme), ve benzeri. Dozer kasıtlı olarak bunları sunmuyor, bunun yerine Pelati’nin SQL, Python ve JavaScript kullanarak “önceden hesaplanmış görünümler” dediği ve tümüne düşük gecikmeyle erişilebilen şeylere odaklanıyor. grPC Ve DİNLENMEK API’ler.
Ve bu nedenle Pelati, Dozer’in daha iyi veri sorgulama gecikmesi vaat edebileceğini söylüyor.
Pelati, “Bu tasarım seçenekleri nedeniyle Dozer, müşteriye dönük uygulamalar için gerekli olan çok daha üstün bir sorgu gecikmesi sunuyor” dedi. “Tek bir geliştirici, tipik olarak aylarca çaba gerektiren tüm veri uygulamalarını dakikalar içinde çalıştırabilir. Bir ekibin, zamandan ve paradan tasarruf sağlayan çeşitli entegrasyonlar oluşturması ve sürdürmesi gerekmiyor.”
(Pek değil) açık kaynak faktörü
Dozer “açık kaynak” bir platform olarak lanse edilirken, GitHub’da lisans kullandığını ortaya koymaktadır. Esnek lisans 2.0 (ELv2), aynı lisanslı kurumsal arama şirketi Elastic iki yıl önce kabul edildi geçişinin bir parçası olarak uzak gerçek açık kaynaktan. Aslında, Elastic lisansı açık kaynak olarak tanınmadıüçüncü şahısların yazılımı alıp kendilerini barındırılan veya yönetilen bir hizmet olarak sunmalarını engellediği için.
Daha doğrusu ELv2, “kaynak kullanılabilir” lisans olarak adlandırılabilir, bu da daha izin verici bir açık kaynak lisansının birçok avantajını sunduğu anlamına gelir. MİT gibikod tabanı şeffaflığı, Dozer’in yeteneklerini genişletme veya özelliklerde ince ayar yapma ve hataları düzeltme yeteneği dahil. AWS veya başka bir bulut devi doğrudan Dozer üzerinden para kazanma peşinde olmadığı sürece, bu tek başına muhtemelen her büyüklükteki işletmenin kalbini ve aklını kazanmak için yeterli olacaktır.
Ancak şirket, “çok yakında” çift lisansa geçmeyi planladığını ve burada temel Dozer projesindeki her şeyin MİT– “tek çekirdekli modül” dışında lisanslanmıştır. Ayrıca şirket, tüm müşteri kitaplıklarının zaten MIT lisanslı olduğunu vurgulamakta gecikmedi. Piton, TepkiVe JavaScript.
Bazı şirketlerin, Dozer’in uğraştığı soruna benzer bir sorunu çözmek için kendi iç araçlarını oluşturduklarını belirtmekte fayda var. Buldozeri yapan Netflix birkaç yıl önce. Özellikle, Bulldozer’ın arkasındaki ana yaratıcılardan biri, Ioannis Papapanagiotouşimdi Dozer’e danışman olarak çalışıyor.
Dozer için henüz ilk günler, ancak bankada bir dizi yüksek profilli destekçiden gelen 3 milyon dolarla şirket, bir grupla dolu barındırılan bir SaaS sürümünün tanıtılmasını içerecek olan ticarileştirmeye doğru ilerlerken oldukça iyi finanse ediliyor. eklenti özellikleri. Gudapuri, bunun önümüzdeki aylarda hayata geçmesini beklediğini söyledi.
Gudapuri, “Barındırılan hizmet, otomatik ölçeklendirme, anında dağıtımlar, güvenlik, uyumluluk, hız sınırlama ve bazı ek özelliklerle ilgilenecek” dedi.