Bugünlerde üretken yapay zeka hakkında okuma yapmadan bir saat bile geçiremezsiniz. Henüz embriyo aşamasındayken bazıları dublaj yaptı Dördüncü sanayi devriminin “buhar motoru” olan “GenAI”nın, finans ve sağlık hizmetlerinden hukuka ve ötesine kadar hemen hemen her sektörü dönüştürmek üzere şekillendiğine şüphe yok.
Kullanıcıya yönelik harika uygulamalar ilginin çoğunu çekebilir, ancak şu anda bu devrimden en çok yararlanan şirketler bu devrimden yararlanıyor. Sadece bu ay, çip üreticisi Nvidia kısaca oldu Dünyanın en değerli şirketi, yapay zeka bilgi işlem gücüne olan talebin önemli ölçüde yönlendirdiği 3,3 trilyon dolarlık bir dev.
Ancak GPU’lara (grafik işleme birimleri) ek olarak işletmelerin veri akışını yönetmek, depolamak, işlemek, eğitmek, analiz etmek ve sonuçta yapay zekanın tüm potansiyelini açığa çıkarmak için de altyapıya ihtiyacı var.
Bundan yararlanmak isteyen bir şirket ise Bir evtarafından kurulan üç yıllık Kaliforniyalı bir girişimdir. Vinoth Chandaraçık kaynağı kim yarattı Apaçi Hudi Uber’de veri mimarı olarak görev yaparken proje. Hudi faydalarını getiriyor veri depoları ile veri gölleriYapılandırılmış, yapılandırılmamış veya yarı yapılandırılmış veriler olsun, büyük veri kümelerinde indeksleme ve gerçek zamanlı sorgular gerçekleştirme gibi eylemlere destek sağlayan, “veri göl evi” olarak bilinen şeyi yaratıyor.
Örneğin, siparişleri, geri bildirimleri ve ilgili dijital etkileşimleri kapsayan müşteri verilerini sürekli olarak toplayan bir e-ticaret şirketinin, tüm bu verileri alacak ve güncel tutulmasını sağlayacak bir sisteme ihtiyacı olacaktır; bu, kullanıcının tercihlerine göre ürünler önermesine yardımcı olabilir. aktivite. Hudi, bu tür gerçek zamanlı veri kullanım durumları için hayati önem taşıyan silme, güncelleme ve ekleme (“upsert”) desteğiyle verilerin çeşitli kaynaklardan minimum gecikmeyle alınmasını sağlar.
Onehouse, şirketlerin Hudi’yi dağıtmasına yardımcı olan tam olarak yönetilen bir veri gölü eviyle bunu geliştiriyor. Veya Chandar’ın ifade ettiği gibi, “veri bilimi, yapay zeka ve makine öğrenimi ekosistemlerindeki hemen hemen tüm önemli araçlarla kullanılabilen açık veri biçimlerine veri alımını ve veri standardizasyonunu hızlandırıyor”.
Chandar, TechCrunch’a “Onehouse, düşük seviyeli veri altyapısı oluşumunu ortadan kaldırarak yapay zeka şirketlerinin modellerine odaklanmasına yardımcı oluyor” dedi.
Bugün Onehouse, Hudi’nin performansını artırmak ve bulut depolama ve işleme maliyetlerini azaltmak için pazara iki yeni ürün getirerek B Serisi finansman turunda 35 milyon dolar topladığını duyurdu.
(Veri) göl evinde
Chandar, Hudi’yi 2016 yılında Uber bünyesinde dahili bir proje olarak yarattı ve araç çağırma şirketinden bu yana projeyi bağışladı 2019’da Apache Vakfı’na, Hudi benimsendi tarafından Amazon’un beğenileriDisney ve Walmart.
Chandar, 2019’da Uber’den ayrıldı ve Confluent’te kısa bir süre çalıştıktan sonra Onehouse’u kurdu. Başlangıç, 2022’de 8 milyon dolarlık tohum finansmanıyla gizlice ortaya çıktı ve bunu kısa bir süre sonra 25 milyon dolarlık A Serisi turla takip etti. Her iki tur da Greylock Partners ve Addition tarafından ortaklaşa yönetildi.
Bu VC firmaları Seri B’nin devamı için tekrar güçlerini birleştirdi, ancak bu sefer David Sacks’ın Craft Ventures tura liderlik ediyor.
Craft Ventures ortağı Michael Robinson yaptığı açıklamada, “Veri göl evi, gerçek zamanlı analiz, tahmine dayalı ML ve GenAI gibi yeni hizmetleri desteklemek için verilerini merkezileştirmek isteyen kuruluşlar için hızla standart mimari haline geliyor” dedi.
Bağlam açısından, veri ambarları ve veri gölleri, verilerin bir havuzda toplanması için merkezi bir depo görevi görme açısından benzerdir. Ancak bunu farklı şekillerde yapıyorlar: Veri ambarı, geçmiş, yapılandırılmış verileri işlemek ve sorgulamak için idealdir; oysa veri gölleri, çok sayıda veri türünü destekleyen, büyük miktarlarda ham veriyi orijinal formatında depolamak için daha esnek bir alternatif olarak ortaya çıkmıştır. Veri ve yüksek performanslı sorgulama.
Bu, önceden dönüştürülmüş ham verileri depolamak daha ucuz olduğundan ve aynı zamanda veriler orijinal biçiminde depolanabildiğinden daha karmaşık sorgular için destek sağladığından, veri göllerini yapay zeka ve makine öğrenimi iş yükleri için ideal hale getirir.
Ancak bu ödün, çok çeşitli veri türleri ve formatları göz önüne alındığında veri kalitesinin kötüleşmesi riskini taşıyan tamamen yeni bir dizi veri yönetimi karmaşıklığıdır. Bu kısmen Hudi’nin veri ambarlarının bazı temel özelliklerini veri göllerine getirerek çözmeye çalıştığı şey: ASİT işlemleri veri bütünlüğünü ve güvenilirliğini desteklemek ve ayrıca daha çeşitli veri kümeleri için meta veri yönetimini geliştirmek.
Açık kaynaklı bir proje olduğundan herhangi bir şirket Hudi’yi dağıtabilir. Onehouse’un web sitesindeki logolara hızlı bir bakış, bazı etkileyici kullanıcıları ortaya çıkarıyor: AWS, Google, Tencent, Disney, Walmart, ByteDance, Uber ve Huawei. Ancak bu kadar büyük şirketlerin Hudi’yi dahili olarak kullanması, onu şirket içi veri göl evi kurulumunun bir parçası olarak oluşturmak için gereken çaba ve kaynakların göstergesidir.
Chandar, “Hudi, verileri almak, yönetmek ve dönüştürmek için zengin işlevsellik sağlarken, şirketlerin üretim kalitesinde veri göl evi hedeflerine ulaşmak için hâlâ yarım düzine kadar açık kaynak aracını entegre etmesi gerekiyor” dedi.
Bu nedenle Onehouse, verileri çok kısa sürede alan, dönüştüren ve optimize eden, tamamen yönetilen, bulutta yerel bir platform sunuyor.
Chandar, “Kullanıcılar, tüm önemli bulut tabanlı hizmetler, depolar ve veri gölü motorlarıyla geniş bir birlikte çalışabilirlik özelliğiyle, bir saatten kısa bir sürede açık veri göl evini çalışır duruma getirebilirler” dedi.
Şirket, aşağıda listelenen çift dışında ticari müşterilerinin isimlerini verme konusunda çekingen davranıyordu. durum çalışmalarıHint tek boynuzlu atı Apna gibi.
Chandar, “Genç bir şirket olarak, Onehouse’un ticari müşterilerinin tüm listesini şu anda kamuoyuyla paylaşmıyoruz” dedi.
Bankada yeni 35 milyon dolar bulunan Onehouse, artık platformunu Onehouse LakeView adlı ücretsiz bir araçla genişletiyor. Bu araç, tablo istatistikleri, trendler, dosya boyutları, zaman çizelgesi geçmişi ve daha fazlası hakkında öngörüler için göl evi işlevselliğinin gözlemlenebilirliğini sağlıyor. Bu, temel Hudi projesi tarafından sağlanan mevcut gözlemlenebilirlik ölçümlerini temel alarak iş yükleri hakkında ekstra bağlam sağlar.
Chandar, “LakeView olmadan, kullanıcıların ölçümleri yorumlamak ve boru hattı yapılandırmasındaki performans sorunlarının veya verimsizliklerin temel nedenini bulmak için tüm yığını derinlemesine anlamak için çok zaman harcamaları gerekir,” dedi. “LakeView bunu otomatikleştirir ve iyi veya kötü eğilimler hakkında e-posta uyarıları sağlar, sorgu performansını iyileştirmek için veri yönetimi ihtiyaçlarını işaretler.”
Ayrıca Onehouse, veri alımını ve dönüşümü hızlandırmak için mevcut tabloları optimize eden yönetilen bir bulut hizmeti olan Table Optimizer adlı yeni bir ürünü de piyasaya sürüyor.
‘Açık ve birlikte çalışabilir’
Uzaydaki diğer sayısız ünlü oyuncuyu göz ardı etmek mümkün değil. Databricks ve Snowflake’in beğenileri giderek artıyor göl evi paradigmasını benimsemek: Bu aydan daha erken, Databricks’in dağıtıldığı bildirildi Ortak bir göl evi standardı oluşturmak amacıyla Tabular adlı bir şirketin satın alınması için 1 milyar dolar.
Onehouse kesinlikle sıcak bir alana girdi, ancak satıcı bağımlılığını önlemeyi kolaylaştıran “açık ve birlikte çalışabilir” bir sisteme odaklanmanın zamana karşı ayakta kalmasına yardımcı olacağını umuyor. Temel olarak, Databricks, Snowflake, Cloudera ve AWS yerel hizmetleri de dahil olmak üzere, her biri için ayrı veri siloları oluşturmaya gerek kalmadan verilerin tek bir kopyasını hemen hemen her yerden evrensel olarak erişilebilir hale getirme yeteneği vaat ediyor.
GPU alanında Nvidia’da olduğu gibi, veri yönetimi alanında da herhangi bir şirketi bekleyen fırsatlar göz ardı edilemez. Veriler, yapay zeka geliştirmenin temel taşıdır ve yeterli kalitede veriye sahip olmamak bunun önemli bir nedenidir. neden birçok yapay zeka projesi başarısız oluyor. Ancak veriler yığınlar halinde orada olsa bile şirketlerin onu yararlı kılmak için hâlâ altyapıya ihtiyacı var; bunları almak, dönüştürmek ve standartlaştırmak. Bu Onehouse ve benzerleri için iyiye işaret.
“Veri yönetimi ve işleme açısından bakıldığında, sağlam bir veri altyapısı temeli tarafından sağlanan kaliteli verilerin, çöp girişini/çöp çıkışını önlemek için bu yapay zeka projelerinin gerçek dünyadaki üretim kullanım senaryolarına dönüştürülmesinde çok önemli bir rol oynayacağına inanıyorum. veri sorunları,” dedi Chandar. “Kurumsal ölçekteki veriler üzerinde bu yeni yapay zeka uygulamalarını oluşturmak için veri işleme ve sorgulama ihtiyaçlarını ölçeklendirmede zorluk yaşadıklarından, veri gölü evi kullanıcılarında bu tür bir talep görmeye başlıyoruz.”