Makine öğrenimi teknolojileri olgunlaşıyor ve giderek daha karmaşık hale geliyor. Veriler giderek daha fazla sayıda ve erişilebilir hale geliyor. Bilgi işlem yetenekleri hiç bu kadar büyük ve etkinleştirilmesi kolay olmamıştı. Buna rağmen ve açık başarılar günlük hayatımızı işgal etse de, birçok AI tabanlı proje çoğu şirket için başarısızlıktır.
Sorunun merkezindeki yönetimi değiştirin…
Veri bilimi projeleri için ilk başarısızlık faktörü insanlardır. Yapay zekayı bir sürece entegre ettiğimizde, süreci ve ona katılan insanları etkileriz. Bu bariz görünebilir, ancak şirketlerin büyük çoğunluğu, genellikle verimlilik kazanımlarına izin verdiği için insanların bu değişikliğe uyum sağlayacağını varsayarak bu yönü gözden kaçırıyor.
Ancak, çok sayıda çalışan, şirketin verimliliği konusunda çok az endişe duyuyor veya hiç endişe duymuyor; en azından değişikliklere iyi niyetle uyum sağlamak için yeterli değil.
Ek olarak, otomasyon iş yükündeki bir azalma, bazen ilgili bütçede bir azalma anlamına gelir. Hangi yönetici, artan verimlilik nedeniyle ekibinin ve bütçesinin azaldığını görmek ister?
Son olarak, karmaşık olarak adlandırılan bir görevi bir yapay zekaya devretmek, sonuçları kullanacak kişinin güvenini gerektirir. Güvenmek için anlamamız gerekiyor, ancak bir yapay zekanın neden ve nasıl çalıştığını anlamak kolay değil.
… gerçek üretim zorluklarıyla güçlendirilmiş…
Veri bilimi projelerinin başarısızlığındaki ikinci faktör, ekiplerinin bunları iyi koşullarda üretime sokamamasıdır.
Çok fazla şirket, veri bilimcilerinin, veri toplamadan deneye ve üretime kadar bir yapay zeka projesi yürütebilecek sihirbazlar olduğuna inanıyor. Gerçek şu ki, veri bilimcileri modellemede çok iyidir, ancak genellikle üretimde modelleri dağıtmakta zorlanırlar.
Bir modeli üretime sokmak için sanayileşmeye ayrılmış kaynaklara yatırım yapmanız gerekir. Yeni iş unvanları türetilmiştir (“makine öğrenimi mühendisleri”), ancak bunlar yazılım geliştirmede her zaman var olan teknik entegrasyon çalışmalarını yansıtır. Bir makine öğrenimi modeli, hem uygulama entegrasyonu (modeli beslemek için veri alışverişi akışları ve sonuçların diğer IS uygulamalarına gösterilmesi) hem de teknik entegrasyon (yürütme platformunda dağıtım, denetim, günlük, zamanlama, yedekleme) açısından bu adım olmadan yapamaz. , kullanılabilirlik, süreklilik vb.)
Veri bilimcisinin deneyden sorumlu olduğu, laboratuvarda çalıştığı ve müşteri sorunlarına yanıt veren modeller geliştirdiği anlaşılmalıdır. Tersine, makine öğrenimi mühendisi, üretim zincirinin sanayileşmesinden sorumlu fabrikadadır. Bu roller farklı becerilerin yanı sıra farklı kişilikler de gerektirir; veri bilimcisi daha yaratıcı bir zihne sahipken, makine öğrenimi mühendisi daha titiz ve strese karşı dayanıklıdır.
… ve işletmelerle işbirliği eksikliği ile güçlendirildi
AI projelerinin başarısızlığının üçüncü faktörü, esnaflarla işbirliği eksikliğidir.
Veri bilimi ekipleri, bağımsızlıklarını ve çevikliklerini sağlamak için genellikle kuruluşta izole edilir. Bu bağımsızlık bazen işletmelerle yeterince yakın işbirliğinin zararına olur. Aslında, birçok yapay zeka projesi için işletmenin katılımı, tedavi edilecek sorunun tanımı ve çözümün doğrulanması ile sınırlıdır.
Modelin kullanım amacı veri bilimi ekipleri tarafından yanlış anlaşıldığında, modelin yaptığı ile ondan beklenen arasında bir uyumsuzluk oluşabilir. Bir veri bilimi modelinin başarısı, ele alınacak sorunu ve iş ekipleriyle ortaklaşa yürütülecek ilgili kullanım durumunu tanımlamak için önemli bir çalışma gerektirir.
Bu çalışma genellikle hafife alınır ve işletmelerle işbirliği eksikliği, bir veri bilimi çözümünün araştırma ve geliştirme zincirinin farklı seviyelerinde sorun oluşturabilir.
Veri toplama düzeyinde, veri bilimi ekibi yanlış verileri toplayabilir ve bilmeden modellerine bir önyargı ekleyebilir. Örneğin, tahmin edilecek olgunun ortaya çıkışının a posteriori olarak mevcut verilerin kullanımı. Bu türün başka bir örneği, tahmin edilecek verilerle güçlü bir şekilde ilişkilendirilen ancak nedensel bir etkisi olmayan verilerin kullanılmasıdır (örneğin, bir kredinin tahsisinin tahmini için cinsiyet).
Veri bilimi ekipleri ayrıca, bu anormallikleri yargılamak için gerekli uzmanlığa sahip işletmelerin yardımı olmadan tüm anormallikleri tespit edemez. Anormal veriler, modellerin alaka düzeyini önemli ölçüde etkileyebilir. Tersine, veriler, bağlamdaki gerçek durumları temsil ettiklerinde, istatistiksel bir bakış açısından anormal olarak tanımlanabilir.
Modellerin iş hedefleriyle uyumsuzluğu sorununun üstesinden gelmek için, modelin değerlendirileceği bir iş metriği tanımlamak gerekir. Bu metriğin amacı, modelin iş üzerindeki etkisini yansıtmaktır. Çoğu zaman modeller, genellikle modelin bir tahmin yapacağı her durumu eşdeğer olarak değerlendirme kusuruna sahip olan tamamen teknik metrikler temelinde değerlendirilir. Gerçekte, bu nadiren olur. Bir kayıp tanımlama modeli örneğini ele alalım, modelin değerlendirilmesi için teknik bir metrik kullandığımız durumda, tüm müşterilerin eşit derecede önemli olduğunu varsayıyoruz, gerçekte çoğu zaman kendimizi en çok kaybı korumak istiyoruz. karlı müşteriler önceliklidir.
Potansiyel yanlılığın eklenmesinin ötesinde, iş ekipleriyle işbirliği, verimlilikte önemli bir kazanç sağlar. Bu iş birliği aynı zamanda veri bilimcilerin bu işin en güçlü yanlarından biri olan işi daha iyi anlamalarını sağlar.
Çözüm: değişim yönetiminde uzmanlık…
Bu sorunları çözmek için şirketlerin dönüşümlerinde hem teknik hem de organizasyonel olarak destek olmak gerekecektir. IS konularının altını çizmek ve yönetim ekipleri ile net bir şekilde açıklamak, sağlanacak çözümün merkezinde yer almaktadır.
Bir veri bilimi projesinden sorumlu ekipler, sorunları süreç, organizasyon ve kültür boyutuyla bir bütün olarak ele almalıdır. Bu değişim yönetimi stratejisini şirketin tüm paydaşları ile işbirliği içinde hazırlamalıdırlar: BT ekipleri kadar iş ekipleri de.
Geliştirilen her model için, işleyişinin ve tahminlerinin bir yorumunu sağlamak gerekecektir. Bu yorum, her bir tahmini etkileyen faktörleri açıklamak için küresel düzeyde ve/veya yerel düzeyde yapılabilir. Bu, modelin kendilerine benzer bir akıl yürütmeye dayandığını görebilecek ve dolayısıyla bağlılıklarını kolaylaştıracak iş uzmanlarının güvenini kazanmayı mümkün kılar.
… tasarım aşamasından itibaren üretim konularını dikkate alarak…
Daha sonra, MLops yaklaşımlarıyla, bakımını ve işletimini sağlamaktan sorumlu olacak ekiplerin gerçek risklerine ve olgunluklarına göre aşamalı ve mantıklı bir şekilde geliştirilmesi söz konusu olacaktır.
…işletmelerle yakın işbirliği içinde…
AI projeleri daha sonra şirketin işletmeleriyle ortaklaşa geliştirilmelidir. Bu, BT ekipleri kadar iş uzmanlarının da dahil olduğu, ihtiyacın kapsamının belirlenmesi ve tanımlanmasının önemli bir aşamasından geçer. Organizasyona bağlı olarak muhataplar, organizasyonun yönetimi, dönüşümü ve hatta bazen BT departmanı gibi operasyonel meslekler veya temsilcileri olabilir.
Bu aşamada proje ekibi, tüm geliştirme sürecine rehberlik edecek iş metriklerini tanımlamaya odaklanacaktır. Bu, çözümün şirketin iş hedefleriyle doğru şekilde hizalanmasını sağlamayı mümkün kılacaktır.
… ve yapılandırılmış bir süreç oluşturun
Başarılı bir projenin başarısının anahtarlarından biri, iş ekipleriyle maksimum kilometre taşı sunmak için 5 temel aşamadan geçer. Bu yaklaşımın temel amacı, problemi doğru bir şekilde ortaya koymadan modelleme aşamasına çok hızlı atlamaktan kaçınmaktır.
Kullanım durumlarını belirleme
Bu adımın amacı, işletmelerle ortaklaşa, şirket içinde veri biliminin kullanım durumlarını belirlemektir. Bu adımın amacı, şirketin ve yönetim organlarının veri bilimi ile neler yapılabileceğini ve yapılamayacağını anlamasını sağlamaktır. Bu, onlara bir kullanım durumunun veri bilimi tarafından dayatılan kısıtlamalara (verinin eksiksizliği ve kalitesi, zamanlama, vb.) uyup uymadığını belirlemenin anahtarlarını vermek içindir.
Çerçeveleme ve ihtiyacın belirlenmesi
Bu adım sırasında proje ekibi, beklenen faydayı ölçmek için iş metriklerinin yanı sıra iş ihtiyacını, bağlamı ve modelin amaçlanan kullanımını belirleyecektir. Çözümün teknik kısıtlamaları da bu aşamada tanımlanacaktır: şehir planlaması, teknik ve işletim çerçevesi, IS güvenlik politikası, vb.
Fizibilite çalışması
Bu adımın amacı, bir veri bilimi kullanım senaryosunun teknik fizibilitesini doğrulamak, kullanılacak yöntemi belirlemek ve yükü tahmin etmektir. Bunun için, verinin kalitesini ve tedavi edilecek sorunla ilişkisini tanımlamak için bir veri denetimi yapılması gerekecektir. Proje ekibi ayrıca, minimum çaba gerektiren mümkün olan en basit model olan bir temel model tahmin etmeye odaklanmak zorunda kalacak. Performansına bağlı olarak, ele alınacak problemin karmaşıklığını ve ilgili yükü tahmin edebiliriz.
Kavramın ispatı
Proof of Concept projesinin geliştirilmesi, çözümün gerçek bir durumda test edilmesini sağlayan işlevsel bir ürün üretmeyi amaçlar. Bu aşamada veri temizleme, özellik mühendisliği ve model eğitimi ve tahmini için modüller üretilecektir. Gerekirse, bu aşamada bir sonuç iade arayüzünün ilk versiyonu geliştirilmelidir. Bu aşama, modelin gerçek bir durumda değerlendirilmesine izin veren bir AB testi yapılarak sonuçlandırılabilir.
Bu aşamanın sonunda geliştirilen kod belgelenir, test edilir ve dağıtıma hazır hale gelir.
MLOps uygulamalarının uygulanması
Kavram kanıtı gerçekleştirildikten ve test edildikten sonra, artık çözümün esnekliğine ve esnekliğine odaklanılmalıdır. Gerçekten de model, modelin ömrü ilerledikçe modelin üretimde işleyeceği verilerden giderek daha fazla farklılık gösterecek olan tarihsel veriler temelinde tahmin edilmektedir.
Projeden sorumlu ekibin, üretime alınması ve otomatikleştirilmiş model yerleştirme iş akışları kurması gerekecek yeni, daha verimli modelleri tahmin etmesi de gerekebilir.
Bu aşamanın amacı, çözümün üretimde düzgün çalışmasını sağlamak, bakımını ve dağıtım sürecini kolaylaştırmak için çeşitli işletim ve model entegrasyon araçları kurmaktır.
Sonuç olarak
Veri bilimi projelerinin başarısız olmasının nedenleri her şeyden önce insani ve organizasyoneldir. Hazırlık aşamalarını küçümsemeyin, değişim yönetimi ve bu tür projelerde bilimsel bir yaklaşım benimsemek başarı şansınızı önemli ölçüde artırabilir!