Microsoft ve Nvidia, geliştiricilerin Windows PC’lerinde yapay zeka modellerini çalıştırıp yapılandırmalarına yardımcı olmak istiyor. Çarşamba günkü Microsoft Ignite etkinliği sırasında Microsoft, geliştiricilerin yapay zeka modellerine erişip bunları ihtiyaçlarına göre değiştirebilecekleri yeni bir merkez olan Windows AI Studio’yu duyurdu.
Windows AI Studio, geliştiricilerin mevcut Azure AI Studio’dan ve Hugging Face gibi diğer hizmetlerden geliştirme araçlarına ve modellerine erişmesine olanak tanır. Aynı zamanda Microsoft’un Phi, Meta’nın Llama 2 ve Mistral gibi çeşitli küçük dil modellerine (SLM’ler) ince ayar yapmak için model yapılandırma kullanıcı arayüzü ve izlenecek yollar ile uçtan uca bir “kılavuzlu çalışma alanı kurulumu” sunar.
Windows AI Studio, geliştiricilerin Prompt Flow ve Gradio şablonlarını kullanarak modellerinin performansını test etmelerine olanak tanır. Microsoft, Windows AI Studio’yu “önümüzdeki haftalarda” bir Visual Studio Code uzantısı olarak kullanıma sunacağını söylüyor.
Nvidia da benzer şekilde, şirketin büyük dil modellerini (LLM’ler) H100 GPU’larda daha verimli çalıştırmanın bir yolu olarak başlangıçta Windows için başlattığı TensorRT-LLM’ye yönelik güncellemeleri açıkladı. Ancak bu son güncelleme, TensorRT-LLM’yi GeForce RTX 30 ve 40 Serisi GPU’larla desteklenen, 8 GB veya daha fazla RAM’e sahip bilgisayarlara getiriyor.
Ek olarak Nvidia, yakında yeni bir paketleyici aracılığıyla TensorRT-LLM’yi OpenAI’nin Sohbet API’si ile uyumlu hale getirecek. Bu, geliştiricilerin LLM’leri kendi bilgisayarlarında yerel olarak çalıştırmasına olanak tanıyacak ve bu da özel verileri bulutta depolamaktan endişe duyanlar için ideal. Nvidia, bir sonraki TensorRT-LLM 6.0 sürümünün beş kata kadar daha hızlı çıkarım sağlamanın yanı sıra yeni Mistral 7B ve Nemotron-3 8B modellerine destek sağlayacağını söylüyor.
Bunların hepsi Microsoft’un yaratma hedefinin bir parçası bir “hibrit döngü” geliştirme modeliBulutta ve yerel olarak cihazlarda yapay zeka gelişimini mümkün kılması bekleniyor. Bu konseptle, geliştiricilerin yapay zeka gelişimini desteklemek için yalnızca kendi sistemlerine güvenmeleri gerekmiyor; çünkü Microsoft’un bulut sunucularına erişerek cihazlarının yükünü hafifletebiliyorlar.