Amerikalı startup Groq, 20 Şubat’ta LLM’lerin çıkarımını ve yanıtını hızlandıran bir yapay zeka çipi olan Dil İşleme Birimi’ni (LPU) piyasaya sürdü. Grok, 2016 yılında bir grup eski Google geliştiricisi tarafından kurulan bir yarı iletken şirketidir. Google’ın makine öğrenimi (ML) çiplerini geliştiren CEO Jonathan Ross, kurucular arasında yer alıyor.
Bu LPU, OpenAI’nin ChatGPT’si ve Google’ın Gemini’si gibi makine öğrenimi özellikli sohbet robotlarının yanıt hızını artırma konusunda uzmanlaşmıştır. Kullanıcıların sorularına bir saniyeden daha kısa sürede yüzlerce kelimelik İngilizce yanıt üretebilmektedir.
Karşılaştırma testlerinde bu LPU, Microsoft’un Azure bulut bilişim altyapısından daha iyi performans gösterdi. Meta’nın “Lama 2″si, 70 milyar parametresiyle Microsoft Azure Cloud’da saniyede 19 token üretirken Groq ile saniyede 241 token üretti. Dolayısıyla bu LLM, Groq’da 18 kattan daha hızlı kesinti yapabilir. Ve LPU’nun 100 token oluşturması 0,8 saniye sürdü; Microsoft’un Azure bulutu ise 10,1 saniye sürdü.
Grocechat arayüzünde geliştiricilerin kullanımına sunuldu
LPU şu anda ilgilenen geliştiricilerin kullanımına bir sohbet arayüzünde sunulmaktadır. Yetkili kullanıcılar bu motoru Lama 2, Mistral, Falcon vb. üzerinde test edebilirler.
Groq CEO’su Jonathan Ross, “LLM’lerin çıkarım hızı, geliştiricilerin fikirlerini ticari yapay zeka ekosistemi için gerekli olan işlere dönüştürmelerine olanak tanıyor” dedi.
Kaynak : “ZDNet Kore”