Şubat ayında, Sogou’nun kurucusu Wang Xiaochuan söz konusu Weibo’da “Çin’in kendi OpenAI’sine ihtiyacı var.” Çinli girişimci, yeni kurulan şirketi Baichuan Intelligence’ın yeni nesil büyük dil modelini piyasaya sürmesiyle şimdi rüyasına adım adım yaklaşıyor. Baichuan-13B Bugün.
Baichuan, kurucusunun Tsinghua Üniversitesi’nden bir bilgisayar bilimi dahisi olarak geçmişi ve daha sonra Tencent tarafından satın alınan arama motoru sağlayıcısı Sogou’yu kurması sayesinde Çin’in en umut verici LLM geliştiricilerinden biri olarak lanse ediliyor.
Wang, 2021’in sonlarında Sogou’dan ayrıldı. ChatGPT dünyayı kasıp kavururken, girişimci Baichuan’ı başlattı Nisan içinde ve bir grup melek yatırımcıdan hızla 50 milyon dolarlık finansman sağladı.
Çin’in diğer yerli LLM’leri gibi, Transformer mimarisine (GPT’yi de destekleyen) dayalı 13 milyar parametreli bir model olan Baichuan, Çince ve İngilizce verilerle eğitilmiştir. (Parametreler, modelin metin oluşturmak ve analiz etmek için kullandığı değişkenlere atıfta bulunur.) GitHub sayfasına göre model açık kaynaklıdır ve ticari uygulama için optimize edilmiştir.
Baichuan-13, 1,4 trilyon jeton üzerinde eğitildi. Karşılaştırıldığında, Meta’nın LLaMa 13 milyar parametreli modelinde 1 trilyon jeton kullanıyor. Wang daha önce bir röportaj girişiminin, bu yılın sonuna kadar OpenAI’nin GPT-3.5’i ile karşılaştırılabilir büyük ölçekli bir modeli piyasaya sürme yolunda olduğunu söyledi.
Sadece üç ay önce başlayan Baichuan, kayda değer bir gelişme hızına ulaştı. Nisan ayı sonundaekip 50 kişiye ulaştı ve Haziran ayında ilk LLM’sini, 7 milyar parametreye sahip ön eğitim modeli Baichuan-7B’yi piyasaya sürdü.
Şimdi, temel model Baichuan-13B, onu ticari amaçlarla kullanmak için resmi onay almış akademisyenler ve geliştiricilere ücretsiz olarak sunuluyor. Daha da önemlisi, ABD’nin Çin’e yapay zeka çipi yaptırımları çağında, model, Nvidia’nın 3090 grafik kartları da dahil olmak üzere tüketici sınıfı donanımlarda çalışabilen varyasyonlar sunuyor.
Büyük dil modellerine büyük yatırım yapan diğer Çinli firmalar arasında arama motoru devi Baidu; Profesör tarafından yönetilen Tsinghua Üniversitesi’nin bir yan ürünü olan Zhipu.ai tan jie; Microsoft Research Asia’nın kurucularından Harry Shum liderliğindeki araştırma enstitüsü IDEA’nın yanı sıra.
Ülke, dünyanın en katı AI düzenlemelerinden bazılarını uygulamaya hazırlanırken, Çin’in büyük dil modelleri hızla ortaya çıkıyor. Financial Times tarafından bildirildiği üzere, Çin’in üretken yapay zeka için özellikle içeriğe odaklanan düzenlemeler hazırlaması bekleniyor ve bu da Nisan ayında uygulamaya konulan kurallardan daha fazla denetime işaret ediyor. Şirketlerin ayrıca, Çin’in gelişmekte olan sektörde ABD ile rekabet etme çabalarını yavaşlatabilecek büyük dil modellerini piyasaya sürmeden önce bir lisans alması gerekebilir.