Yapay zeka kodlama özellikleri değerlendirmelerimin bir parçası olarak, her AI’yi dört programlama testine gönderiyorum. Bu testler, belirli bir AI’nın programınıza ne kadar yardımcı olabileceğini belirlemek için tasarlanmıştır. Özellikle kod üretmenize yardımcı olmak için AI’ya güveniyorsanız oldukça yararlıdır. İstediğiniz son şey, AI’nın geliştirici çalışmalarınıza hatalar getirmesi, değil mi?
Bunlar çok basit testler. Tam olarak zor diller olmayan PHP ve JavaScript kullanıyorum. Ve AI aracılığıyla komut dosyası isteklerim var. Aynı testleri tam olarak kullanarak performansı doğrudan karşılaştırabiliriz.
- Bunlardan biri basit bir WordPress eklentisi yazmaktır.
- Bir karakter dizesi işlevini yeniden yazmak için.
- Bir diğeri, yalnız bulmakta zorlandığım bir hata bulmak için yardım istemek için.
- Ve sonuncusu Chrome’dan veri kurtarmak için bazı programlama araçlarını kullanıyor.
Gemini Pro 2.5 herkes için ücretsiz olarak kullanılabilir
Ama aynı zamanda yapmayı öğrenen biriyle olduğu gibi AI ile davranmalısınız. Garajdan çıkamazsa, kalabalık bir otoyoldan vazgeçmeyeceksiniz.
Bugüne kadar, sadece LLM GPT-4 (ve daha fazlası) tüm testleri başarıyla tamamladı. Evet, şaşkınlık Pro tüm testleri de başarıyla tamamladı, ancak Partplexity Pro LLM GPT-4’ü kullanıyor. Merakla, Chatgpt LLM’yi de kullanan Microsoft Copilot tüm testlerde başarısız oldu. Google Gemini çok daha iyisini yapmadı. Bard’ı (Gemini’nin adı) test ettiğimde, çoğu testte başarısız oldu. Geçen yıl, Testlerimi Gemini Advanced’e (ayda 20 $) geçtiğimde, dört testten üçünü başarısızlığa uğrattı.
Bugün Google Gemini Pro 2.5 ile geri dönüyor. Burada dikkatimizi ZDNet’e çeken şey, Gemini Pro 2.5’in herkes için ücretsiz olarak mevcut olması. Aylık 20 $ ek yok. Google, ücretsiz erişimin fiyatlandırma sınırlarına tabi olduğunu açıkça belirtmiş olsa da, birimizin iki istemden sonra bizi boğacağını fark ettiğini düşünmüyorum. Testler sırasında bana ne oldu.
İlk iki istemim Gemini Pro 2.5’ten tam bir WordPress eklentisi ve doğru kod yazmasını istedi. Bu nedenle, sınırları basit bir soru sormak için kullandığınızdan daha hızlı tüketmem mümkündür. Ama sürpriz, bekleme gerçekten buna değdi.
Test 1: Basit bir WordPress eklentisi yazın
Etkileyici. Bard’ın başarısızlığından ve İkizler’in başarısızlığından uzaktayız. Gemini Pro 2.5 bu testi baştan beri başarıyla aldı.
Zorluk, basit bir kullanıcı arayüzü sağlayan basit bir WordPress eklentisi yazmaktır. Giriş çizgilerini çırpır ve kopyaları dağıtır (ve kaldırmaz), böylece yan yana olmayacaktır.
Gemini Pro 2.5 bana çok doğru bir kullanıcı arayüzü sağladı. Ve kod yürüttü ve yapması gereken şeyi yaptı.
David Gewirtz/ZDNet tarafından ekran görüntüsü
Dikkatimi çeken, güzel sunulan arayüze ek olarak, eklenti simgesinin seçimidir. Çoğu AI, simgenin seçimini görmezden gelir ve arayüzün varsayılan olarak WordPress’in bunları atadığına uyum sağlamasına izin verir.
Ancak Gemini Pro 2.5 açıkça bir simge seçti WordPress Dashicon Seçimi. Ek olarak, bu simge bir eklentinin çizgilerinin randomizasyonu için mükemmel bir şekilde uygundur.
David Gewirtz/ZDNet tarafından ekran görüntüsü
Gemini Pro 2.5 bu testte başarılı olmakla kalmadı, aynı zamanda ikon seçimi için bir “vay” aldı. Onu yapmaya davet etmedim ve tam da gereken buydu. Kod tamamen çevrimiçi idi (JavaScript ve HTML PHP’ye entegre edildi) ve iyi belgelendi. Buna ek olarak, Gemini Pro 2.5, kodun her ana bölümünü ayrı bir açıklayıcı metinle belgeledi.
Test 2: Bir karakter dizesi işlevini yeniden yazın
İkinci testte, Gemini Pro 2.5’ten dolar ve sentlerle ilgilenen karakter dizelerinin bir tedavi kodunu yeniden yazmasını istedim. İlk test kodum yalnızca tamsayılara izin verir (bu nedenle yalnızca dolar). Ancak amaç dolar ve yüze izin vermekti. Bu, Chatgpt’in başarılı olduğu bir testtir. Bard önce başarılı olmak zorunda kaldı.
Ve Google Advanced ince ve tehlikeli bir şekilde başarısız oldu. Gemini Advanced tarafından oluşturulan kod, seçilmeyen girişlere izin vermedi. Başka bir deyişle, 1.00 yetkilendirildi, ancak 20 için aynı değil. Daha da kötüsü, iki adet sayıyı sınırlamaya karar verdi Önce Bunun yerine virgül, böylece dolar ve yüz kavramını anlamadığını gösteriyor. 100.50 girdiyseniz başarısız oldu, ancak 99.50 yetkilendirdi.
Bu çok kolay bir sorundur, programlamanın ilk yılında öğrencilere verilen türler. Daha da kötüsü, Gemini Advanced’in programlamasını bir programcı için bulmak çok zor.
Gemini Pro 2.5 tarafından oluşturulan kod biraz fazla katı
Testi Gemini Pro 2.5 ile tekrarladığımda, sonuçlar farklıydı. Kod, giriş türlerini doğru bir şekilde kontrol eder, beyaz boşlukları siler, sıfırları göz önünde bulundurmak için normal ifadeyi, sadece ondalık girişleri ve negatif girişleri ve negatif girişleri onarır.
Ayrıca düzenli ifade kodu hakkında kapsamlı bir şekilde yorum yapıyor. Ve hem geçerli hem de geçersiz (ve bu şekilde listelenen) iyi etiketli testlerin eksiksiz bir örnek seti sunar.
Gemini Pro 2.5 tarafından oluşturulan kod biraz fazla katı. Virgülleri gruplandırmayı mümkün kılmaz (1,245,22 $ ‘dır) ve listenin en üstünde parasal sembollere izin vermez. Ancak istemim bunu istemediğinden ve virgül veya parasal sembollerin kullanımının bir çarpışma değil kontrollü bir hata döndürdüğü için kabul edilebilir olduğunu düşünüyorum.
Bu ikinci bir zafer.
Test 3: Bir hata bulun
Ardından hata algılama testi gelir. Chatgpt endişeyi anladı. Gemini Advanced yanılmaya bile zahmet etmedi. Verdiği tek şey, “muhtemelen eklentide başka bir yerde veya wordpress’te” bulmak için önerisidir.
Peki ya bugün, Gemini Pro 2.5 ile? Dürüst olmak gerekirse, bilmiyorum ve yarından önce bilmeyeceğim. Görünüşe göre, ilk iki sorumla ücretsiz Gemini Pro 2.5 kotamı tükettim.
David Gewirtz/ZDNet tarafından ekran görüntüsü
Bu yüzden yarın geri geleceğim.
Tamam, geri döndüm. Ertesi güniz, köpek güzel bir yürüyüş yaptı, güneş orada ve Gemini Pro 2.5 bana mesaj vermem için zaman veriyor. Ona üçüncü testimi hızlıca verdim.
Sadece testte başarılı olmakla kalmadı ve hatayı bulmak değil. Ama bana kodun düzeltmek için yerini söyledi. Gerçekten. Bana bir ok ve diğer her şeyi bir kart çekti.
David Gewirtz/ZDNet tarafından ekran görüntüsü
Dört kişiden üç doğru testle Gemini Pro 2.5, “programlama yardımı için kategoriden kaçınmak için chatbots” dan çıkıyor ve sınıflandırmamızın ilk yarısına giriyor.
Ama hala bir test var. Bakalım Gemini Pro 2.5 bunu nasıl yapıyor.
Test 4: Bir senaryo yazın
Bu son test, programlama becerileri açısından çok zor değildir. Test ettiği şey, AI’nın bir ortamdan diğerine geçme yeteneği ve programlama ortamlarının karanlığıdır.
Test şunları gerektirir:
- Chrome’daki nesne modelinin dahili temsilini anlamak için
- Applescript yazmayı öğrenmek için (örneğin Python’dan çok daha belirsiz)
- Sonra için kod yaz Klavyebir Avustralyalı tarafından yazılmış bir makro oluşturma aracı
Rutin, krom sekmelerini açmak ve rutinin bir parametre olarak kullandığı sekmeyi tanımlamak için tasarlanmıştır. Bu oldukça dar bir kodlama gereksinimidir. Ancak, her ortam için doğru parametreleri anlamaya dayandığı için, elle çözülmesi saatler alabilecek bir şeydir.
Çoğu AI, Applescript ve Chrome arasındaki bağlantı ile iyi gidiyor. Ancak bunların yarısından fazlası parametrelerin klavyeye nasıl iletileceğini bilmiyor.
Ve, bir kez daha vay canına. Gemini Pro 2.5 aslında klavye Maestro’yu anladı. Değişkenleri olması gerektiği gibi iletmek için gerekli kodu yazdı. Değişken tanımlanamıyorsa, hataları kontrol ederek ve kullanıcıyı (istemi istenmeyen) uyararak değer kattı.
Daha sonra, açıklama bölümünde, bu bağlamda çalışacak şekilde klavye maestro’yu yapılandırmak için gerekli adımları bile sağladı.
David Gewirtz/ZDNet tarafından ekran görüntüsü
Böylece, Gemini Pro 2.5, kazananların çok kapalı çemberine giriyor.
Bunun olacağını biliyorduk
Bu sadece bir zaman meselesiydi. Google çok, çok zeki insanlarla doludur. Aslında, araştırma belgesiyle 2017’de üretken AI patlamasını başlatan Google’dı “Dikkat gösterdiğiniz tek şey“.
Bard, Gemini ve hatta Gemini Advanced, AI programlama testlerimde sefil bir şekilde başarısız oldu. Ancak Google’ın AI aracının Openai’nin tekliflerini yakalaması sadece bir zaman meselesiydi.
Bu sefer geldi. En azından programlama testlerim için. Gemini Pro 2.5, Chatgpt Plus’tan daha yavaş. Chatgpt daha çok anında cevap veriyor. Gemini Pro 2.5 15 saniye ile bir dakika sürüyor.
Her şeye rağmen, kesin ve kullanışlı bir sonuç elde etmek için birkaç saniye beklemek, hatalı cevaplar almaktan çok daha değerlidir.
