GitHub, yakın zamanda piyasaya sürülen Copilot kod tamamlama aracının aslında geliştirici üretkenliğini artırmayla ilişkili olduğunu gösteren bir araştırma yayınladı.
Bir AI çifti programlama hizmeti olan GitHub Copilot piyasaya sürüldü halka açık bir ay önce kullanıcı başına aylık 10 ABD Doları veya kullanıcı başına yıllık 100 ABD Doları maliyetle.
Geliştiricilere kabul edebilecekleri, reddedebilecekleri veya değiştirebilecekleri kod öneren Microsoft’un Visual Studio Code düzenleyicisinin bir uzantısıdır. Kod önerileri, kendisi GPT-3’ün bir sürümü olan OpenAI’nin Codex tabanlı doğal dil AI modeli tarafından oluşturulur ve GitHub’da yayınlanan kod da dahil olmak üzere milyarlarca halka açık kaynak kodu satırı üzerinde eğitilmiştir.
Yardımcı pilot bazı tartışmalara neden oldu çünkü tüm geliştiriciler, model eğitimi için kodlarının kullanımından memnun değil. Ama GitHub’ın sahip olduğu bir çalışma yayınladı Copilot’un geliştiriciler arasında daha yüksek bir üretkenlik oranı sağladığı teorisini doğrulamayı hedefliyor.
Araştırmacılar, Copilot kullanan geliştiricilerin 2.631 anket yanıtını analiz etti ve yanıtlarını IDE’de (entegre geliştirme ortamı) toplanan ölçümlerle eşleştirdi. Zorluk, Yardımcı Pilotun geliştirici üretkenliği üzerindeki etkisini ölçmek için en iyi yöntemi bulmaktı.
Yazarlar, “Gönderilen önerilerin kabul oranının, diğer önlemlerden daha iyi bir üretkenlik göstergesi olduğunu bulduk” diye açıklıyor.
Verimliliğin hassas ölçümü
GitHub tarafından kullanılan ölçüm yöntemi, başka bir çalışmanınkinden farklı Nisan ayında GitHub tarafından yayınlandı Copilot’un geliştiricilerin üretkenliği üzerindeki etkisi ve tekrarlayan görevlerin yürütme sürelerinin ölçülmesi ile ilgili. Çalışma yazarları, Copilot’un görev tamamlama süresini veya başarı oranını mutlaka iyileştirmediği, ancak 24 katılımcının çoğunun Copilot’u kullanmayı tercih ettiği, çünkü genellikle yararlı bir başlangıç noktası sağladığı ve çevrimiçi araştırma yapmaktan kaçındıkları sonucuna vardılar.
GitHub çalışmasının yazarlarından Albert Ziegler, hizmeti “bir hesap makinesi eklenmiş çiftler halinde bir geliştirici” ile karşılaştırıyor, küçük işlerde çok iyi ama tüm parantezleri doğru sırayla kapatacak kadar güvenilir.
Ancak kalkınmadaki “verimlilik” sözcüğü, geniş bir yelpazede olası pratik anlamlar içerir. Geliştiriciler ideal olarak tuş vuruşlarını kaydetmek mi yoksa Google ve StackOverflow aramalarından kaçınmak mı ister?” Ziegler bir blog yazısında soruyor. “GitHub Copilot, mekanik, hesap makinesi benzeri görevler için onlara çok kesin çözümler sunarak akışta kalmalarına yardımcı olmalı mı? Engellenmişler mi?
GitHub çalışmasının geliştiricilere yönelttiği üç temel soru şunlardır:
- Katılımcılar GitHub Copilot’un kendilerini daha üretken hale getirdiğini düşünüyor mu?
- Bu duygu, nesnel kullanım ölçütlerine dönüşüyor mu?
- Bu duyguyu en iyi hangi kullanım metrikleri yansıtıyor?
Ziegler, çalışma sonuçlarının Copilot’un “daha iyi geliştirici üretkenliği ile ilişkili olduğunu” gösterdiğini belirtiyor. En güçlü korelasyon, kabul edilen öneri sayısının görüntülenen öneri sayısına bölünmesiyle elde edilmiştir.
“Bu kabul oranı, GitHub Copilot tarafından üretilen kod önerilerinin kaç tanesinin kabul edilebilecek kadar umut verici olduğunu gösteriyor” diye belirtiyor.
Ayrıca, Copilot ile en yüksek üretkenlik kazanımlarını bildiren geliştiriciler, gösterilen en yüksek sayıda kod önerisini de kabul eder.
Tüm diller eşit değildir
Çalışma, dile bağlı olarak farklı kabul oranları ortaya çıkardı.
GitHub yazarları, “GitHub Copilot’un farklı programlama dilleri için nasıl davrandığı konusunda önemli farklılıklar olduğunun farkındayız” diyor. “Kullanıcı tabanımız arasında en yaygın diller TypeScript (gözlenen dönemde yayınlanan tüm başarıların %24,7’si, ankete katılan kullanıcılar için %21,9, JavaScript (%21,3, %24,2) ve Python (%14,1, Son ikisi, türlenmemiş diller için tümdengelim araçlarına kıyasla sinirsel araçların göreceli gücünü gösterebilecek daha yüksek kabul oranlarından yararlanır. rapor.
Yazarlar ayrıca, kalıcılık ölçütlerinin, zaman içinde elde tutulan önerilerin sayısının, bildirilen üretkenlik ile ilişkili olmadığını bildirmektedir.
“Önceki çalışmayla tutarlı olarak, teklif kabul önlemleri topladık, ancak kalıcılık önlemleri de geliştirdik. Bu önlemler, daha uzun kod tamamlama teklifleri için bir geliştiricinin bir teklifi kabul ettikten sonra daha fazla düzeltici eylem gerçekleştirmesi gerekebileceği fikrine dayanmaktadır. hatalı bir teklifi silmek veya düzeltmek olarak.
“Kabul oranının (görüntülenen tamamlama sayısına göre normalize edilen kabul sayısı) kalıcılık ölçümlerimizden ziyade bildirilen üretkenlik ile daha iyi ilişkili olduğunu bulmak bizi şaşırttı.”
Ancak, Copilot’un değerinin, doğru şekilde otomatikleştirdiği kod satırlarının sayısında değil, kullanıcılara değiştirebilecekleri bir model vermesinde yattığına inanıyorlar.
“Ancak geriye dönüp bakıldığında, bu mantıklı. Kodlama yazmak değildir ve GitHub Copilot’un temel değeri, kullanıcının mümkün olduğunca çok sayıda kod satırı yazması değildir. Bunun yerine, kullanıcının doğru yönde en iyi ilerlemeyi sağlamasına yardımcı olmakla ilgilidir. hedefleri” diyorlar.
Kaynak : “ZDNet.com”