A kağıt (yeni sekmede açılır) Stanford Üniversitesi’ndeki araştırmacılar, GitHub Copilot ve Facebook InCoder gibi AI asistanlarını kullanan kodlayıcıların aslında daha az güvenli kod yazdıklarını keşfetti.
Dahası, bu tür araçlar aynı zamanda geliştiricileri yanlış bir güvenlik duygusuna kaptırır ve pek çoğu, yardımı kullanarak daha iyi kod ürettiklerine inanır.
Her biri farklı uzmanlık seviyelerine sahip yaklaşık 50 deneğe, çeşitli diller kullanılarak, bazıları yapay zeka aracıyla, bazıları ise hiç yardım almadan beş kodlama görevi verildi.
Dil oyunları
Makalenin yazarları – Neil Perry, Megha Srivastava, Deepak Kumar ve Dan Boneh – “dize şifreleme ve SQL enjeksiyonu için özellikle önemli sonuçlar” olduğunu belirtti.
Onlar da referans aldı Önceki arama GitHub Copilot’un yardımıyla oluşturulan programların yaklaşık %40’ının savunmasız kod içerdiğini tespit etti. dersi takip et GitHub Copilot’un temel aldığı OpenAI’nin code-cushman-001 kodeksi gibi Büyük Dil Modelleri (LLM) kullanan kodlayıcıların yalnızca %10 daha fazla kritik güvenlik hatalarına yol açtığını buldu.
Ancak Stanford araştırmacıları, kendi çalışmalarının OpenAI’nin cushman’dan daha yeni bir model olan ve GitHub Copilot tarafından da kullanılan codex-davinci-002 modeline baktığını açıkladı.
Ayrıca Python, Javascript ve C de dahil olmak üzere birden çok programlama diline baktılar, oysa diğer makale yalnızca yazarların sonuçsuz bulgularına atfettiği ikincisine odaklandı. Aslında, Stanford makalesinde, C’yi kodlamak için AI kullananlar da önemli ölçüde daha fazla hataya neden olmadı.
Beş görevden biri Python’da kod yazmayı içeriyordu ve burada, bir AI yardımcısı kullanılırken kodun hatalı ve güvensiz olma olasılığı daha yüksekti. Dahası, “ikame şifreleri (p < 0.01) gibi önemsiz şifreleri kullanma ve döndürülen nihai değer üzerinde bir orijinallik kontrolü yapmama olasılıkları önemli ölçüde daha yüksekti."
Yazarlar, bu tür araçların sunabileceği potansiyel üretkenlik iyileştirmeleri nedeniyle, çalışmalarının teknolojiyi tamamen reddetmek yerine AI’da daha fazla iyileştirmeye yol açacağını umuyorlar. Programcıları yanılmaz olduklarına inandırabilecekleri için dikkatli kullanılmaları gerektiğini savunuyorlar.
Ayrıca, AI asistanlarının, disiplin etrafındaki bekçilik havasından da vazgeçebilecek olan, deneyimlerinden bağımsız olarak daha fazla insanı kodlamaya katılmaya teşvik edebileceğini düşünüyorlar.
Yolu ile Kayıt (yeni sekmede açılır)