Çarşamba günü yayınlanan yeni bir araştırmaya göre, yapay zeka artık hukuk fakültesi mezunlarının çoğunu baro sınavında geride bırakabilir.
Microsoft destekli OpenAI tarafından bu hafta piyasaya sürülen yükseltilmiş yapay zeka modeli GPT-4, hukuk teknolojisi şirketi Casetext’in iki hukuk profesörü ve iki çalışanı tarafından yürütülen bir deneyde baro sınavında 297 puan aldı.
Araştırmacılar, GPT-4’ü gerçek sınava girenlerin yüzde 90’ına yerleştiriyor ve çoğu eyalette avukatlık yapmak için kabul edilmek için yeterli.
Baro sınavı bilgi ve muhakemeyi değerlendirir ve çoktan seçmeli soruların yanı sıra yasal çalışmayı simüle etmeye yönelik makaleler ve performans testleri içerir.
Yazarlar, “Büyük dil modelleri, derin hukuk bilgisi, okuduğunu anlama ve yazma becerisi gerektiren karmaşık görevlerin üstesinden gelerek Amerika Birleşik Devletleri’ndeki neredeyse tüm yargı bölgelerinde insan avukatlara uygulanan standardı karşılayabilir” diye yazdı.
Dört aydan daha kısa bir süre önce aynı araştırmacılardan ikisi, OpenAI’nin daha önceki büyük dil modeli ChatGPT’nin baro sınavında geçer not alamadığı sonucuna vardı ve bu da teknolojinin ne kadar hızlı geliştiğini gösteriyor.
Daha yeni GPT-4, baro sınavının çoktan seçmeli sorularının yaklaşık yüzde 76’sını doğru yaptı; ChatGPT için yaklaşık yüzde 50’den, sınava giren ortalama bir insandan yüzde 7’den fazla daha iyi performans gösterdi.
Çoktan seçmeli bölümü tasarlayan Ulusal Baro Müfettişleri Konferansı Çarşamba günü yaptığı açıklamada, avukatların eğitim ve deneyim yoluyla kazandıkları benzersiz becerilere sahip olduğunu söyledi ve bu beceriler “AI’nın şu anda boy ölçüşemeyeceği.”
Chicago-Kent College of Law’da profesör olan çalışma ortak yazarı Daniel Martin Katz, bir röportajda GPT-4’ün büyük ölçüde alakalı ve tutarlı deneme ve performans testi yanıtları üretme becerisine en çok şaşırdığını söyledi.
Katz, “Pek çok insanın ‘Pekala, çoktan seçmeli olabilir ama denemeleri asla alamayacak’ dediğini duydum” dedi.
AI, SAT ve GRE dahil olmak üzere diğer standartlaştırılmış testlerde de iyi performans gösterdi, ancak baro sınavı daha fazla ilgi topladı. OpenAI, Salı günü en son modeli açıkladığında geçme puanını lanse etti.
Baro sınavı öğretmeni Sean Silverman, baro sınavına odaklanmayı, yaygın olarak kabul edilen zorluğuna bağladı. Bu yılki avukatlık ruhsatlandırma sınavında ilk kez geçme oranı, hukuk fakültesinde üç yıl geçirmiş sınava girenler arasında %78’di.
Silverman, insanların AI’nın “avukat olma sınavından ziyade” SAT gibi lise öğrencileri için tasarlanmış bir testi geçebileceğini öğrenmekten daha az etkilenebileceğini söyledi.
© Thomson Reuters 2023