Kamu Maliyesi Genel Müdürlüğü (DGFiP) liderliğinde yapay zeka (AI) ve büyük veri alanında otuza yakın uzman, değişiklikleri özetlemek için bir araç geliştirdi. Bunu başarmak için, geçen yıl Meta tarafından geliştirilen ve tanıtılan büyük bir dil modeli (LLM) olan Llama 2’yi uyarladılar.
Yasa koyucuların hizmetinde doğal dil işleme
Her yıl milletvekilleri ve senatörler tarafından onbinlerce değişiklik masaya yatırılıyor. Bu, kamu görevlilerinin bakanlara ve milletvekillerine çalışmalarında yardımcı olmak için okumak, sınıflandırmak ve özetlemek zorunda olduğu muazzam miktarda metni temsil ediyor. Zamandan tasarruf etmek için DGFiP, Hukuki ve İdari Bilgiler Müdürlüğü (Dila) ve Bakanlıklar Arası Dijital Direktörlük’ün (Dinum) yardımıyla LlaMandement’i tasarladı.
Araştırmacılara göre bu çözüm “ Artan miktardaki mevzuat değişikliklerinin manuel olarak işlenmesinden kaynaklanan idari zorluklar […] uzman bir hukuk yazarının sağlamlığını karşılarken “. Model, 70 milyar parametreyle eğitilmiş ve Meta’nın OpenAI’nin GPT-4’ü kadar verimli olduğuna karar verdiği Llama-2 70B versiyonunu temel alıyor.
Araştırmacılar, yaklaşık 15.000 değişiklikten oluşan bir veritabanı kullanarak LLM’yi özel olarak eğitti. Hepsi aynı şekilde yazılmıştır. Değişikliğin uygulanması gereken tasarıyı belirleyen kişiyi, bunun ek bir madde mi olduğunu yoksa mevcut bir maddeyi değiştirip değiştirmediğini bilmenizi sağlayan bir beyanı, değişikliğin metnini ve son olarak taslağın yararlılığını gerekçelendiren özet beyanı sunarlar. Değişiklik ve yerine getirmesi gereken hedefler.
Doğal dili işleyebilen LlaMandement, değişikliği birkaç satırda özetlemek için her bir parçayı tanımlıyor. 2024 Finans Tasarısı’nın incelenmesi sırasında test edilen araç, 2023 yılında masaya yatırılan 5.400 değişiklik arasından hangilerinin bu mevzuat çerçevesiyle ilgili olduğunu hızlı bir şekilde tespit etmek için kullanıldı. Araç, on dakika içinde bunları tespit etti ve hatta altı metinden birinin gereksiz olduğunu fark etti.
Model daha sonra 2024 Finans Tasarısı ile bağlantılı değişiklikleri özetledi ve bu özetler, onları derecelendiren 20 kamu görevlisinden oluşan bir panele sunuldu. Bunları bu sefer insanlar tarafından yazılan özetlerle karşılaştırabildiler. Deney, yapay zekanın notlarının hukuk personelinin notlarına yakın kalitede olduğunu gösterdi. İdari temsilciler, Humans tarafından yazılan özetlere ortalama 16,5/20, LlaMandement tarafından oluşturulan özetlere ise 15,5/20 puan verdi. Sonuçların teşvik edilmesi, aracın tüm projeler ve önerilen yasalar için genelleştirilmesinin önerilmesi.