Konferans organizatörleri, yapay zeka araçlarının yazarların çalışmalarını ‘düzenlemek’ ve ‘parlatmak’ için kullanılabileceğini, ancak yapay zeka tarafından ‘tamamen üretilen’ metinlere izin verilmediğini söylüyor. Bu da şu soruyu gündeme getiriyor: Düzenleme ve yazma arasındaki çizgiyi nereye çekeceksiniz? Dünyanın en prestijli makine öğrenimi konferanslarından biri, yazarların bilimsel makaleler yazmak için ChatGPT gibi yapay zeka araçlarını kullanmalarını yasaklayarak akademide yapay zeka tarafından üretilen metnin rolü hakkında bir tartışmayı tetikledi.
Uluslararası Makine Öğrenimi Konferansı (ICML) bu hafta başında “ChatGPT gibi ‘Büyük Ölçekli Dil Modeli’nden (LLM) üretilmiş metinler içeren bildiriler, oluşturulan metin bildirinin deneysel analizinin bir parçası olarak sunulmadığı sürece yasaktır” diyerek politikayı duyurdu. Haber sosyal medyada geniş çaplı tartışmalara yol açtı ve yapay zeka akademisyenleri ve araştırmacıları politikayı hem savundu hem de eleştirdi. Konferansın organizatörleri, düşüncelerini açıklayan daha uzun bir bildiri yayınlayarak yanıt verdi.
ICML’ye göre, ChatGPT gibi kamuya açık YZ (Yapay Zeka) dil modellerinin yükselişi “heyecan verici” bir gelişmeyi temsil ediyor, ancak yine de “beklenmedik sonuçlar ve cevaplanmamış sorular” ile birlikte geliyor. ICML, bu tür sistemlerin çıktılarının kime ait olduğu (genellikle izin alınmadan toplanan kamuya açık veriler üzerinde eğitilirler ve bazen bu bilgileri kelimesi kelimesine kusarlar) ve YZ tarafından üretilen metin ve görüntülerin “yeni mi yoksa sadece mevcut çalışmaların türevleri olarak mı kabul edilmesi gerektiği” gibi soruları içerdiğini söylüyor.
İkinci soru, yazarlıkla ilgili zor bir tartışmayla bağlantılıdır yani, YZ tarafından oluşturulan bir metni ‘Kim yazar? Makine mi yoksa insan kontrolörü mü?’ ICML’nin yalnızca YZ tarafından “tamamen üretilen” metinleri yasakladığı düşünüldüğünde bu özellikle önemlidir. Konferansın organizatörleri, ChatGPT gibi araçların “yazarın yazdığı metni düzenlemek veya parlatmak için” kullanılmasını yasaklamadıklarını söylüyor ve birçok yazarın bu amaçla Grammarly gibi “yarı otomatik düzenleme araçlarını” zaten kullandığını belirtiyor.
“Bu büyük ölçekli üretici modeller daha yaygın olarak benimsendikçe, bu soruların ve daha pek çok sorunun zaman içinde yanıtlanacağı kesindir. Ancak bu soruların hiçbirine henüz net bir yanıtımız yok,” diye yazıyor konferansın organizatörleri. Sonuç olarak ICML, yapay zeka tarafından üretilen metinlere yönelik yasağın önümüzdeki yıl yeniden değerlendirileceğini söylüyor. Yine de ICML’nin ele aldığı sorular kolayca çözülemeyebilir. ChatGPT gibi yapay zeka araçlarının kullanılabilirliği, bazıları kendi yasaklarıyla yanıt veren birçok kuruluş için kafa karışıklığına neden oluyor. Geçen yıl, kodlama soru-cevap sitesi Stack Overflow, kullanıcıların ChatGPT ile oluşturulmuş yanıtları göndermelerini yasaklarken, ‘New York City Eğitim Bakanlığı’ bu hafta ağındaki herkesin araca erişimini engelledi.
Her durumda, yapay zeka tarafından üretilen metnin zararlı etkileri hakkında farklı korkular vardır. En yaygın olanlardan biri, bu sistemlerin çıktılarının güvenilmez olmasıdır. Bu YZ araçları, herhangi bir cümlede hangi kelimenin bir sonrakini takip edeceğini tahmin etmek üzere eğitilmiş geniş otomatik tamamlama sistemleridir. Bu nedenle, yararlanabilecekleri sabit kodlanmış ‘gerçekler veritabanı’ yoktur. Sadece kulağa makul gelen ifadeler yazma yeteneğine sahiptirler. Bu da yanlış bilgileri gerçekmiş gibi sunma eğiliminde oldukları anlamına gelir çünkü bir cümlenin kulağa makul gelmesi onun gerçekliğini garanti etmez.
ICML’nin YZ tarafından üretilen metinleri yasaklaması durumunda, bir başka potansiyel zorluk da YZ tarafından yalnızca “cilalanmış” veya “düzenlenmiş” yazılar ile bu araçlar tarafından “tamamen üretilmiş” yazılar arasında ayrım yapmaktır. YZ tarafından yönlendirilen bir dizi küçük düzeltme hangi noktada daha büyük bir yeniden yazım teşkil eder? Bir kullanıcı bir YZ aracından makalesini kısa bir özet halinde özetlemesini isterse ne olur? Bu, yeni oluşturulmuş metin olarak mı (metin yeni olduğu için) yoksa sadece cilalama olarak mı (yazarın yazdığı kelimelerin bir özeti olduğu için) sayılır?
ICML politikasının kapsamını netleştirmeden önce, birçok araştırmacı yapay zeka tarafından oluşturulan metinlere yönelik olası bir yasağın, İngilizceyi ana dili olarak konuşmayan veya yazmayanlar için de zararlı olabileceğinden endişe ediyordu. İsrail’deki Bar-Ilan Üniversitesi’nden Profesör Yoav Goldberg, verdiği demeçte, YZ yazma araçlarının kullanımına yönelik genel bir yasağın bu topluluklara karşı bir kapı tutma eylemi olacağını söyledi. Goldberg, “Hakem değerlendirmesinde makaleleri değerlendirirken daha akıcı olanları tercih etmek için açık bir bilinçsiz önyargı var ve bu anadili İngilizce olanların lehine işliyor” diyor. “ChatGPT gibi araçları kullanarak fikirlerini ifade etmeye yardımcı olan anadili İngilizce olmayan pek çok kişi, bu konularda ‘oyun alanını eşitleyebileceklerine’ inanıyor gibi görünüyor.” Goldberg, bu tür araçların araştırmacıların zamandan tasarruf etmelerine ve meslektaşlarıyla daha iyi iletişim kurmalarına yardımcı olabileceğini söyledi.
Ancak YZ yazma araçları Grammarly gibi daha basit yazılımlardan niteliksel olarak da farklıdır. Mozilla Vakfı’nda yapay zeka araştırma görevlisi olan Deb Raji, verdiği demeçte, ICML’nin özellikle bu sistemlere yönelik bir politika belirlemesinin mantıklı olduğunu söyledi. Goldberg gibi o da ana dili İngilizce olmayanlardan bu tür araçların taslak hazırlamada “inanılmaz derecede faydalı” olabileceğini duyduğunu söyledi ve dil modellerinin metin üzerinde daha ciddi değişiklikler yapma potansiyeline sahip olduğunu ekledi.
Raji, “LLM’leri, düzeltici ve eğitici araçlar olan otomatik düzeltme veya Grammarly gibi şeylerden oldukça farklı görüyorum” dedi. “Bu amaçla kullanılabilse de, LLM’ler (Büyük Ölçekli Dil Modeli) halihazırda yazılmış olan metnin yapısını ve dilini ayarlamak için açıkça tasarlanmamıştır. Yeni metin ve spam oluşturma gibi daha sorunlu başka yetenekleri de vardır.” Goldberg, akademisyenlerin tamamen yapay zeka kullanarak makale üretmelerinin kesinlikle mümkün olduğunu düşünse de, “bunu gerçekten yapmaları için çok az teşvik var” dedi.
“Günün sonunda yazarlar makaleye imza atıyor ve sahip olmaları gereken bir itibarları var” dedi. “Sahte makale bir şekilde hakem değerlendirmesinden geçse bile, herhangi bir yanlış ifade yazarla ilişkilendirilecek ve tüm kariyerleri boyunca onlara ‘yapışacaktır’.” Yapay zeka tarafından üretilen metinleri tespit etmenin tamamen güvenilir bir yolu olmadığı düşünüldüğünde bu nokta özellikle önemlidir. ICML bile hatasız tespitin “zor” olduğunu ve konferansın, gönderileri dedektör yazılımından geçirerek yasağını proaktif olarak uygulamayacağını belirtiyor. Bunun yerine, yalnızca diğer akademisyenler tarafından şüpheli olarak işaretlenen gönderileri inceleyecektir. Başka bir deyişle; yıkıcı ve yeni teknolojilerin yükselişine karşılık, organizatörler akademik normları uygulamak için geleneksel sosyal mekanizmalara güveniyor. Yapay zeka metni parlatmak, düzenlemek veya yazmak için kullanılabilir, ancak değerini değerlendirmek yine de insanlara bağlı olacaktır.