Büyük dil modellerinin (LLM’ler) kullanımı hızla artıyor ve bunun iyi bir nedeni var. Son iki hafta içinde ChatGPT en sevilen araç haline geldi. İş yerinde, modern bir çekirdeğe karşı belirsiz bir Linux yazılımının nasıl oluşturulacağı soruldu ve soruya karşılık nasıl yapılacağını söyledi. Hatta görevi tamamlamak için gereken ‘bash’ komutlarını içeren kod blokları bile oluşturdu. Ayrıca ondan her türlü aptalca şeyi yapması da istendi. Örneğin, Hulk Hogan için daha önce hiç bilgi teknolojileri deneyimi olmayan ancak ‘Azure Bulut Mühendisi’ olarak bir role geçmek istediği kurgusal bir özgeçmiş oluşturdu. Bunu da yaptı ve çok komikti. Aslında, o kadar iyi ki, üniversite dersleriniz için açık ve ikna edici makaleler oluşturabilir. Bu nedenle, artık makine tarafından oluşturulan metinleri tespit eden sistemlere ihtiyaç var.
Kısa bir süre önce Stanford’daki bir grup araştırmacı ‘DetectGPT’ adlı yeni bir yöntem önerdi ve bu yöntemin yükseköğretimde üretilen metinlerle mücadele eden ilk araçlardan biri olmasını hedefliyor. Yöntem, LLM’ler tarafından oluşturulan metinlerin tipik olarak modelin log olasılık fonksiyonunun negatif eğrilik bölgelerinin, belirli bölgeleri etrafında dolaştığı fikrine dayanmaktadır. Bu içgörü sayesinde ekip, metnin makine tarafından oluşturulup oluşturulmadığına karar vermek için bir yapay zekayı eğitmeye veya metni karşılaştırmak için büyük veri kümeleri toplamaya dayanmayan yeni bir barometre geliştirdi. Bunun, insan eliyle yazılmış metnin pozitif eğrilik bölgelerini işgal ettiği anlamına geldiğini tahmin edebiliriz, ancak kaynak bu konuda net değil. “Zero-shot” olarak adlandırılan bu yöntem, DetectGPT’nin makine tarafından yazılmış metni, onu oluşturmak için kullanılan yapay zeka hakkında herhangi bir bilgi olmadan tespit etmesini sağlar.
Eğitim sınıflandırıcıları ve gerçek, üretilmiş pasajlardan oluşan veri kümeleri gerektiren diğer yöntemlerle tam bir tezat oluşturuyor. Ekip, DetectGPT’yi sahte haber makalelerinden oluşan bir veri kümesi üzerinde test etti ve makine tarafından oluşturulan metni tespit etmek için diğer sıfır atış yöntemlerinden daha iyi performans gösterdi. Özellikle, DetectGPT’nin 20B parametreli ‘GPT-NeoX’ tarafından üretilen sahte haber makalelerinin tespitini en güçlü sıfır atış temel çizgisi için 0,81 ‘AUROC’den DetectGPT için 0,95 AUROC’ye geliştirdiğini buldular. Dürüst olmak gerekirse, bunların hepsi Fransızca, ancak tespit performansında önemli bir gelişme olduğunu iddia ediyor ve DetectGPT’nin ileride makine tarafından oluşturulan metni incelemek için umut verici bir yol olabileceğini gösteriyor.
Özetle, DetectGPT, LLM’ler tarafından oluşturulan metnin benzersiz özelliklerinden yararlanan, makine tarafından oluşturulan metni tespit etmek için yeni bir yöntemdir. Herhangi bir ek veri veya eğitim gerektirmeyen sıfır atışlı bir metot ve makine tarafından oluşturulan metni tanımlamak için verimli bir araçtır. LLM’lerin kullanımı artmaya devam ettikçe, makine tarafından oluşturulan metinleri tespit etmek için ilgili sistemlerin önemi giderek daha kritik hale gelecektir. DetectGPT, birçok alanda önemli bir etkiye sahip olabilecek umut verici bir yaklaşımdır ve daha da geliştirilmesi birçok alan için faydalı olabilir.
