Cloudflare, yapay zeka şirketlerinin botlarının büyük dil modellerini eğitmek için müşterilerinin web sitelerini içerik için kazımasını önleyen yeni bir ücretsiz araç yayınladı. Bulut hizmet sağlayıcısı bu aracı, ücretsiz planlara sahip olanlar da dahil olmak üzere tüm müşteri tabanının kullanımına sunuyor. Şirketten yapılan açıklamada, “Bu özellik, model eğitimi için web’i geniş çapta kazıyarak tespit ettiğimiz suçlu botların yeni parmak izlerini gördükçe zaman içinde otomatik olarak güncellenecektir” denildi. Bu güncellemeyi duyuran bir blog yazısında Cloudflare ekibi, müşterilerinin üretken yapay zeka modellerini eğitmek için içeriği kazıyan botların patlamasına nasıl tepki verdiklerine dair bazı veriler de paylaştı. Şirketin dahili verilerine göre, müşterilerin yüzde 85,2’si kendilerini doğru bir şekilde tanımlayan AI botlarının bile sitelerine erişimini engellemeyi seçti.
Cloudflare ayrıca geçtiğimiz yılın en aktif botlarını da belirledi. Bytedance’ın sahibi olduğu Bytespider botu, Cloudflare’in denetimindeki web sitelerinin yüzde 40’ına, OpenAI’ın GPTBot’u ise yüzde 35’ine erişmeye çalıştı. Bu botlar, Amazonbot ve ClaudeBot ile birlikte Cloudflare ağındaki istek sayısına göre ilk dört yapay zeka bot tarayıcısının yarısını oluşturdu. Yapay zeka botlarının içeriğe erişimini tamamen ve tutarlı bir şekilde engellemenin çok zor olduğu böylece kanıtlanıyor. Modelleri daha hızlı oluşturma yarışı, şirketlerin kazıyıcıları engelleme konusundaki mevcut kuralları atlamasına veya tamamen ihlal etmesine neden oldu. Perplexity AI kısa süre önce gerekli izinler olmadan web sitelerini kazımakla suçlandı. Ancak Cloudflare ölçeğinde bir arka uç şirketinin bu davranışı engellemeye çalışmak konusunda ciddileşmesi bazı sonuçlara yol açabilir. Şirket, “İçeriğe erişmek için kuralları atlatmaya niyetli bazı yapay zeka şirketlerinin bot tespitinden kaçmak için ısrarla uyum sağlamasından korkuyoruz” dedi. “İnternet denen alemin içerik oluşturucuların gelişebileceği bir yer olarak kalmasına yardımcı olmak ve içeriklerinin hangi modelleri eğitmek ya da üzerinde çıkarım yapmak için kullanılacağı konusunda tam kontrole sahip olmak adına izlemeye ve AI Scrapers and Crawlers kuralımıza daha fazla bot engeli eklemeye ve makine öğrenimi modellerimizi geliştirmeye devam edeceğiz.” ifadelerini kullandı.
