Freelancer, Claude’un büyük dil modellerinin arkasındaki yapay zeka girişimi Anthropic’i, web sitelerinin verilerini kazımak için taramayın (robots.txt) protokolünü görmezden gelmekle suçladı. Bu arada iFixit CEO’su Kyle Wiens, Anthropic’in web sitesinin içeriğinin AI model eğitimi için kullanılmasını yasaklayan politikasını da görmezden geldiğini söyledi. Freelancer’ın CEO’su Matt Barrie, The Information’a, Anthropic’in ClaudeBot’unun “açık ara en agresif kazıyıcı” olduğunu söyledi. Web sitesinin dört saat içinde şirketin tarayıcısından 3,5 milyon ziyaret aldığı iddia ediliyor ki bu da muhtemelen iki numaralı yapay zeka tarayıcısının hacminin yaklaşık beş katı. Benzer şekilde Wiens, X’te Anthropic’in botunun iFixit’in sunucularına 24 saat içinde bir milyon kez girdiğini paylaştı. “Sadece içeriğimizi para ödemeden almakla kalmıyor, DeVops kaynaklarımızı da kullanıyorsunuz” diye yazdı. Haziran ayında Wired, bir başka yapay zeka şirketi olan Perplexity’yi, Robots Exclusion Protocol ya da teknik ismiyle robots.txt dosyasının varlığına rağmen web sitesini taramakla suçlamıştı. Bir robots.txt dosyası genellikle web tarayıcıları için hangi sayfalara erişip erişemeyeceklerine dair talimatlar içerir. Bu kurala uymak gönüllülük esasına dayansa da, çoğunlukla kötü botlar tarafından göz ardı ediliyor. Wired’ın haberi yayınlandıktan sonra, yapay zeka firmalarını içerik yayıncılarıyla buluşturan TollBit adlı bir girişim, robots.txt sinyallerini atlayanların yalnızca Perplexity olmadığını bildirdi. Business Insider, isim vermemekle birlikte OpenAI ve Anthropic’in de protokolü görmezden geldiğini öğrendiğini söyledi.
Barrie, Freelancer’ın ilk başta botun erişim taleplerini reddetmeye çalıştığını, ancak sonunda Anthropic’in tarayıcısını tamamen engellemek zorunda kaldığını söyledi. “Bu, sitede çalışan herkes için siteyi yavaşlatan ve sonuçta gelirimizi etkileyen korkunç bir kazıma işlemidir” diye ekledi. iFixit’e gelince, Wiens web sitesinin yüksek trafik için alarmlar kurduğunu ve çalışanlarının Anthropic’in faaliyetleri nedeniyle sabah 3’te uyandığını söyledi. Şirketin tarayıcısı, robots.txt dosyasına özellikle Anthropic’in botuna izin vermeyen bir satır ekledikten sonra iFixit’i kazımayı bıraktı. Yapay zeka girişimi The Information’a “robots.txt’ye saygı duyduğunu ve tarayıcısının, iFixit bunu uyguladığında bu sinyale itibar ettiğini” söyledi. Ayrıca, “aynı alanları ne kadar hızlı taradığı konusunda düşünceli davranarak minimum kesinti hedeflediğini” ve bu nedenle şu an vakayı araştırdığını söyledi. Yapay zeka firmaları, üretken yapay zeka teknolojilerini eğitmek için kullanabilecekleri web sitelerinden içerik toplamak için tarayıcıları kullanır. Bunun sonucunda, yayıncıların telif hakkı ihlali ile suçladığı çok sayıda davanın hedefi oldular. OpenAI gibi şirketler daha fazla dava açılmasını önlemek için yayıncılar ve web siteleri ile anlaşmalar yapıyor. OpenAI’ın içerik ortakları arasında şu ana kadar News Corp, Vox Media, Financial Times ve Reddit yer alıyor. iFixit’ten Wiens, nasıl tamir edilir web sitesinin makaleleri için de bir anlaşma imzalama fikrine açık görünüyor ve Anthropic’e bir tweet’te ticari kullanım için içerik lisanslama konusunda bir konuşma yapmaya istekli olduğunu söyledi.