Reddit geçen ay sitesinden izinsiz veri kazımayı engelleyeceğini açıkladığında, herkes suçu yapay zekaya attı. Ancak, değişiklik yürürlüğe girdiğine göre, dışarıda bırakılanlar yalnızca chatbot üreticileri değil. Yaygın olarak kullanılan forum, bu yılın başlarında Reddit ile yıllık 60 milyon dolar değerinde bir anlaşma imzaladığı bildirilen Google dışındaki tüm arama motorlarını da engelliyor gibi görünüyor. 404 Media Çarşamba günü rakip arama motoru Bing’de (site:reddit.com kullanarak) geçen haftaki Reddit ifadesini aramanın boş sonuçlar verdiğini bildirdi. 404 Media, DuckDuckGo’nun herhangi bir açıklama olmadan yedi bağlantı ürettiğini ve yalnızca “Size burada bir açıklama sunmak istiyoruz, ancak site bize izin vermiyor” notunu gösterdiğini bildirdi. DuckDuckGo şimdi bunları bile kaldırmış gibi görünüyor, çünkü yapılan denemelerin yalnızca “Sonuç bulunamadı.” yazan boş bir sayfa ürettiği ifade ediliyor. Reddit geçen ay otomatik veri kazımayı engellemek için ‘Robotları Dışlama Protokolü’nü (robots.txt) güncelleyeceğini söylediğinde, bunun yalnızca Perplexity ve benzeri yapay zeka şirketlerini engellemek için yapılmadığı anlaşıldı. Şu anda Google, Reddit’i taramasına ve “internetin ön sayfasından” sonuçlar üretmesine izin verilen tek arama motoru gibi görünüyor. İronik bir şekilde, forum web sitesinin robots.txt dosyasının bir bölümünde “Reddit açık bir internete inanır, ancak kamuya açık içeriğin kötüye kullanılmasına değil” yazıyor. Reddit dosyası şimdi esasen “Kazımayın” diyor. Görünüşe göre, Reddit artık özel anlaşmalar yapmayan arama motorlarının içeriğini kötüye kullandığını düşünüyor.
Her yerde bulunan robots.txt, bir sitenin hangi bölümlerinin taranabileceğini bildiren web standardıdır. Birçok tarayıcının talimatları görmezden geldiği bilinse de, Google’ın standart prosedürü buna saygı duymaktır. Dolayısıyla, teknik açıdan bakıldığında, bu kârlı anlaşmada işbirliği yapan şirketlerin manuel bir geçersiz kılma işlemi uyguladığı görülüyor. Elbette bu destan, yapay zekalı sohbet robotlarının sonuçlar için canlı web’i kazımasının bir etkisi. Mahkemeler açık web’in ne kadarının chatbot’ları eğitmek için adil kullanım olduğunu belirlemekte yavaş davranırken, Reddit gibi kârlılıklarını artık verilerini ödeme yapmayanlardan korumaya bağlı olan şirketler, açık web pahasına duvarlar inşa ediyor. Microsoft’un bu yapay zeka çağında oynadığı ayrılmaz rol göz önüne alındığında, OpenAI ile erken dönemde yakınlaşmasına rağmen, Bing’in kendisini serpintinin en az bir yönünün kaybeden ucunda bulması ironik görünüyor. Daha az bilinen “takipsiz” arama motoru Mojeek’in CEO’su Colin Hayhurst, 404 Media’ya Reddit’in, “Google dışında arama için her şeyi öldürdüğünü” söyledi. Yönetici ayrıca Reddit ile iletişime geçme girişimlerinin de görmezden gelindiğini söyledi. “Bu daha önce hiç başımıza gelmemişti. Bu bizim başımıza geldiği için, genellikle cehalet ya da aptallık ya da her neyse, engelleniyoruz ve siteyle iletişim kurduğumuzda kesinlikle bunu çözebilirsiniz, ancak daha önce hiç kimseden yanıt almadık.” dedi. Reddit, gelişen teknoloji çağında yapay zeka şirketlerinin veri hazinesini kazımasını engelleme arzusunu gizlemedi. Geçen yıl CEO Steve Huffman, üçüncü taraf API taleplerini engelleyerek kullanıcı tabanının büyük bir bölümünü yabancılaştırma riskini aldı ve Christian Selig’in Apollo’su gibi sevilen uygulamaların ölümüne yol açtı. Moderatörler ve forum müdavimleri arasındaki yaygın protestolara rağmen, şirket yalnızca geçici olarak ihmal edilebilir ve pek de önemsenmeyecek sayıda kullanıcı kaybetti.