Ürününü “ücretsiz bir yapay zeka arama motoru” olarak tanımlayan Perplexity, son birkaç gündür ateş altında. Forbes’un, Perplexity’yi haberini çalmak ve birden fazla platformda yeniden yayınlamakla suçlamasından kısa bir süre sonra Wired, Perplexity’nin Robots Exclusion Protocol ya da robots.txt’yi görmezden geldiğini, kendi web sitesini ve diğer Condé Nast yayınlarını kazımakta olduğunu bildirdi. Teknoloji sitesi The Shortcut da Perplexity’yi, makalelerini kazımakla suçlamıştı. Şimdi de Reuters, Perplexity’nin robots.txt dosyalarını atlayan ve daha sonra teknolojilerini eğitmek için kullanılan içeriği elde etmek için web sitelerini kazıyan tek yapay zeka şirketi olmadığını bildirdi. Reuters, yayıncıları lisans anlaşmaları yapabilmeleri için yapay zeka firmalarıyla eşleştiren bir girişim olan ‘TollBit’ten yayıncılara gönderilen ve “birden fazla kaynaktan yapay zeka aracılarının sitelerden içerik almak için robots.txt protokolünü atlamayı tercih ettiği” konusunda uyarıda bulunan bir mektup gördüğünü söyledi. Robots.txt dosyası, web tarayıcıları için hangi sayfalara erişip erişemeyeceklerine dair talimatlar içerir. Web geliştiricileri bu protokolü 1994 yılından beri kullanmaktadır, ancak uyum tamamen gönüllülük esasına dayanmaktadır. TollBit’in mektubunda herhangi bir şirketin adı geçmiyor, ancak Business Insider, sırasıyla ChatGPT ve Claude sohbet robotlarının geliştiricileri olan OpenAI ve Anthropic’in de robots.txt sinyallerini atladığını öğrendiğini söylüyor. Her iki şirket de daha önce web sitelerinin robots.txt dosyalarına koydukları “Taramayın” talimatlarına saygı duyduklarını ilan etmişti.
Wired, araştırması sırasında bir Amazon sunucusundaki “kesinlikle Perplexity tarafından işletilen” bir makinenin web sitesinin robots.txt talimatlarını atladığını keşfetti. Perplexity’nin içeriğini kazıyıp kazımadığını doğrulamak için Wired, şirketin aracına makalelerinden başlıklar veya hikayelerini açıklayan kısa istemler sağladı. Bildirildiğine göre araç, makalelerini “minimum atıfla” yakından yorumlayan sonuçlar ortaya çıkardı. Hatta zaman zaman hikayeleri için yanlış özetler bile üretti. Wired, sohbet robotunun bir örnekte yanlışlıkla Kaliforniya’da suç işleyen belirli bir polis hakkında haber yaptığını iddia ettiğini söylüyor. Perplexity CEO’su Aravind Srinivas, Fast Company’ye verdiği bir röportajda, şirketinin “Robots Exclusion Protocol’ü görmezden gelmediğini ve bu konuda yalan söylemediğini” ifade etti. Ancak bu, protokolü görmezden gelen tarayıcılardan faydalanmadıkları anlamına gelmiyor. Srinivas, şirketin kendi web tarayıcılarının yanı sıra üçüncü taraf web tarayıcılarını da kullandığını ve Wired’ın tespit ettiği tarayıcının da bunlardan biri olduğunu açıkladı. Fast Company, Perplexity’nin tarayıcı sağlayıcısına Wired’ın web sitesini kazımayı bırakmasını söyleyip söylemediğini sorduğunda, sadece “karmaşık” cevabını verdi. Şirketinin uygulamalarını savunan Srinivas, Wired’a, Robots Exclusion Protocol’ünün yasal bir çerçeve olmadığını söyledi ve yayıncılarla, kendisi gibi şirketlerin yeni bir tür ilişki kurması gerekebileceğini öne sürdü. Ayrıca Wired’ın, Perplexity’nin sohbet robotunun bu şekilde davranmasını sağlamak için kasıtlı olarak yönlendirmeler kullandığını, bu nedenle sıradan kullanıcıların aynı sonuçları alamayacağını ima ettiği bildirildi. CEO Aravind Srinivas, aracın ürettiği yanlış özetlerle ilgili olarak şunları söyledi: “Biz hiçbir zaman halüsinasyon görmediğimizi söylemedik.”