NVIDIA, bilgisayarınızda yerel olarak çalışan bir sohbet robotunun ücretsiz demo sürümünü yayınladı. Sohbet robotu, dosyalarınıza ve belgelerinize erişim sağladığı için bu oldukça güzel bir özellik. Chat with RTX’i kişisel verilerinizle besleyebilir ve bu bilgilere dayanarak özetler oluşturmasını sağlayabilirsiniz. Ayrıca, herhangi bir sohbet robotu gibi ona sorular sorabilirsiniz ve o da yanıtlar için verilerinize iner. Şirket, kullanıcıların “bilgisayardaki yerel dosyaları veri kümesi olarak Mistral veya Llama 2 gibi açık kaynaklı büyük bir dil modeline hızlı ve kolay bir şekilde bağlamasına” olanak tanıdığını söylüyor. NVIDIA, Las Vegas’ta sevgilisinin tavsiye ettiği restoranı chatbot’a soran bir kullanıcı örneğini veriyor. Yazılım cevabı bulmak için yerel dosyaları tarıyor. .txt, .pdf, .doc/.docx ve .xml dahil olmak üzere bir dizi dosya formatını destekliyor. Şirket, ilgili dosyaları veri kümesine “saniyeler içinde” yükleyeceğini söylüyor. RTX ile Sohbet, YouTube videolarını ve oynatma listelerini de entegre ediyor.
Veri kümesine bir video URL’si ekleyebilirsiniz ve bağlamsal sorgular için klipte yer alan bilgileri entegre eder. NVIDIA, bunun “favori influencer videolarındaki içeriğe dayalı” seyahat önerileri isterken veya eğitim kaynaklarından türetilen öğreticiler ve özetler ararken yararlı olacağını söylüyor. Teknoloji platformu The Verge, sohbet robotuyla biraz zaman geçirdi ve çok etkilendiğini ifade etti, bunu “gazeteciler veya bir belge koleksiyonunu analiz etmesi gereken herkes için veri araştırmasının değerli bir parçası” olarak görebileceklerini yazdı. Bu, kişisel verilerinizin bağlamsal çerçevesi içinde çalışan gerçek bir dijital asistana benzeyen bir şeye doğru büyük bir adım gibi görünüyor. Çoğu sohbet robotunda veriler buluta gönderilir, ancak Chat with RTX “kullanıcıların hassas verileri üçüncü bir tarafla paylaşmasına veya internet bağlantısına gerek kalmadan yerel bir bilgisayarda işlemesine olanak tanır.” Yani daha güvenli ve bağlamsal olarak daha bilinçli. Bazı sınırlamalar var. Bu bir demo ürün olduğundan çok sayıda hata beklemelisiniz, ancak kullanıcılar hata raporları ve benzerlerini yayınlamaya başladığında NVIDIA bunları ezmeye başlayacaktır. Ayrıca burada bazı katı donanım sınırlamaları da var. ‘RTX ile Sohbet’ yalnızca NVIDIA GeForce RTX 30 Serisi veya daha yüksek GPU’lara ve en az 8 GB VRAM’e sahip Windows bilgisayarlarda çalışır. NVIDIA, yeni nesil yapay zeka süper bilgisayar çiplerini piyasaya sürdüğü için son zamanlarda yapay zeka konusundaki hünerlerini gerçekten sergiliyor.