1. Ana Sayfa
  2. Yapay Zeka
  3. Microsoft’un en yeni araçları, yapay zeka uygulamalarındaki güvenlik açıklarını ve halüsinasyonları tespit ediyor

Microsoft’un en yeni araçları, yapay zeka uygulamalarındaki güvenlik açıklarını ve halüsinasyonları tespit ediyor

featured

Bu İçeriği Paylaş

ya da bağlantıyı kopyala

Microsoft’un Sorumlu Yapay Zeka Baş Ürün Sorumlusu Sarah Bird, Azure kullanıcıları için çeşitli güvenlik özelliklerinin başlatıldığını duyurdu. Bird, The Verge ile yaptığı röportajda, bu yenilikçi özelliklerin potansiyel riskleri belirlemek, desteklenmeyen halüsinasyonları izlemek ve zararlı yönlendirmeleri gerçek zamanlı olarak önlemek için tasarlandığını belirtti. Yeni önlemler, yapay zeka hizmetlerini test etmek için özel kırmızı ekip görevlilerine sahip olmayan Azure müşterilerine hitap ediyor. Bird, değerlendirme sisteminin istem enjeksiyonu veya saldırgan içerik gibi potansiyel saldırıları taklit eden istemler oluşturduğunu açıkladı. Bu süreç, müşterilerin bir puan almasına ve sonuçları görüntülemesine olanak tanıyarak, üretici yapay zekanın istenmeyen veya amaçlanmayan yanıtlarının neden olduğu tartışmalardan kaçınmalarına yardımcı oluyor. Bu hamle, Microsoft’un Designer görsel oluşturucusu tarafından yapılan açık ünlü taklitleri, Google Gemini tarafından yapılan tarihsel olarak yanlış görseller ve Bing’deki uygunsuz içerikleri barındıran son tartışmalara yanıt olarak geldi.

Bunları okudun mu?
Google-90890382434254-67876867
Etkin olmayan Google hesabınız 1 Aralık’ta silinebilir
Half-Life-564812566
Half-Life’ın 25. yıldönümü güncellemesi, dört adet yeni çok oyunculu harita ve daha fazlasını içeriyor
Sosyal-Medya-5656786674234423
Merkeziyetsizleşme, sosyal medyanın geleceği mi olacak?
Extracellular-vesicles-4534
Hücreler arası iletişimden sorumlu hücre dışı veziküller, sistemik sklerozda fibrozisin itici gücü olabilir
Twitter-Logo-65565464
Twitter’ın marka güvenliği ve reklam kalitesinden sorumlu yöneticisi şirketten ayrıldı
Assassins-Creed-Mirage-23121212
‘Assassin’s Creed Mirage’ 12 Ekim’de çıkacak

Microsoft tarafından sunulan yeni güvenlik özellikleri ise şunlar:

  • Uyarı Kalkanları: Modellerin eğitimlerinden sapmasına neden olabilecek harici belgelerden gelen zararlı istemleri veya istem enjeksiyonlarını önlemek için tasarlanmıştır.
  • Temellendirilmişlik Tespiti: Halüsinasyonları tespit etmeyi ve önlemeyi amaçlar.
  • Güvenlik Değerlendirmeleri: Model güvenlik açıklarını incelemek için kullanılır.

Bu üç özellik şu anda Azure AI’da önizleme aşamasında mevcut. Microsoft yakında modelleri güvenli çıktılara yönlendirecek ve potansiyel olarak sorunlu kullanıcıları belirlemek için istemleri izleyecek iki özellik daha sunmayı planlıyor. İzleme sistemi, kullanıcının girdisinin veya üçüncü taraf verilerinin, bir yanıt için modele gönderilmeden önce herhangi bir yasaklı kelimeyi veya gizli istemleri tetikleyip tetiklemediğini kontrol eder. Daha sonra modelin belgede veya istemde bulunmayan bilgileri halüsinasyon olarak algılayıp algılamadığını doğrular. Şirketlerin yapay zeka modelleri için neyin uygun olduğunu belirlemesiyle ilgili endişeleri ele alan Bird, Azure müşterilerinin model tarafından belirlenen nefret söylemi veya şiddetin filtrelenmesini kontrol etmesine olanak tanıyan bir özelliğin dahil edildiğini belirtti. Bu özellik, kullanıcılara modelin hangi içeriği engelleyeceğine karar verme yetkisi vererek onlara yapay zeka hizmetleri üzerinde daha fazla kontrol imkanı sunuyor. Gelecekteki Azure kullanıcıları, güvenli olmayan çıktılar üretmeye çalışan insanlarla ilgili raporlara da erişebilecek ve sistem yöneticilerine potansiyel olarak zararlı kullanıcıları belirleme konusunda yardımcı olacak.

Microsoft’un en yeni araçları, yapay zeka uygulamalarındaki güvenlik açıklarını ve halüsinasyonları tespit ediyor

Giriş Yap

gigahaber ayrıcalıklarından yararlanmak için hemen giriş yapın veya hesap oluşturun, üstelik tamamen ücretsiz!