Yapay Zeka ve Halüsinasyon Sorunu
Yapay zeka destekli sohbet robotlarının en çok eleştirilen yönlerinden biri, soruları oldukça ikna edici bir şekilde yanıtlarken gerçekte yanlış bilgiler vermesidir. Bu olguya halüsinasyon denir. Yani yapay zeka, kullanıcıyla olan etkileşiminde halüsinasyonlar yaşayabilir; ancak bu sanrıları çok gerçekçi bir şekilde aktararak karşısındaki kişiyi ikna edebilir. Basit bir ifadeyle, yapay zeka, kullanıcıyı tatmin etmek amacıyla gerçekle bağlantısı olmayan bilgiler uydurur.
Resim veya video oluşturmak için kullanılan üretken yapay zeka araçlarında bu tür bir sorun genellikle söz konusu değildir; zira bu araçlar daha çok sanatsal sonuçlar üretmeye odaklanmıştır. Ancak sohbet robotları için bu durum büyük bir problem teşkil etmektedir. OpenAI’den kısa bir süre önce ayrılan ünlü uzman Andrej Karpathy, yapay zekanın halüsinasyon yeteneğinin, büyük dil modellerinin (LLM’ler) temel özelliklerinden biri olduğunu açıkça belirtmiştir. Bu, yapay zekanın halüsinasyon üretiminde şansa değil, kasten hareket ettiğini gösterir. Üstelik bu süreçte doğruluk kontrolü gerçekleştirmemektedir.
Korkutucu olan, çoğu kullanıcının bu halüsinasyonları fark etmesinin neredeyse imkansız olmasıdır. Yapay zekanın halüsinasyon görmesini engellemek, teknik olarak zorlu bir meseledir ve bu sorunu çözmek hiç de kolay değildir. Ancak Google DeepMind ve Stanford Üniversitesi, bu soruna bir tür geçici çözüm bulmuş gibi görünmektedir. Araştırmacılar, yapay zeka sohbet robotları tarafından üretilen uzun formlu yanıtları kontrol eden bir sistem geliştirmişlerdir: Search-Augmented Factuality Evaluator (SAFE).
SAFE Nasıl Çalışır?
SAFE, yanıtları dört aşamalı bir süreçle analiz edip değerlendirerek doğruluğunu teyit eden bir sistemdir:
- 1. Adım: Cevap, tek tek gerçeklere ayrılır ve her bir gerçek gözden geçirilir.
- 2. Adım: Bu gerçekler, Google Arama’dan gelen sonuçlarla karşılaştırılır.
- 3. Adım: Tek tek gerçeklerin orijinal soruyla ilişkisi kontrol edilir.
- 4. Adım: Sonuçlar, insan notlandırıcılarla kıyaslanarak değerlendirilir.
SAFE’nin etkinliğini ölçmek için araştırmacılar, yaklaşık 16.000 bilgiden oluşan bir veri kümesi olan LongFact adlı bir set oluşturmuşlardır. Ardından bu sistemi, dört farklı aileden (Claude, Gemini, GPT, PaLM-2) toplamda 13 LLM üzerinde test etmişlerdir. Test sonuçlarına göre, vakaların %72’sinde SAFE, insan notlandırıcılarla aynı sonuçları elde etmiştir. Anlaşmazlık durumlarında ise SAFE, %76 oranında doğru sonuçlar vermiştir.
Bu sistemin diğer bir avantajı, SAFE kullanımının insan kontrolcülerden 20 kat daha ucuz olmasıdır. Bu durum, yapay zekanın her an ürettiği milyarlarca cevabı kontrol etmenin mümkün olacağını göstermektedir. Ancak, SAFE’in yapay zeka algoritmalarıyla entegre olabilmesi için şirketlerin Google ile anlaşmalar yapması ve muhtemelen gelir paylaşımında bulunması gerekecektir. Alternatif olarak, kendi güvenlik sistemlerini geliştirmeye çalışacaklardır.
Artık kimse, yapay zekanın halüsinasyon görmediğine emin olmadan aldığı cevaplara güvenmek istemiyor. Bu sorunun ne zaman etkili bir şekilde çözüleceği ise merak konusu olmaya devam ediyor.
