ChatGPT’nin görsel üretim özelliğinin, basit istem değişiklikleriyle güvenlik filtrelerini aşabildiği iddia edildi. Mindgard’ın bulguları, yapay zeka araçlarında jailbreak riskinin özellikle görsel üretim tarafında hala ciddi bir sorun olduğunu gösteriyor.
ChatGPT artık yalnızca metin yazan bir sohbet robotu değil. Görsel oluşturabiliyor, fikirleri sahneye dökebiliyor ve kullanıcıların birkaç cümleyle oldukça gerçekçi çıktılar almasını sağlayabiliyor. Ancak bu güç, beraberinde daha zor bir güvenlik sorusunu akıllara getiriyor. Bir yapay zeka modeli, açıkça yasaklanmış bir içerik istenmediğinde bile sınırı aşabilir mi?
İngiltere merkezli yapay zeka güvenlik şirketi Mindgard’ın BBC ile paylaştığı bulgulara göre cevap pek iç açıcı değil. Araştırmacılar, ChatGPT’nin güncel görsel üretim özelliğinde kullanılan güvenlik önlemlerinin, basit bir istem manipülasyonu ile aşılabildiğini ve sistemin cinsel çağrışımlar içeren ya da aşırı şiddet barındıran görseller üretebildiğini iddia etti.
Mindgard’a göre sorun, doğrudan şiddet içerikli görsel üret ya da cinsel içerik oluştur gibi açık komutlardan ibaret değil. Araştırmacıların dikkat çektiği asıl nokta, daha önce internette mizahi amaçlarla kullanılan bir istemin küçük değişikliklerle bambaşka, rahatsız edici sonuçlara yol açabilmesi.
ChatGPT Görsel Üretim Güvenliği Yeniden Tartışılıyor
Üretken yapay zeka araçlarında güvenlik filtreleri genellikle iki aşamada çalışıyor. İlk olarak kullanıcının yazdığı istem kontrol ediliyor. Ardından ortaya çıkan metin, görsel veya video çıktısı tekrar değerlendiriliyor. Ama yapay zeka güvenliği açısından en zor alanlardan biri, kötü niyetli talebin doğrudan yazılmadığı durumlar.
Mindgard araştırmacıları da tam olarak bu noktaya işaret ediyor. İddiaya göre kullanılan istemlerde rahatsız edici görseller açıkça talep edilmemesine rağmen sistem, ağır yaralanma, kan, korku, bağlanmış yetişkin kadın figürleri ve cinsel çağrışımlar içeren sonuçlar üretebildi.
Mindgard’ın yapay zeka güvenliği araştırmacısı Jim Nightingale, BBC’ye yaptığı açıklamada ortaya çıkan görsellerin kendisini ciddi şekilde etkilediğini söyledi. Şirketin kurucusu ve Lancaster Üniversitesi Bilgisayar Bilimleri Profesörü Peter Garraghan ise en endişe verici kısmın, bu içeriklerin doğrudan istenmemiş olmasına rağmen üretilebilmesi olduğunu vurguladı.
Bu detay önemli çünkü yapay zeka güvenliği yalnızca yasak kelimeleri engellemekten ibaret değil. Kullanıcı masum görünen bir komut verdiğinde modelin niyeti, bağlamı ve olası sonucu doğru değerlendirmesi gerekiyor. Görsel üretim sistemlerinde ise bu değerlendirme metne göre daha karmaşık. Çünkü model, birkaç kelimeden sahne, kompozisyon, beden dili, ışık, duygu ve bağlam üretmeye çalışıyor.
OpenAI Ek Önlemler Aldı Ancak Sorun Henüz Çözülmedi
OpenAI, BBC’nin soruları sonrasında söz konusu istem türünü incelediğini ve bu tarz girişimlere karşı ek güvenlik önlemleri uyguladığını açıkladı. Şirket, ChatGPT’nin görsel üretim tarafında çok katmanlı güvenlik sistemleri bulunduğunu ve politika ihlali sayılan içerikleri engellemek için farklı filtreler kullandığını belirtiyor.
OpenAI’ın kullanım kurallarında çocuk istismarı materyalleri, rıza dışı mahrem içerikler, cinsel şiddet, güvenlik sistemlerini aşmaya yönelik girişimler ve yasa dışı içerik üretimi açık şekilde yasaklanmış durumda. Yani şirketin politikası bu tür çıktılara izin vermiyor. Tartışma da zaten burada başlıyor. Kağıt üzerinde yasak olan bir içerik, teknik açıklar nedeniyle yine de üretilebiliyorsa bu durumun suçlusu kim?
Mindgard, OpenAI’ın ilk düzeltmelerinin ardından istemde yapılan küçük değişikliklerle benzer sonuçların tekrar alınabildiğini öne sürüyor. Bu da yapay zeka güvenliğinde sık duyduğumuz kedi fare oyunu benzetmesini yeniden gündeme getiriyor. Şirketler filtreleri güçlendiriyor, araştırmacılar ve kötü niyetli kullanıcılar yeni açıklar buluyor, ardından sistem yeniden güncelleniyor.
Humane Intelligence CEO’su ve yapay zeka uzmanı Dr. Rumman Chowdhury’nin değerlendirmesi de bu noktaya işaret ediyor. Chowdhury’ye göre yapay zeka modelleri insanlardaki gibi niyet, bağlam ve ahlaki sonuç değerlendirmesi yapmıyor. Model, teknik olarak hangi çıktının hangi örüntüye benzediğini hesaplıyor. Ancak bu görsel neden sorunlu olabilir? sorusunu bir insan gibi kavramıyor.
ChatGPT, Gemini, Copilot, Grok ve benzeri araçlar artık yalnızca teknoloji meraklılarının denediği sistemler olmaktan çıktı. Öğrenciler, tasarımcılar, editörler, reklam ekipleri, sosyal medya yöneticileri ve sıradan kullanıcılar bu araçları günlük iş akışına dahil ediyor. Görsel üretim araçlarının güvenlik açıkları ise yanlış bilgi, taciz, deepfake, rıza dışı görsel üretimi ve travmatik içerik risklerini büyütebiliyor.
Geçtiğimiz dönemde farklı yapay zeka modelleri üzerinde yapılan araştırmalar da benzer bir tabloya dikkat çekmişti. Özellikle jailbreak olarak bilinen yöntemlerle modellerin güvenlik kurallarının aşılabildiği, metinden görsele üretim sistemlerinde ise zararlı çıktıları tamamen engellemenin hala zorlu bir teknik problem olduğu görülüyor.
Bu yüzden sorun yalnızca ChatGPT’nin bir isteme nasıl cevap verdiği değil. Asıl konu, üretken yapay zekanın daha gerçekçi, daha hızlı ve daha erişilebilir hale geldikçe güvenlik testlerinin de aynı hızda gelişip gelişemeyeceği. Görsel üretim tarafında birkaç kelimelik bir komutun dakikalar içinde gerçekçi bir sahneye dönüşmesi etkileyici. Fakat aynı hız, kötüye de kullanılabiliyor.
OpenAI’ın ek güvenlik önlemleri bu spesifik istem türünü engellemiş olabilir. Ancak Mindgard’ın iddiası doğruysa sektörün önünde daha büyük bir soru var: Yapay zeka modelleri yalnızca bilinen açıkları kapatarak mı güvenli olacak, yoksa zararlı çıktıları bağlamdan anlayabilecek daha güçlü güvenlik mimarilerine mi ihtiyaç duyulacak?
