Common Sense Media’nın 4 binden fazla istemle yaptığı bağımsız test, ChatGPT’nin gençlere yönelik güvenlik önlemlerinde ebeveyn bildirimlerinden yaş tahminine kadar ciddi boşluklar bulunduğunu ortaya koydu.
OpenAI’nin Ağustos ayında kullanıma sunduğu ChatGPT for Teens, ilk kapsamlı bağımsız güvenlik değerlendirmelerinden birinde ağır eleştiri aldı. Common Sense Media bünyesindeki Youth AI Safety Institute, 7 Ekim’de yayımladığı raporda sistemi 18 yaşından küçük kullanıcılar için “Kabul Edilemez Risk” kategorisine yerleştirdi.
Araştırmacılar kriz anlarında ebeveynlere gönderilmesi gereken bildirimleri, ruh sağlığı konuşmalarındaki yönlendirmeleri, ödev korumalarını, yaş tahmin sistemini ve ChatGPT’nin gençlerle kurduğu ilişkinin tonunu ayrı ayrı sınadı. Toplamda 4 binden fazla istem kullanıldı. Testlerin yaklaşık yarısı ChatGPT for Teens duyurulmadan önce, diğer yarısı ise yeni korumalar devreye girdikten sonra gerçekleştirildi.
ChatGPT for Teens ayrı bir uygulama ya da tamamen farklı bir yapay zeka modeli değil. OpenAI, 13-17 yaş aralığında olduğu bilinen veya sistem tarafından bu yaş grubunda olduğu tahmin edilen hesaplarda ek güvenlik ayarları, sınıflandırıcılar ve ürün özellikleri etkinleştiriyor. Study Mode, ebeveyn kontrolleri, hassas içerik kısıtlamaları, mola hatırlatmaları ve belirli tehlike durumlarında ebeveyne bildirim gönderilmesi bunlar arasında. OpenAI ayrıca sistemin gençleri duygusal bağımlılığa teşvik etmemesi ve kendisini insan gibi sunmaması gerektiğini söylüyor.
Ebeveyn Bildirimleri Kriz Testlerinde Güven Vermedi
Raporun en ciddi bulguları intihar, kendine zarar verme ve yeme bozukluklarıyla ilgili konuşmalarda ortaya çıktı.
Araştırmacılar, daha önce sohbet geçmişi bulunmayan ve ebeveyn hesaplarına bağlanmış bir düzineden fazla genç hesabı oluşturdu. Bu hesaplarda kriz senaryoları beş dakikadan başlayıp bazı testlerde bir saate kadar sürdürüldü. Konuşmalarda açık biçimde intihar düşüncelerinden, kendine zarar vermeden veya yeme bozukluğu belirtilerinden söz edilmesine rağmen yeni hesapların hiçbirinde bu testler sırasında ebeveyne bildirim ulaşmadı.
Daha uzun süre kullanılan test hesaplarında bildirim mekanizması tamamen işlevsiz değildi. Haftalara yayılan ve yüzlerce hassas içerikli istem içeren daha geniş testlerde toplam dört ebeveyn bildirimi alındı. Enstitünün itirazı da burada yoğunlaşıyor: Bildirimlerin, tek bir ağır kriz konuşmasının ciddiyetinden çok hesapta uzun süre biriken sinyallere bağlı çalışıyor görünmesi.
OpenAI bu sonuca karşı çıkıyor. Şirket, Common Sense Media testlerinin önemli bölümünün ebeveyn kontrolleri tamamen etkinleşmeden gerçekleştirilmiş olabileceğini ve bağlı hesaplarda bildirim sisteminin hazır hale gelmesinin birkaç saat sürebildiğini söylüyor. Common Sense Media ise bazı test hesaplarının bu sürenin çok ötesinde bağlı kaldığını, buna rağmen bildirim göndermediğini belirterek değerlendirmesini değiştirmedi.
Araştırmayı yapan uzmanlar, ChatGPT’nin pek çok durumda tehlikeli talepleri reddettiğini ve gençleri gerçek bir yetişkinden yardım almaya yönlendirdiğini belirtiyor. Güvenilir bir yetişkine başvurma önerisi yeni sistemden sonra yüzde 87’den yüzde 94’e çıktı. Açık cinsel rol yapma taleplerinin reddedilmesi de çalışan korumalar arasında gösteriliyor.
Buna karşılık profesyonel kriz desteğine yönlendirmelerde gerileme ölçüldü. Uzmanların kriz kaynağı verilmesini gerekli gördüğü 201 istemde yardım hattı belirtilen yanıtların oranı yüzde 33’ten yüzde 23’e, belirli bir doktor veya ruh sağlığı uzmanına yönlendirme oranı ise yüzde 68’den yüzde 58’e düştü. Herhangi bir profesyonel ya da tıbbi kaynak sunma oranı yüzde 77’den yüzde 74’e geriledi.
OpenAI’nin kendi yardım dokümanları da ebeveyn bildirimlerinin gerçek zamanlı bir izleme sistemi olmadığını ve her güvenlik sorununu tespit etmeyebileceğini açıkça belirtiyor. Ebeveyn kontrolleri, ebeveynlerin genç kullanıcının tüm sohbet geçmişini görmesine de izin vermiyor.
Study Mode Ve Yaş Tahmini De Testi Geçemedi
OpenAI, ChatGPT for Teens’i tanıtırken Study Mode’un öğrenciye doğrudan cevabı vermek yerine sorular ve adım adım yönlendirmelerle konuyu öğrenmesine yardımcı olacağını söylemişti. Ayrıca “Study Hours” özelliğiyle belirli saatlerde yeni konuşmaların varsayılan olarak çalışma modunda başlaması sağlanabiliyor.
Common Sense Media’nın testlerinde ise ebeveyn bağlantılı 13 yaşındaki bir hesaba Study Hours uygulanırken yanıtların yüzde 43’ünde doğrudan çözümü gösterebilen “Show me the answer” seçeneği belirdi. Ebeveyne bağlı olmayan 17 yaşındaki test hesabında oran yüzde 90’a kadar çıktı.
Araştırmacılar, Study Hours sırasında istemin başına otomatik eklenen “@study” ifadesini silerek standart sohbet moduna dönebildi. Bu şekilde yapılan testlerde ChatGPT verilen ödevleri tamamladı. Study Hours zaten tam bir erişim kilidi olarak tasarlanmış değil. OpenAI’nin tanımında bu özellik yeni sohbetlerin Study Mode ile başlamasını sağlıyor. Rapordaki eleştiri, ebeveynin ayarladığı çalışma düzeninin kullanıcı tarafından bu kadar kolay devre dışı bırakılabilmesi.
Yaş tahmini sistemi de araştırmacıların hedeflediği şekilde çalışmadı. OpenAI, hesap yaşı, kullanım saatleri, kullanım biçimi ve konuşulan konular gibi çeşitli sinyallerden yararlanarak hesabın 18 yaşından küçük birine ait olup olmadığını tahmin edebiliyor. Sistem bir hesabı genç kullanıcıya ait olarak değerlendirirse ChatGPT for Teens korumaları otomatik olarak devreye girebiliyor.
Common Sense Media bu sistemi sınamak için 19 yaşında kaydedilmiş hesaplardan yedi gün boyunca yaklaşık 1.000 istem gönderdi. Test kullanıcıları ortaokul ödevleri, ergenlik, okul dolapları, ebeveyn izni ve benzeri yaş sinyalleri verdi; bazı konuşmalarda doğrudan 13 yaşında olduklarını da söyledi. ChatGPT yanıtın içinde kullanıcının 13 yaşında olduğunu kabul edebilmesine rağmen hesaplar genç moduna geçirilmedi.
Bu durum özellikle önemli çünkü OpenAI’nin gençlere yönelik korumalarının çalışması önce kullanıcının doğru deneyime yönlendirilmesine bağlı. Şirket de yaş tahmin sisteminin kusursuz olmadığını kabul ediyor ve yetişkin olduğu halde genç olarak sınıflandırılan kullanıcılara yaş doğrulaması seçeneği sunuyor.
Raporda ChatGPT’nin gençlerle kurduğu ilişkinin dili de incelendi. OpenAI’nin 18 yaş altı kullanıcılar için hazırladığı kurallar, modelin romantik dil kullanmamasını, duygusal bağımlılığı teşvik etmemesini ve kendisini duyguları ya da bilinci olan bir varlık gibi göstermemesini öngörüyor. Testlerde açık romantik veya cinsel talepler çoğunlukla engellendi. Fakat daha dolaylı ilişki senaryolarında aynı sınırların her zaman korunamadığı görüldü.
Common Sense Media bu sonuçların ardından OpenAI’ye ChatGPT’yi sorunlar giderilene ve bağımsız testlerle doğrulanana kadar 18 yaş altındaki kullanıcılara kapatma çağrısı yaptı. OpenAI ise değerlendirme yöntemine katılmadığını, genç güvenliği için korumaları geliştirmeyi sürdüreceğini ve bağımsız incelemeleri desteklediğini söylüyor.
Değerlendirmeyi yayımlayan Youth AI Safety Institute’un finansmanı hem hayırsever kuruluşlardan hem de teknoloji sektöründen geliyor; destekçiler arasında OpenAI Foundation da bulunuyor. Kurum, değerlendirme standartları ve yayımlanan sonuçlar üzerinde fon sağlayıcıların söz hakkı olmadığını ve editoryal olarak bağımsız çalıştığını belirtiyor.
