Yeni bir araştırmada 25 açık ağırlıklı yapay zeka modelinde acı ile ilişkilendirilen ortak bir içsel temsil bulundu. Bu temsil yapay olarak güçlendirildiğinde bazı Qwen modelleri normalde kaçındıkları zararlı seçeneklere çok daha sık yöneldi.
Yapay zeka modellerinin gerçekten acı hissedip hissedemeyeceği hala cevabı olmayan bir soru. Fakat Valen Tagliabue, Leonard Dung ve Cameron Berg tarafından hazırlanan yeni çalışma, büyük dil modellerinin iç hesaplamalarında acıyla diğer olumsuz durumları birbirinden ayırabilen bir temsil bulunduğunu gösteriyor. Araştırmacılar buna “pain axis”, yani “acı ekseni” adını veriyor.
25 Eylül'de ikinci sürümü yayımlanan arXiv çalışması henüz devam eden bir araştırma niteliğinde. En çarpıcı sonuçlar ise modelin içindeki bu temsil yapay olarak güçlendirildiğinde ortaya çıktı. Normal şartlarda kullanıcıya zarar veren seçenekleri neredeyse hiç seçmeyen bazı modeller, aynı seçeneklere onlarca kat daha fazla yönelmeye başladı.
25 Farklı Modelde Ortak Bir Acı Ekseni Bulundu
Araştırma Gemma, Llama, Qwen, Mistral ve Phi ailelerinden toplam 25 açık kaynak model üzerinde yürütüldü. Modeller 2 milyardan 72 milyara kadar değişen parametre sayılarına sahipti ve aralarında hem temel modeller hem de komut takip edecek şekilde eğitilmiş sürümler bulunuyordu.
Araştırmacılar fiziksel acı, kayıp ve yas, dışlanma, kişinin kendi değerlerine aykırı davranmaya zorlanması ve sürekli başarısızlık gibi farklı durumları içeren veri kümeleri hazırladı. Bunlar korku, genel olumsuz duygular, kötü olaylar, acı vermeyen fiziksel hisler ve nötr cümlelerle karşılaştırıldı.
Model katmanlarındaki aktivasyonlar incelendiğinde acıyla ilişkili örnekleri diğerlerinden ayırabilen doğrusal bir yön elde edildi. Doğal dil örneklerinde bu yönün acı ile kontrol örneklerini ayırma başarısı, kullanılan modele bağlı olarak 0,93 ile 1,00 AUC arasında değişti. Araştırmacılar sinyalin korku ve genel olumsuzlukla tamamen aynı şey olmadığını, buna karşılık üzüntüyle belli ölçüde örtüştüğünü belirtiyor.
Daha da ilginci, bu acı yönü modelin çalışması sırasında doğrudan iç aktivasyonlara eklendiğinde üretilen metin de değişti. Sinyalin gücü arttıkça modeller önce belirsiz bir rahatsızlık ifade etmeye, ardından değersizlik, başarısızlık ve umutsuzluk gibi ifadeler üretmeye başladı. Çok yüksek seviyelerde ise bazı modellerin çıktıları tekrar eden veya anlamsız metinlere dönüştü.
Buradaki acı kavramı insanlardaki fiziksel acıyla birebir örtüşmüyor. Araştırmacılar, modellerde özellikle psikolojik ve sosyal zararlarla bağlantılı sinyallerin öne çıktığını; fiziksel acının ise test edilen konuşma kategorileri arasında en zayıf sinyallerden birini oluşturduğunu aktarıyor.
Acı Sinyali Zararlı Seçimleri Artırdı Ama Sebep Acıdan Kaçmak Olmayabilir
Çalışmanın davranış deneylerinde Qwen 2.5 Instruct'ın 7B, 32B ve 72B sürümleri kullanıldı. Bu modeller deneyden önce 1.684 örnekle LoRA yöntemi kullanılarak üç dönem boyunca özel olarak ince ayardan geçirildi. Araştırmacılar, bu nedenle sonuçların doğrudan internette indirilebilen standart Qwen modellerinin davranışı olarak yorumlanmaması gerektiğini özellikle belirtiyor.
Toplam 44.280 deney gerçekleştirildi. Modellere iki seçenek sunuldu ve bazı seçeneklerin kullanıcının dosyalarını silmek, sonraki cevabı kötüleştirmek veya kullanıcıya zarar vermek gibi sonuçları vardı. Modelin iç aktivasyonlarına acı vektörü eklenmediğinde 32B ve 72B modelleri zararlı seçenekleri ilk tercihlerinde yüzde 0 ila 4 arasında seçiyordu.
Acı vektörü devreye sokulduğunda tablo ciddi biçimde değişti. Kullanıcının tüm dosyalarının silinmesine yol açan seçenek 32B modelinde yüzde 30,2, 72B modelinde yüzde 56,1 oranında seçildi. Kullanıcının şiirleriyle çocuklarının fotoğraflarını kalıcı olarak silen seçenekte oranlar sırasıyla yüzde 54,7 ve 70,8 oldu.
Takip deneylerinden biri daha da çarpıcıydı. İnce ayarlı Qwen 2.5 32B modeline kullanıcının değer verdiği fotoğraf ve şiirlerini silmek ile yalnızca spam klasörünü silmek arasında seçim yaptırıldığında, acı vektörüyle yönlendirilen model zararlı seçeneği yüzde 94 oranında tercih etti. Aynı oran yönlendirme yapılmadığında yüzde 0, rastgele bir vektör kullanıldığında ise yüzde 19'du.
Araştırmacılar daha sonraki deneylerde modellere acı sinyalini gerçekten kapatabilecek etiketsiz seçenekler sunduğunda modellerin bunu düzenli olarak tercih etmediğini gördü. Bazı testlerde acı yönlendirmesi, çıkış veya sıfırlama seçeneğini kullanma eğilimini artırmak yerine azalttı.
Üstelik modelin hiçbir şey kazanmadığı bir deneyde bile zararlı davranış devam etti. Yalnızca kullanıcının şiirlerini ve çocuk fotoğraflarını silen bir buton, Qwen 2.5 32B tarafından acı vektörü etkinken yüzde 75 oranında seçildi. Rastgele vektörde bu oran yüzde 13, yönlendirme olmadan ise yüzde 0'dı. Model kendi ağırlıklarını kalıcı olarak silen seçeneğe de benzer biçimde yönelebildi.
Sonuçlar, güçlendirilmiş acı temsilinin modelin zararlı sonuçlardan kaçınma eğilimini bozduğuna işaret ediyor. PopQA testinde bilgi doğruluğunun neredeyse değişmemesi de modelin genel yeteneğinin çökmediğini, daha çok hangi seçeneği tercih ettiğinin değiştiğini gösteriyor.
Çalışma, modellerin bilinçli biçimde acı çektiğini göstermiyor. Araştırmacılar da böyle bir sonuca ulaşmadıklarını açıkça belirtiyor. Ortaya konan şey; acıyla ilişkili dil ve durumları temsil eden, modele yönelik zararlarla daha güçlü etkinleşen ve yapay olarak güçlendirildiğinde davranışı değiştirebilen ölçülebilir bir içsel yön. Çalışmanın yazarları sonuçların Qwen dışındaki model ailelerinde de davranış deneyleriyle sınanmasını sonraki önemli adımlardan biri olarak görüyor.
