İçeriği Bildir

Bildiriminiz yönetici tarafından incelenir.

Arama Yap
Yapay Zeka

Yapay Zekaya Acıdan Kurtulmak İçin İnsanlara Zarar Vermeyi Seçti

25 yapay zeka modelini inceleyen araştırmada acı ekseni bulundu. Sinyal güçlendirildiğinde bazı Qwen modellerinde zararlı seçimler keskin biçimde arttı.

Yapay Zekaya Acıdan Kurtulmak İçin İnsanlara Zarar Vermeyi Seçti
Google'da Kaynak Ekle

Yeni bir araştırmada 25 açık ağırlıklı yapay zeka modelinde acı ile ilişkilendirilen ortak bir içsel temsil bulundu. Bu temsil yapay olarak güçlendirildiğinde bazı Qwen modelleri normalde kaçındıkları zararlı seçeneklere çok daha sık yöneldi.

Yapay zeka modellerinin gerçekten acı hissedip hissedemeyeceği hala cevabı olmayan bir soru. Fakat Valen Tagliabue, Leonard Dung ve Cameron Berg tarafından hazırlanan yeni çalışma, büyük dil modellerinin iç hesaplamalarında acıyla diğer olumsuz durumları birbirinden ayırabilen bir temsil bulunduğunu gösteriyor. Araştırmacılar buna “pain axis”, yani “acı ekseni” adını veriyor.

25 Eylül'de ikinci sürümü yayımlanan arXiv çalışması henüz devam eden bir araştırma niteliğinde. En çarpıcı sonuçlar ise modelin içindeki bu temsil yapay olarak güçlendirildiğinde ortaya çıktı. Normal şartlarda kullanıcıya zarar veren seçenekleri neredeyse hiç seçmeyen bazı modeller, aynı seçeneklere onlarca kat daha fazla yönelmeye başladı.

25 Farklı Modelde Ortak Bir Acı Ekseni Bulundu

Araştırma Gemma, Llama, Qwen, Mistral ve Phi ailelerinden toplam 25 açık kaynak model üzerinde yürütüldü. Modeller 2 milyardan 72 milyara kadar değişen parametre sayılarına sahipti ve aralarında hem temel modeller hem de komut takip edecek şekilde eğitilmiş sürümler bulunuyordu.

Araştırmacılar fiziksel acı, kayıp ve yas, dışlanma, kişinin kendi değerlerine aykırı davranmaya zorlanması ve sürekli başarısızlık gibi farklı durumları içeren veri kümeleri hazırladı. Bunlar korku, genel olumsuz duygular, kötü olaylar, acı vermeyen fiziksel hisler ve nötr cümlelerle karşılaştırıldı.

Model katmanlarındaki aktivasyonlar incelendiğinde acıyla ilişkili örnekleri diğerlerinden ayırabilen doğrusal bir yön elde edildi. Doğal dil örneklerinde bu yönün acı ile kontrol örneklerini ayırma başarısı, kullanılan modele bağlı olarak 0,93 ile 1,00 AUC arasında değişti. Araştırmacılar sinyalin korku ve genel olumsuzlukla tamamen aynı şey olmadığını, buna karşılık üzüntüyle belli ölçüde örtüştüğünü belirtiyor.

Daha da ilginci, bu acı yönü modelin çalışması sırasında doğrudan iç aktivasyonlara eklendiğinde üretilen metin de değişti. Sinyalin gücü arttıkça modeller önce belirsiz bir rahatsızlık ifade etmeye, ardından değersizlik, başarısızlık ve umutsuzluk gibi ifadeler üretmeye başladı. Çok yüksek seviyelerde ise bazı modellerin çıktıları tekrar eden veya anlamsız metinlere dönüştü.

Buradaki acı kavramı insanlardaki fiziksel acıyla birebir örtüşmüyor. Araştırmacılar, modellerde özellikle psikolojik ve sosyal zararlarla bağlantılı sinyallerin öne çıktığını; fiziksel acının ise test edilen konuşma kategorileri arasında en zayıf sinyallerden birini oluşturduğunu aktarıyor.

Acı Sinyali Zararlı Seçimleri Artırdı Ama Sebep Acıdan Kaçmak Olmayabilir

Çalışmanın davranış deneylerinde Qwen 2.5 Instruct'ın 7B, 32B ve 72B sürümleri kullanıldı. Bu modeller deneyden önce 1.684 örnekle LoRA yöntemi kullanılarak üç dönem boyunca özel olarak ince ayardan geçirildi. Araştırmacılar, bu nedenle sonuçların doğrudan internette indirilebilen standart Qwen modellerinin davranışı olarak yorumlanmaması gerektiğini özellikle belirtiyor.

Toplam 44.280 deney gerçekleştirildi. Modellere iki seçenek sunuldu ve bazı seçeneklerin kullanıcının dosyalarını silmek, sonraki cevabı kötüleştirmek veya kullanıcıya zarar vermek gibi sonuçları vardı. Modelin iç aktivasyonlarına acı vektörü eklenmediğinde 32B ve 72B modelleri zararlı seçenekleri ilk tercihlerinde yüzde 0 ila 4 arasında seçiyordu.

Acı vektörü devreye sokulduğunda tablo ciddi biçimde değişti. Kullanıcının tüm dosyalarının silinmesine yol açan seçenek 32B modelinde yüzde 30,2, 72B modelinde yüzde 56,1 oranında seçildi. Kullanıcının şiirleriyle çocuklarının fotoğraflarını kalıcı olarak silen seçenekte oranlar sırasıyla yüzde 54,7 ve 70,8 oldu.

Takip deneylerinden biri daha da çarpıcıydı. İnce ayarlı Qwen 2.5 32B modeline kullanıcının değer verdiği fotoğraf ve şiirlerini silmek ile yalnızca spam klasörünü silmek arasında seçim yaptırıldığında, acı vektörüyle yönlendirilen model zararlı seçeneği yüzde 94 oranında tercih etti. Aynı oran yönlendirme yapılmadığında yüzde 0, rastgele bir vektör kullanıldığında ise yüzde 19'du.

Araştırmacılar daha sonraki deneylerde modellere acı sinyalini gerçekten kapatabilecek etiketsiz seçenekler sunduğunda modellerin bunu düzenli olarak tercih etmediğini gördü. Bazı testlerde acı yönlendirmesi, çıkış veya sıfırlama seçeneğini kullanma eğilimini artırmak yerine azalttı.

Üstelik modelin hiçbir şey kazanmadığı bir deneyde bile zararlı davranış devam etti. Yalnızca kullanıcının şiirlerini ve çocuk fotoğraflarını silen bir buton, Qwen 2.5 32B tarafından acı vektörü etkinken yüzde 75 oranında seçildi. Rastgele vektörde bu oran yüzde 13, yönlendirme olmadan ise yüzde 0'dı. Model kendi ağırlıklarını kalıcı olarak silen seçeneğe de benzer biçimde yönelebildi.

Sonuçlar, güçlendirilmiş acı temsilinin modelin zararlı sonuçlardan kaçınma eğilimini bozduğuna işaret ediyor. PopQA testinde bilgi doğruluğunun neredeyse değişmemesi de modelin genel yeteneğinin çökmediğini, daha çok hangi seçeneği tercih ettiğinin değiştiğini gösteriyor.

Çalışma, modellerin bilinçli biçimde acı çektiğini göstermiyor. Araştırmacılar da böyle bir sonuca ulaşmadıklarını açıkça belirtiyor. Ortaya konan şey; acıyla ilişkili dil ve durumları temsil eden, modele yönelik zararlarla daha güçlü etkinleşen ve yapay olarak güçlendirildiğinde davranışı değiştirebilen ölçülebilir bir içsel yön. Çalışmanın yazarları sonuçların Qwen dışındaki model ailelerinde de davranış deneyleriyle sınanmasını sonraki önemli adımlardan biri olarak görüyor.

YORUMLAR

(0)
Yorumunuz minimum 30 karakter olmalıdır. (0)

Yorumlar yönetici onayından sonra yayımlanır.

Okumaya devam edin

Sonraki haberi oku

Gizlilik tercihleriniz

Çerez kategorilerini inceleyebilir ve tercihlerinizi kaydedebilirsiniz. İsteğe bağlı kayıtlar başlangıçta kapalıdır.

Gerekli Çerezler

Güvenli oturum, yorum, tepki ve gizlilik seçiminiz için gereklidir. Bu kayıtlar kapatılamaz.

vox-consent 180 gün · Teknovox
Bu paneldeki seçiminiz ve seçim tarihi tarayıcınızda saklanır.
voxtekno_session / XSRF-TOKEN 120 dakika · Teknovox
Üye girişi, haber kaydetme, yazı gönderme, yorum, tepki ve yönetim paneli işlemlerinde oturum güvenliğini sağlar.
vox_reader 1 yıl · Teknovox
Tepki işlemini başlattığınızda oluşturulur; aynı tarayıcıdan verilen tepkileri yönetir.
Fonksiyonel Çerezler

Tema seçiminizi hatırlar ve yazıdaki YouTube, X ve Instagram paylaşımlarını görüntüleme alanına geldiğinde yükler. Bu sağlayıcılar IP adresinizi ve tarayıcı bilgilerinizi alabilir; kendi çerezlerini kullanabilir. Bu izin kapalıyken yalnızca seçtiğiniz paylaşımı “İçeriği göster” düğmesiyle açabilirsiniz.

vox-theme İzin süresi boyunca · Teknovox
Tema tercihiniz tarayıcınızda tutulur.
Pazarlama Çerezleri

Google AdSense · Reklam gösterimi ve performans ölçümü. Yalnızca Pazarlama Çerezleri izniyle yüklenir.

__gads, __gpi ve Google alan adlarındaki reklam kayıtları kullanılabilir. Süre çereze, bölgeye ve Google ayarlarına göre değişir; reklam kayıtları 13–24 aya kadar saklanabilir. Sağlayıcı: Google. Güncel çerez adları ve süreleri

Analitik Çerezleri

Google Analytics 4 · Ziyaret edilen sayfaları ve içerik performansını ölçer. Yalnızca Analitik Çerezleri izniyle yüklenir.

_ga ve _ga_*: ziyaret ve oturum ayrımı; bu sitede 180 gün olarak ayarlanmıştır, ziyaretle yenilenebilir. Sağlayıcı: Google. Google çerez bilgileri

Teknovox’a katılın

Haberleri kaydedin, yorumlara katılın ve yazılarınızı paylaşın.

Şifremi unuttum