OpenAI, henüz kullanıma sunmadığı şirket içi bir modelin ürettiği matematik çalışmalarını toplu halde yayımladı. Koleksiyonda yüzlerce açık probleme çözüm veya ilerleme iddiası var; fakat çalışmaların doğrulanma seviyesi aynı değil.
OpenAI, yapay zeka modellerinin matematikte ulaştığı seviyeyi şimdiye kadarki en kapsamlı yayınlarından biriyle ortaya koydu. Şirket 6 Ekim'de, şirket içi bir model tarafından üretilen 722 matematik çalışmasını GitHub üzerinden erişime açtı. Çalışmalar, birbirleriyle ilişkili sonuçları bir araya getiren 372 sonuç ailesi altında toplanıyor.
OpenAI'ın kullandığı sonuç ailesi yapısı; ana sonucu, tamamlayıcı kanıtları, sonuçtan türeyen başka çalışmaları ve alternatif kanıtları aynı grup altında birleştirebiliyor. Bağımsız Advisory Group on Mathematics and Artificial Intelligence (AGMAI) ise koleksiyonun yüzlerce açık soruya yönelik çözümler içerdiğini belirtiyor.
Sonuçları üreten modelin adı açıklanmış değil. OpenAI onu yalnızca henüz yayımlanmamış şirket içi bir model olarak tanımlıyor. Değerlendirme sürecinde modele yaklaşık 4.000 araştırma problemi verildi. Şirketin verdiği hesaba göre koleksiyona giren bir sonuç için ortalama hesaplama miktarı, yaklaşık üç saatlik ChatGPT Pro düşünme hesaplamasına denk geliyor.
OpenAI'ın açık araştırma problemlerine yönelmesinin nedeni de modelin klasik matematik değerlendirmelerinde artık yeterince ayırt edici sonuç vermeyecek kadar yüksek performansa ulaşması. Şirket bu nedenle değerlendirmelerini doğrudan çözülmemiş araştırma problemlerine doğru genişlettiğini söylüyor.
Kakeya'dan Riemann'a Uzanan 372 Sonuç Ailesi
Yayımlanan katalogdaki iddialar doğru çıkarsa, bazı sonuçların etkisi sadece yapay zeka araştırmalarıyla sınırlı kalmayacak. Örneğin OpenAI, Kakeya probleminin üç boyutlu maksimal fonksiyon sürümünü ve dört boyutlu Hausdorff boyutu problemini çözdüğünü belirtiyor. Dört boyut için iddia edilen sonuç, her yönde birim doğru parçası içeren Kakeya kümelerinin tam Hausdorff boyutuna sahip olduğunu gösteriyor.
Sayı teorisi tarafında ise en fazla yanlış anlaşılmaya açık sonuçlardan biri Riemann hipoteziyle ilgili. OpenAI'ın kataloğu Riemann hipotezinin çözüldüğünü söylemiyor. Modelin ürettiği çalışma, Riemann zeta fonksiyonu dahil Dirichlet L-fonksiyonlarının Re(s) > 7/8 bölgesinde sıfır içermediğini öne sürüyor ve bunu "quasi-Riemann hypothesis" başlığı altında sunuyor. Bu, doğru olması halinde güçlü bir ilerleme olsa da Riemann hipotezinin kendisi değil.
Benzer bir ayrım Hodge varsayımı için de geçerli. Katalogda bulunan çalışma, Milenyum Problemleri arasındaki Hodge varsayımının tümünü çözme iddiası taşımıyor; karmaşık CM abelyen varyeteleri için rasyonel Hodge varsayımını ele alıyor. Aynı sonuç ailesinde K3 yüzeylerinin çarpımlarına yönelik çalışmalar da bulunuyor.
Teorik bilgisayar bilimindeki en büyük iddialardan biri ise Subhash Khot tarafından ortaya atılan Unique Games Conjecture için verilen kanıt. Aynı ailede Max-Cut ve Vertex Cover gibi klasik optimizasyon problemlerinin yaklaşım sınırlarıyla ilgili sonuçlar da yer alıyor. Koleksiyonda ayrıca rasyonel sayılar üzerinde Hilbert'in onuncu problemi, Falconer uzaklık varsayımı ve farklı cebir, analiz, geometri ve matematiksel fizik problemlerine ilişkin çalışmalar bulunuyor.
Bu çalışmaların tamamı aynı doğrulama seviyesinde değil. GitHub deposunda bazı sonuçların Lean ile biçimselleştirilmiş kanıtları bulunuyor, ancak OpenAI açıkça tüm makalelerin bu aşamadan geçmediğini söylüyor. Şirket, biçimselleştirilmemiş sonuçların bazılarında hata bulunabileceğini de kabul ediyor ve yeni Lean doğrulamalarının ekleneceğini belirtiyor.
Lean doğrulaması önemli bir güvence sağlıyor. Doğal dildeki uzun bir matematiksel argüman yerine, kanıtın biçimsel olarak tanımlanan bir teoreme mantıksal biçimde ulaşıp ulaşmadığı makine tarafından kontrol edilebiliyor. Yine de bu süreç bir sonucun ne kadar özgün olduğunu, matematik açısından ne kadar değer taşıdığını veya doğal dilde yazılan makalenin biçimselleştirilen ifadeyle eksiksiz biçimde örtüşüp örtüşmediğini tek başına cevaplamıyor.
OpenAI'ın Scientific American'a verdiği bilgiye göre çalışmaların çok büyük bölümü, tek bir yapay zeka ajanına verilen tek bir istemin ardından üretildi. Bu iddia da matematikçilerin özellikle görmek istediği ayrıntılardan biri. Çünkü bir sistemin araştırma problemini nasıl seçtiği, kaç başarısız deneme yaptığı ve insan müdahalesinin nerede devreye girdiği, yalnızca son kanıt kadar önemli hale geliyor.
Matematikçiler İçin Asıl Tartışma Akademik Süreç
722 çalışmalık yayın, birkaç aydır büyüyen bir tartışmanın tam üzerine denk geldi. OpenAI 1 Ağustos'ta uzun süredir açık olan problemler üzerinde on yeni matematik ve teorik bilgisayar bilimi sonucu paylaşmıştı. 8 Eylül'de ise şirket içi bir sistemin Navier-Stokes Milenyum Problemi için sonlu zamanda tekillik oluşabileceğini gösteren bir çözüm ürettiğini açıkladı ve Lean biçimselleştirmesini yayımladı.
Navier-Stokes çalışmasının ardından tartışma modellerin problem çözme kapasitesinden çok, bu sonuçların nasıl üretildiği ve nasıl yayımlandığı üzerine kaydı. OpenAI 21 Eylül'de, 28 Ağustos'ta eğitmeye başladığı yeni şirket içi modelin Navier-Stokes'un yanında matematiğin farklı alanlarında 100'den fazla uzun süredir açık problemi çözdüğünü açıkladı.
Aynı dönemde Fields Madalyası sahibi matematikçiler tarafından yayımlanan A Severe Misalignment of AI in Mathematics bildirisi, şirketlerin açık matematik problemlerini kapalı modellerin performans testi haline getirmesine karşı çıktı. Bildirinin ilk imzacıları arasında 25 Fields Madalyası sahibi matematikçi bulunuyordu. Eleştiri yapay zekanın matematikte kullanılmasına değil; araştırmanın problem seçme, fikir geliştirme, atıf, insan tarafından anlaşılma ve akademik aktarım süreçlerinin şirketlerin model yarışı karşısında geri plana itilmesine odaklanıyordu.
Bu tartışmaların ardından Institute for Advanced Study bünyesinde bağımsız AGMAI grubu kuruldu. Grup 600'den fazla geri bildirimi değerlendirerek 29 Eylül'de kapsamlı bir öneri seti yayımladı. İlk öneri, yapay zeka şirketlerinin gelişmiş matematik problemlerini kamuya kapalı modeller üzerinde test etmesini ideal olarak tamamen bırakması gerektiğini savunuyor.
Sonuç üretildiğinde ise modelin adı, kullanılan istemler, özetlenmiş akıl yürütme kaydı, harcanan süre ve tahmini hesaplama maliyeti gibi bilgilerin açıklanmasını; mümkün olan kanıtların biçimselleştirilmesini; başarısız denemelerin ve problem seçme yönteminin de toplu yayınlarda belgelenmesini istiyor. AGMAI ayrıca matematik sonuçlarının model pazarlama aracı olarak kullanılmaması gerektiğini söylüyor.
OpenAI'ın yeni yayını bu beklentilerin bir bölümünü karşılıyor. Makaleler herkese açık, GitHub deposunda düzeltme ve sürüm takibi için bir yapı bulunuyor, Lean dosyaları paylaşılmış durumda ve yaklaşık 4.000 problemin denendiği açıklanıyor. Modelin gerçek adı ve her problem için kullanılan istemler ise yayımlanmadı; hesaplama bilgisi de problem başına ayrıntılı değerler yerine ortalama olarak verildi. AGMAI'nın önerdiği bağımsız akademik depo yerine OpenAI'ın kendi GitHub deposu kullanılıyor.
AGMAI da 6 Ekim tarihli açıklamasında OpenAI ile yaptığı görüşmelerin yapıcı geçtiğini söylüyor ancak danışmanlık rolünün sonuçları onayladığı anlamına gelmediğinin altını çiziyor. Gruba göre yüzlerce çalışmanın matematikteki gerçek yerini belirlemek, şirketin veya danışma kurulunun değil matematik topluluğunun işi.
Şu anda elde olan şey, farklı doğrulama aşamalarındaki 722 makaleden oluşan dev bir araştırma arşivi. Bazı sonuçların biçimsel kanıtı mevcut, bazıları insan matematikçiler tarafından henüz ayrıntılı biçimde incelenmedi ve OpenAI da biçimselleştirilmemiş çalışmalarda hata çıkabileceğini kabul ediyor.
GitHub deposundaki sürüm politikası da bu sürecin bitmediğini gösteriyor. OpenAI, düzeltme ve revizyonları yeni sürümler halinde yayımlayacağını, daha önce paylaşılan sürümlerin ise erişilebilir kalacağını belirtiyor.
