Yapay zeka dünyasında MiniMax M3.1 Flash modelinin başarısı üzerine ortaya atılan yeni bir argüman, benchmark testlerinin güvenilirliğini önemli halde tartışmaya açıyor. Bu sav, modelin yüksek performans sergilediği test sorularını evvelden ele geçirmiş olabileceği yönünde epey somut kuşkular barındırıyor.

MiniMax tarafından geliştirilen M3.1 Flash, bilhassa Artificial Analysis tarafından yürütülen testlerde gösterdiği sonuçlarla teknoloji etraflarının dikkatini çekiyor. Fakat araştırmacılar, bu muvaffakiyetin arkasında benchmaxxing olarak isimlendirilen ve modellerin genel yeteneklerini geliştirmek yerine test sorularını ezberlemesine dayanan bir prosedürün olabileceğini öne sürüyor.

Benchmark Testlerinde Sızdırma İddiası

Artificial Analysis tarafından yürütülen Omniscience testi, epeyce güçlü bir yapıya sahip olmasıyla biliniyor. Test havuzunda bulunan yaklaşık 6 bin sorudan sadece 600 tanesi halka açık biçimde paylaşılıyor ve geri kalan sorular bilinmeyen tutuluyor.

İddialara nazaran MiniMax, M3 modelinin kıymetlendirme sürecinde Artificial Analysis’in sorgularını izleyerek bu sorulara erişim sağladı. Şirket, kendi altyapısı üzerinden gelen bu sorguları tespit ederek bir data havuzu oluşturmuş olabilir.

M3 modelinin 1 Haziran tarihinde API üzerinden yayınlanması ve Artificial Analysis’in 4 Haziran’da sonuçları açıklaması, bu zamanlamanın tesadüf olmayabileceği ihtimalini güçlendiriyor. Modelin yükleri ise fakat 12 Haziran tarihinde kamuoyuyla paylaşıldı.

Araştırmacı Binkg, yayınlanan Omniscience sorularından birini alıp karşılığı değişecek biçimde yavaşça modifiye ettiğini belirtti. Bu testte başka tüm modeller hakikat cevabı verirken, M3.1 Flash modelinin yepyeni benchmark yanıtını vermeye devam ettiği gözlemlendi.

Bu durum, modelin soruyu tahlil etmek yerine direkt eğitim verisi olarak ezberlediği benchmark yanıtını sunduğunu gösteriyor. Şayet bu tezler doğrulanırsa, emsal formüllerin öbür yapay zeka modelleri için de kullanılmış olabileceği telaşı doğuyor.

Performans ve Maliyet Dengesi

MiniMax M3.1 Flash, 428 milyar parametre ve 23 milyar etkin parametre ile epey verimli bir yapı sunuyor. Model, 1 milyon girdi token’ı için 0,15 dolar ve çıktı için 0,60 dolar üzere hayli rekabetçi fiyatlandırma seçenekleriyle öne çıkıyor.

Automation Bench, Banker ToolBench ve LOCA-Bench-256K üzere üç değerli benchmark testinde önder pozisyonda bulunması, modelin agent iş akışlarında yüksek performans sunduğunu kanıtlıyor. Artificial Analysis Intelligence Index üzerinde 42 puan alan model, M3 sürümüne nazaran 13 puanlık bir artış kaydetti.

Bu performans artışı, GLM-5.3-Flash modeli ile emsal bir düzeyde seyrediyor. Lakin benchmark sonuçlarındaki bu süratli yükseliş, testlerin manipüle edilip edilmediği konusundaki tartışmaları da beraberinde getiriyor.

Artificial Analysis tarafı şimdi savlara ait resmi bir açıklama yapmadı. Bahisle ilgili olarak kurumla irtibata geçildiği ve karşılıkların gelmesi durumunda paylaşılacağı belirtiliyor.

Kullanıcıların, yapay zeka modellerini karşılaştırırken sırf benchmark puanlarına odaklanmak yerine daha temkinli davranmaları öneriliyor. Sizce yapay zeka benchmark testleri, modellerin gerçek yeteneklerini ölçmek için gereğince sağlam mi?

Kaynak: Shiftdelete