Google Research, yapay zeka alanında kapalılığa odaklanan yeni bir model tanıttı. Şirket, diferansiyel kapalılık formülüyle sıfırdan eğitilmiş güçlü bir büyük lisan modeli olan VaultGemma’yı duyurdu. 1 milyar parametreye sahip model, Hugging Face ve Kaggle üzerinden herkese açık olarak yayımlandı. Bu sayede hem araştırmacılar hem de şirketler, bu modeli indirip kullanabiliyor.

Google, VaultGemma teknolojisini duyurdu

VaultGemma, diferansiyel saklılık ismi verilen bir sistemle eğitildi. Bu yol, kullanıcı datalarının direkt hatırlanmasını engellemek için eğitim sırasında denetimli biçimde gürültü ekliyor. Bu yaklaşım eğitim sürecinde zorlukları beraberinde getiriyor ve modelin stabil formda öğrenmesi için çok daha büyük data kümeleri ile yüksek hesaplama gücü istiyor.

Google, DeepMind ile yürüttüğü çalışmalarla bu süreci yönetecek yeni ölçeklenme maddeleri tanımladı ve böylelikle kapalılık ile performans ortasında bir istikrar kurarak VaultGemma’yı geliştirdi.

Modelin en kıymetli teknik özelliği sırf 3 milyar faal parametreyle çalışması. Bu yapı, performanstan ödün vermeden verimlilik sağlıyor. Birebir vakitte 256 bin token uzunluğundaki metinleri tek seferde işleyebiliyor ve RoPE formülleriyle bu hudut 1 milyon tokene kadar çıkabiliyor. Bu sayı, günümüzün en gelişmiş ticari yapay zeka modelleriyle birebir düzeye ulaşıyor.

VaultGemma’nın en dikkat cazibeli yanlarından biri sağladığı zımnilik garantisi. Model, ε ≤ 2.0, δ ≤ 1.1e-10 üzere sıkı bir saklılık garantisiyle eğitildi. Bu garanti, tek bir eğitim örneğinin model çıktıları üzerinde besbelli bir tesir bırakmasını matematiksel olarak engelliyor.

Google’ın yaptığı testler, VaultGemma’nın eğitim sırasında gördüğü dataları ezberlemediğini ve yine üretemediğini doğruladı. Performans açısından VaultGemma, beş yıl evvelki GPT-2 üzere modellerle tıpkı düzeyde sonuçlar veriyor.

Bu durum, kapalılık için harcanan hesaplama maliyetinin hala yüksek olduğunu gösterse de, çağdaş diferansiyel saklılık tekniklerinin artık pratikte kullanılabilir bir noktaya geldiğini ortaya koyuyor. Google bu çalışmayla birlikte, topluluğa hem açık kaynaklı bir model hem de gelecekteki kapalılık odaklı yapay zeka geliştirmeleri için sağlam bir yol haritası sunmuş oldu.