Yapay zeka modellerinin yaygınlaşmasıyla birlikte donanım tarafında istikrarları değiştiren kritik bir gelişme yaşanıyor. Açık kaynaklı yeni bir araç, NVIDIA GeForce RTX 30 ve RTX 40 serisi ekran kartlarının donanımsal olarak sonlandırılan yapay zeka süreç kapasitesini ortaya çıkarıyor. vBIOS flaşlamaya yahut fizikî bir müdahaleye gerek kalmadan çalışan yazılım, kartların FP16 ve BF16 hesaplama suratlarını neredeyse iki katına çıkarırken, ikinci el ekran kartı pazarında fiyat patlamasına yol açıyor.

NVIDIA Zagitta Aracı Nasıl Çalışıyor?

Kripto para madenciliğinin tanınan olduğu devirde NVIDIA, oyuncu kartlarının profesyonel ve kurumsal hesaplama alanında kullanılmasını engellemek maksadıyla birtakım komut sürece limitleri getirmişti. GitHub üzerinde paylaşılan Zagitta isimli açık kaynaklı Linux çekirdek modülü, bu sonları direkt bertaraf ediyor.

Araç, yepyeni NVIDIA şoförü devreye girmeden çabucak evvel donanım düzeyinde sürat seçicilerini (speed selectors) düzenliyor. Böylelikle GA102, GA103, GA104 ve GA106 grafik yongalarındaki FP/BF16 FMA komut sürece suratı profesyonel kartların düzeyine yükseltiliyor. Yazılımın en büyük avantajı, kullanıcıları riskli vBIOS güncellemeleriyle uğraştırmaması ve şoför güncellemelerinden sonra tekrar yama yapma zorunluluğunu ortadan kaldırması olarak öne çıkıyor.

Yapay Zeka Testlerinde Yüzde 80’e Varan Artış

İlk test sonuçları, bilhassa Ampere mimarili RTX 30 serisinde çarpıcı kazanımlar elde edildiğini gösteriyor. Kartların ham süreç gücünde ve lisan modellerindeki (LLM) gerçek dünya senaryolarında şu sonuçlar kaydediliyor:

• RTX 3090 Ti: BF16 süreç gücü 87,5 TFLOPS düzeyinden 157,4 TFLOPS’a, TF32 performansı ise 42,5 TFLOPS’tan 82,6 TFLOPS’a ulaşıyor.
• RTX 3080 10 GB: Stok 320W güç hududunda FP16 performansı 65 TFLOPS’tan 113 TFLOPS düzeyine çıkıyor.
• RTX 3070 ve RTX 3060 12 GB: BF16 GEMM hesaplamalarında yaklaşık yüzde 70 ila yüzde 81 arasında randıman artışı yakalıyor.
• Büyük Dil Modeli (LLM) Kazanımları: Kilidin açılmasıyla birlikte uzun bağlamlı (long-context) sorgularda ön yükleme (prefill) mühleti yüzde 35 civarında hızlanırken, birinci karşılığa ulaşma gecikmesi (TTFT) yüzde 25 oranında düşüyor.

İkinci El Pazarında Fiyatlar Neden Yükseliyor?

Her ne kadar bu araç şu an için sadece Linux işletim sisteminde çalışsa da yapay zeka geliştiricileri ve model ince ayarı (fine-tuning) yapan kullanıcılar kartlara yoğun ilgi gösteriyor. Bilhassa 24 GB VRAM kapasitesine sahip GeForce RTX 3090 ve RTX 3090 Ti modelleri, kurumsal yapay zeka hızlandırıcılarına kıyasla çok daha hesaplı bir alternatif haline geliyor.

Bu talep artışı pazar fiyatlarını direkt etkiliyor. Kısa mühlet evvel yurt dışı ikinci el platformlarında 1.000 dolar bandında el değiştiren 24 GB RTX 3090 modellerinin fiyatı 2.000 dolar barajını aşarken, RTX 3090 Ti listelemeleri 2.650 ila 3.000 dolar düzeylerine tırmanıyor. Benzeri formda RTX 3080 modelleri de 1.000 dolar hududuna dayanıyor. Gelişme, yapay zeka geliştiricileri için ucuz bir bilgi süreç kapısı açarken, uygun fiyata ekran kartı arayan oyuncuları ise bir sefer daha yükselen fiyat baskısıyla baş başa bırakıyor.

Kaynak: Shiftdelete