Yüksek kaliteli lisan modellerini çalıştırmak, ekran kartının geniş bir görüntü belleğine (VRAM) sahip olmasını gerektiriyor. Bir RTX 4080 sahibi, çağdaş oyunları rahatlıkla oynatabilen sisteminin büyük lisan modelleri (LLM) konusunda yetersiz kaldığını fark ederek farklı bir modifikasyon gerçekleştirdi.

Kullanıcı, NVIDIA Tesla V100 ekran kartını kendi oyun bilgisayarına entegre ederek hem oyun hem de yapay zeka performansı elde etmeyi başardı. Bu süreçte karşılaşılan teknik zorluklar, özel adaptörler ve soğutma tahlilleriyle aşıldı.

Tesla V100 ile 32GB VRAM Kapasitesine Ulaşıldı

Tesla V100 kartını standart bir masaüstü anakarta bağlamak için SXM2-PCIe dönüştürücü adaptör kullanılması gerekti. Toplamda yaklaşık 266 dolara mal olan bu heyetim, 16GB HBM2 belleğe sahip olan kartın sisteme dahil edilmesini sağladı.

Tesla V100, 5.120 CUDA çekirdeği ve 900GB/s bant genişliği sunan 4.096-bit bilgi yolu ile dikkat çekiyor. Kartın üzerinde imaj çıkışı yahut standart PCIe güç irtibatı bulunmaması, heyetim kademesinde modder için ek uğraş gerektirdi.

Soğutma sisteminin çıkardığı 82dB düzeyindeki yüksek gürültü, 9V pil ve PWM jumper kullanımıyla denetim altına alındı. Fan suratı özgün azamî pahasının yüzde 10’una düşürülerek sistemin daha sessiz çalışması sağlandı.

Evde Düşük Maliyetli Yapay Zeka Deneyimi

Sisteme eklenen 32GB toplam VRAM, Qwen3.6 27B üzere modellerin çalıştırılması için gerekli alanı sağladı. Q5_K_M kuantizasyon düzeyinde 19GB yer kaplayan model, 128K token bağlam boyutuyla saniyede 32 token suratında çalıştırılabiliyor.

İşlem süreci saniyede 133 ile 160 token arasında değişen bir performans sergiliyor. Bu heyetim, 300 doların altında bir maliyetle internet kontağı gerektirmeyen lokal bir yapay zeka çalışma ortamı sunuyor.

Eski kuşak sunucu odaklı ekran kartlarının bu tıp konut tipi projelerde kullanılması, donanım meraklıları için yeni imkanlar yaratıyor. Sizce eski jenerasyon profesyonel ekran kartlarını mesken tipi sistemlerde kullanmak mantıklı bir yatırım mı?

Kaynak: Shiftdelete