Microsoft, USB4 ile bağlanan birden fazla Windows bilgisayarın tek bir yapay zeka modelini birlikte çalıştırmasını sağlayan RDMA over USB4’ü duyurdu.
Büyük yapay zeka modellerini meskende çalıştırmanın önündeki en büyük mahzur bellek. Pek çok güçlü açık model, tek bir bilgisayarın belleğine sığmıyor. Microsoft bu sıkıntıya farklı bir tahlil getiriyor: USB4 kablosuyla birbirine bağlanan birden fazla Windows bilgisayar, tek bir modeli belleklerini ve grafik işlemcilerini birleştirerek birlikte çalıştırabilecek.
Microsoft, RDMA over USB4 ismini verdiği teknolojinin geliştirici önizlemesini Tech Community’deki blog yazısında duyurdu. Şirkete nazaran bunun için başka bir RDMA ağ kartı almak, ağ anahtarı kurmak ya da üçüncü taraf şoför yüklemek gerekmiyor. TechPowerUp de teknolojiyi, Windows 11’in iş yükünü birbirine bağlı birden fazla bilgisayara dağıtabilmesini sağlayan bir düzenek olarak aktardı.
RDMA nedir, sebep USB4?
RDMA (Remote Direct Memory Access), iki sistemin belleği arasında datayı klâsik ağ katmanlarının birçoklarını atlayarak direkt taşıyan bir teknoloji. Düşük gecikme ve düşük işlemci yükü sağladığı için bilgi merkezlerinde yaygın olarak kullanılıyor. Windows, RDMA’yı yıllardır NetworkDirect arayüzüyle destekliyor, lakin şimdiye kadar yalnız sunuculara yönelik özel Ethernet ve InfiniBand kartlarıyla.
Microsoft’a nazaran bir model tensör paralelliğiyle birden fazla bilgisayara bölündüğünde, bilgisayarlar ürettikleri her token için tekraren data alışverişi yapıyor. Bu noktada suratı bant genişliğinden çok gecikme belirliyor. Şirketin iki bilgisayar arasındaki ölçümlerinde RDMA over USB4, küçük bildirilerde gidiş-dönüş gecikmesini 28 ile 50 mikrosaniye arasına indirdi. Bu, birebir USB4 teması üzerinden Ethernet (UDP) kullanımına nazaran yaklaşık 4 kat daha düşük gecikme demek.
AMD ve Intel ölçümleri
Microsoft, önizlemeyi şimdiye kadar AMD Ryzen AI Max serisi işlemcili bilgisayarlarda üç bilgisayarlık, Thunderbolt 4 irtibatlı Intel Core Ultra Series 3 işlemcili bilgisayarlarda ise dört bilgisayarlık kümelerle test etti. Şirket bunların çalışan tek platformlar olmadığını, şimdiye kadar test edilenler olduğunu vurguluyor.
AMD’nin Kıdemli Başkan Yardımcısı ve Yazılım Direktörü Andrej Zdravkovic, kümelemenin lokal yapay zekada yeni imkanların kilidini açmak için kritik olduğunu söyledi.
Ne gerekiyor?
Microsoft’un açıkladığı ihtiyaçlar şöyle:
Ne vakit kullanılabilecek?
Özellik şimdi herkese açık değil. Microsoft, gerekli Windows sürümünün yakında Windows Insider programının Deneysel kanalına (Future Platforms) geleceğini söylüyor. Özellik varsayılan olarak kapalı geliyor; açmak için bir kayıt defteri ayarı ve test imzalama modu gerekiyor. Test imzalama için de bilgisayarın donanım yazılımında Güvenli Önyükleme’nin kapatılması gerekiyor. USB4 için yeni NetworkDirect sağlayıcısı, örnek kodlar ve llama.cpp tabanlı test ortamı ise şimdiden açık kaynak olarak yayında. Microsoft’un Windows ile Android aygıtlar arasındaki bağı güçlendiren bir diğer çalışmasını da Android telefonların Windows’a ikinci ekran olması haberimizde aktarmıştık.
Kaynak: Shiftdelete