Bilgi
Hayatteknoloji.net - Türkiye'nin teknoloji portalı

  • DOLAR
  • EURO
  • ALTIN
  • BIST
USB4 ile birden fazla PC tek modeli çalıştıracak

USB4 ile birden fazla PC tek modeli çalıştıracak

Microsoft, USB4 ile bağlanan birden fazla Windows bilgisayarın tek bir yapay zeka modelini birlikte çalıştırmasını sağlayan RDMA over USB4’ü duyurdu.

Büyük yapay zeka modellerini meskende çalıştırmanın önündeki en büyük mahzur bellek. Pek çok güçlü açık model, tek bir bilgisayarın belleğine sığmıyor. Microsoft bu sıkıntıya farklı bir tahlil getiriyor: USB4 kablosuyla birbirine bağlanan birden fazla Windows bilgisayar, tek bir modeli belleklerini ve grafik işlemcilerini birleştirerek birlikte çalıştırabilecek.

Microsoft, RDMA over USB4 ismini verdiği teknolojinin geliştirici önizlemesini Tech Community’deki blog yazısında duyurdu. Şirkete nazaran bunun için başka bir RDMA ağ kartı almak, ağ anahtarı kurmak ya da üçüncü taraf şoför yüklemek gerekmiyor. TechPowerUp de teknolojiyi, Windows 11’in iş yükünü birbirine bağlı birden fazla bilgisayara dağıtabilmesini sağlayan bir düzenek olarak aktardı.

RDMA nedir, sebep USB4?

RDMA (Remote Direct Memory Access), iki sistemin belleği arasında datayı klâsik ağ katmanlarının birçoklarını atlayarak direkt taşıyan bir teknoloji. Düşük gecikme ve düşük işlemci yükü sağladığı için bilgi merkezlerinde yaygın olarak kullanılıyor. Windows, RDMA’yı yıllardır NetworkDirect arayüzüyle destekliyor, lakin şimdiye kadar yalnız sunuculara yönelik özel Ethernet ve InfiniBand kartlarıyla.

Microsoft’a nazaran bir model tensör paralelliğiyle birden fazla bilgisayara bölündüğünde, bilgisayarlar ürettikleri her token için tekraren data alışverişi yapıyor. Bu noktada suratı bant genişliğinden çok gecikme belirliyor. Şirketin iki bilgisayar arasındaki ölçümlerinde RDMA over USB4, küçük bildirilerde gidiş-dönüş gecikmesini 28 ile 50 mikrosaniye arasına indirdi. Bu, birebir USB4 teması üzerinden Ethernet (UDP) kullanımına nazaran yaklaşık 4 kat daha düşük gecikme demek.

Görsel: Microsoft

AMD ve Intel ölçümleri

Microsoft, önizlemeyi şimdiye kadar AMD Ryzen AI Max serisi işlemcili bilgisayarlarda üç bilgisayarlık, Thunderbolt 4 irtibatlı Intel Core Ultra Series 3 işlemcili bilgisayarlarda ise dört bilgisayarlık kümelerle test etti. Şirket bunların çalışan tek platformlar olmadığını, şimdiye kadar test edilenler olduğunu vurguluyor.

  • AMD: Microsoft’un laboratuvarında, her biri Radeon 8060S grafik ünitesine ve 128 GB birleşik belleğe sahip üç Ryzen AI Max küçük bilgisayar, 235 milyar parametreli Qwen3-235B-A22B modelini 4 bit nicemlemeyle saniyede yaklaşık 18,5 token suratında çalıştırdı. AMD’nin kendi üç bilgisayarlık kurulumunda ise saniyede 21,98 token üretim ve 117,98 token istem sürece suratı ölçüldü.
  • Intel: Intel, tek bir 64 GB bilgisayara sığmayan yaklaşık 120 milyar parametreli GPT-OSS-120B modelini, her biri 64 GB belleğe sahip Core Ultra Series 3 bilgisayarlarla test etti. Model, 1K token bağlamda üç bilgisayarla saniyede yaklaşık 49, dört bilgisayarla yaklaşık 54 token üretti.

AMD’nin Kıdemli Başkan Yardımcısı ve Yazılım Direktörü Andrej Zdravkovic, kümelemenin lokal yapay zekada yeni imkanların kilidini açmak için kritik olduğunu söyledi.

Ne gerekiyor?

Microsoft’un açıkladığı ihtiyaçlar şöyle:

  • Windows tarafından yönetilen USB4 irtibat noktalarına sahip iki ya da daha fazla bilgisayar. 40 Gbps ilişkiler çalışıyor, Thunderbolt 5 üzere 80 Gbps irtibatlar iki kat bant genişliği sunuyor.
  • N bilgisayarı bağlamak için her bilgisayarda N-1 USB4 irtibat noktası. Örneğin üç bilgisayarlık küme için her birinde iki irtibat noktası.
  • Her bilgisayar çifti için direkt bağlanan bir USB4 kablosu. Microsoft, bilgisayarları zincir biçiminde arka arkaya bağlamamayı öneriyor; aksi halde performans önemli düşüyor.
  • Bağlantılar, Çekirdek DMA Koruması açık USB4 temas noktalarında çalışıyor.

Ne vakit kullanılabilecek?

Özellik şimdi herkese açık değil. Microsoft, gerekli Windows sürümünün yakında Windows Insider programının Deneysel kanalına (Future Platforms) geleceğini söylüyor. Özellik varsayılan olarak kapalı geliyor; açmak için bir kayıt defteri ayarı ve test imzalama modu gerekiyor. Test imzalama için de bilgisayarın donanım yazılımında Güvenli Önyükleme’nin kapatılması gerekiyor. USB4 için yeni NetworkDirect sağlayıcısı, örnek kodlar ve llama.cpp tabanlı test ortamı ise şimdiden açık kaynak olarak yayında. Microsoft’un Windows ile Android aygıtlar arasındaki bağı güçlendiren bir diğer çalışmasını da Android telefonların Windows’a ikinci ekran olması haberimizde aktarmıştık.


Kaynak:
Shiftdelete 


Sosyal Medyada Paylaşın:

BİRDE BUNLARA BAKIN

Düşüncelerinizi bizimle paylaşırmısınız ?

Sponsorlu Bağlantılar
  • ÇOK OKUNAN
  • YENİ
  • YORUM