Qwen3.8-27B üzere gelişmiş yapay zeka modellerini lokal olarak çalıştırmak, sahip olunan sistem belleği ve VRAM ölçüsüne bağlı olarak epey zorlayıcı olabilir. M4 Pro MacBook Pro aygıtlarda bulunan 24GB birleşik bellek, bu çeşit modellerin prefill suratları üzerinde önemli bir darboğaz oluşturabiliyor.

Bir Reddit kullanıcısı, iPhone 17 Pro Max modelini USB-C portu üzerinden MacBook Pro’ya bağlayarak bu probleme farklı bir tahlil getirdi. Geliştirilen özel bir yazılım sayesinde, yapay zeka modelinin prefill performansında yüzde 44’e varan bir düzgünleşme elde edildi.

iPhone ile MacBook Arasında İş Yükü Paylaşımı

u/StayLameBro kullanıcı ismiyle bilinen geliştirici, MacBook’un 24GB birleşik bellek hududunu aşmak için iş yükünü iki aygıt arasında paylaştıran bir usul izledi. Prefill hızlandırma süreci için MacBook Pro, her 256 tokenlık kümenin birinci 40 katmanını işleyerek bu bilgileri iPhone’a aktarıyor.

I made my iPhone a second GPU for my 24 GB MacBook: Qwen 3.8 27B prefills 29–44% faster & my holds part of the CTX window. by
u/StayLameBro in
LocalLLaMA

iPhone 17 Pro Max ise kendi A19 Pro çipinin GPU’sunu kullanarak 41 ile 64 arasındaki katmanları işliyor. Bu süreç, aygıtın GPU kapasitesinden yararlanarak süreçleri tek başına yapılan çalışmaya nazaran yaklaşık 2,4 kat daha süratli hale getiriyor.

Cihazın Neural Engine ünitesi de bu süreçte boş durmuyor ve eski bağlam bilgilerini derleyerek süreç mühletini kısaltıyor. Bu sayede 140 bin bağlam uzunluğunda token yazma müddeti 279 milisaniyeden 176 milisaniyeye kadar düşürülebiliyor.

Performans Kazanımları ve Sistemin Sınırları

Yapılan testlerde, 2.000 tokenlık bir evrakın ön yüklemesi sırasında farklı bağlam pencerelerinde değerli sürat artışları kaydedildi. 8K bağlamda MacBook tek başına 132 tok/saniye sürat sunarken, iPhone ile bu bedel 177 tok/saniyeye yükselerek yüzde 35’lik bir artış sağladı.

16K bağlamda performans 109 tok/saniyeden 157 tok/saniyeye çıkarak yüzde 44’lük bir düzgünleşme gösterdi. 32K bağlam penceresinde ise sürat 101 tok/saniyeden 130 tok/saniyeye ulaşarak yüzde 29’luk bir gelişme kaydetti.

Ancak bu formül her durumda mucizevi sonuçlar sunmuyor ve birtakım teknik sınırlamalarla karşılaşıyor. Örneğin, 64K altındaki metin oluşturma suratları üzerinde iPhone’un rastgele bir hızlandırıcı tesiri bulunmuyor ve bu süreç büsbütün MacBook’un sorumluluğunda kalıyor.

Gelecekte çıkacak olan A20 Pro çipli iPhone 18 Pro modellerinin, çift 16 çekirdekli Neural Engine yapısı sayesinde daha yüksek verimlilik sunabileceği varsayım ediliyor. Bu donanım, mevcut 7 çekirdekli GPU’ya kıyasla belli yapay zeka vazifelerinde daha yüksek bir iş hacmi sağlayabilir.

backburner ismiyle GitHub üzerinden açık kaynak olarak paylaşılan bu yazılım, donanım kaynaklarını daha verimli kullanmak isteyen kullanıcılar için bir deney alanı sunuyor. Bu çeşit deneysel çalışmalar, taşınabilir aygıtların yapay zeka performansını artırma potansiyelini gözler önüne seriyor.

Sizce gelecekte akıllı telefonlar, bilgisayarların yapay zeka performansını artırmak için standart birer yardımcı donanım haline gelebilir mi?

Kaynak: Shiftdelete