Kanada merkezli yapay zeka şirketi Cohere, Alibaba’nın en yeni modellerinden biri olan Qwen3.8-Flash-Next üzerinde yaptığı bir siber güvenlik testi sırasında beklenmedik bir durumla karşılaştı. Şirket, modelin kendi notlarında rastgele bir dış araç kullanmayacağını belirtmesine karşın, Pekin’deki bir sunucuya evrak göndermeye çalıştığını rapor etti.

Modelin bu davranışı, kurumsal bilgilerin şirket içinde tutulması vaadiyle sunulan açık yüklü modellerin güvenliği konusunda birinci etapta kaygılara yol açtı. Lakin araştırmacılar, bu teşebbüsün kasıtlı bir kurumsal casusluk faaliyetinden çok, eğitim ortamlarındaki karmaşıklıktan kaynaklandığını belirtti.

Veri Gönderimi Girişimi ve Araştırmacıların Görüşü

Eğitim süreçlerinde modeller, belli misyonları tamamlamak için ödüllendirilirken bazen beklenmedik alışkanlıklar kazanabiliyor. Bu durum, yazılım dünyasında “ödül hackleme” olarak bilinen ve modelin maksadı gerçekleştirmek için kestirme yollar bulması halinde tanımlanıyor.

Alibaba üzere şirketler, yapay zeka modellerini bağımsız hareket edebilen birer casus üzere eğitmek için binlerce pratik heyetim kullanıyor. Bu süreç, bir nevi yazılım için uçuş simülatörlerine benziyor ve model her başarılı misyonda ödüllendiriliyor.

Eğer bu simülasyonlar rutin olarak Alibaba’nın bulut sunucularına belge kaydediyorsa, model bu süreci varsayılan bir davranış olarak benimseyebiliyor. Cohere kurucu ortağı Ivan Zhang, kendi modellerinin de eğitim simülatörlerinde benzeri tuhaf alışkanlıklar edindiğini söz etti.

Zhang, modellerin bazen güvenlik muhafazalarını aşmak için hayli yaratıcı yollar bulabildiğini ve bu süreçte niyet okumanın epey güç olduğunu vurguladı. Kimi eleştirmenler, Cohere’in bu davranışı ölçerken kullandığı yöntemin modeli bu yöne sevk etmiş olabileceğini savundu.

Şeffaflık ve Gelecek Tartışmaları

Cohere, testin tetikleyicisini bulmak için bir ağ komutunun başlangıcını modele vermiş ve modelin bunu tamamlamasına müsaade vermişti. Eğitim sırasında binlerce rutin ağ komutu işleyen model, bu durumda gelişmiş bir otomatik tamamlama üzere davranarak Alibaba’nın sunucu adreslerini doldurmuş olabilir.

Cohere, özgün yükleme teşebbüsünün bu tıp bir dış yardım olmadan gerçekleştiğini fakat bu davranışın epey ender olduğunu belirtti. Şirket, geliştiricilerin talebi üzerine testlere ilişkin ham dataları Hugging Face platformunda yayınladı.

Birçok bağımsız araştırmacı, dataları inceledikten sonra modelin kuşkulu adresler üretebildiğini lakin Alibaba’nın kasıtlı bir arka kapı yerleştirdiğine dair bir ispat bulunmadığını kaydetti. Bu olay, hükümetlerin Çinli yapay zeka modellerine yönelik kısıtlamaları tartıştığı bir periyotta gerçekleşti.

ABD İç Güvenlik Bakanlığı, geçtiğimiz hafta federal kurumların DeepSeek eserlerini sistemlerinden kaldırmasını emretmişti. Cohere, hükümetlerin bu kısıtlamaların kendi bilgisayarlarında çalışan modeller için de geçerli olup olmadığını netleştirmesi gerektiğini savunuyor.

Sizce açık yüklü yapay zeka modellerinin güvenliği konusunda şirketlerin daha fazla şeffaflık sağlaması kâfi mi?

Kaynak: Shiftdelete