Türkçe Atlas data kümesi yayınlandı. 336 bin yapılandırılmış JSONL örneği barındıran proje, yerli yapay zekâ modellerinin SFT eğitim süreçlerini hızlandırarak dışa bağımlılığı azaltmayı hedefliyor.
Türkiye’de yerli ve ulusal yapay zekâ tahlillerinin geliştirilmesi, dışa bağımlılığın azaltılması ve açık kaynak ekosisteminin güçlendirilmesi ismine epey kritik bir gelişme yaşandı. Trendyol Group bünyesinde yürütülen açık kaynak çalışmaları kapsamında, Türkçe yapay zekâ modellerinin eğitimi için tasarlanan büyük ölçekli SFT (Supervised Fine-Tuning) data kümesi “Türkçe Atlas” resmi olarak paylaşıldı.
Toplamda 336 bine yakın yapılandırılmış örnek barındıran bu data kümesi, lisan modellerinin Türkçe komutları çok daha isabetli ve doğal bir biçimde anlamasını sağlamayı hedefliyor. Öznel içeriklerden arındırılan ve büsbütün açık erişimli şimdiki web kaynaklarından damıtılarak (distill edilerek) hazırlanan proje, Türkiye’deki yapay zekâ entegrasyon süreçlerine yeni bir soluk kazandırıyor.
Büyük Ölçekli Veri Kümesi: Türkçe Atlas, yerli yapay zekâ modellerinin eğitimi için özel olarak optimize edilen 336.000’e yakın yapılandırılmış data örneği içeriyor.
Çoklu Görev Desteği: Veri kümesi; komut takibi, özetleme, soru-cevap ve yapılandırılmış çıktı üretme üzere lisan modellerinin temel yeteneklerini geliştiren kritik vazifeleri barındırıyor.
Açık Kaynak ve Hazır Format: Trendyol Group dayanağıyla açık kaynak ekosistemine sunulan proje, SFT eğitim süreçlerine direkt entegre edilebilmesi için “system-user-assistant” konuşma yapısında ve JSONL formatında hazırlandı.
Türkçe Atlas Nedir ve Yapay Zekâ İçin Neden Önemli?
Büyük lisan modellerinin (LLM) belli bir lisanda uzmanlaşması ve insan komutlarını gerçek biçimde yerine getirebilmesi için kontrollü ince ayar (SFT) süreçlerinden geçmesi gerekiyor. Türkçe Atlas, tam da bu noktada devreye girerek yerli geliştiricilerin ve araştırmacıların en çok gereksinim duyduğu yüksek kaliteli data eksikliğini kapatmayı amaçlıyor.
Açık erişimli şimdiki web kaynaklarının titizlikle taranmasıyla oluşturulan bu data kümesi, ham dataların direkt sisteme yüklenmesiyle değil, yapay zekâ modellerinin öğrenme sürecine en uygun biçimde filtrelenmesiyle üretiliyor. İçerisinde yer alan öznel, taraflı yahut niteliksiz metinlerin temizlenmesi sayesinde, eğitilecek modellerin daha inançlı ve dengeli çıktılar vermesi kolaylaşıyor.
Yapay Zekâ Eğitiminde Standartları Değiştiren Format
Türkçe Atlas, teknik altyapı olarak çağdaş yapay zekâ mimarilerine direkt ahenk sağlayacak halde yapılandırılıyor. Geliştiricilerin işini kolaylaştırmak ismine tüm kayıtlar, günümüz tanınan lisan modellerinin aşina olduğu standart sohbet şablonuna sadık kalınarak hazırlanıyor:
System (Sistem): Modelin üstlenmesi gereken rolü ve uyması gereken kuralları belirliyor.
User (Kullanıcı): İnsanın modele yönelttiği soruyu yahut komutu içeriyor.
Assistant (Asistan): Modelin vermesi gereken en yanlışsız ve optimize edilmiş cevabı simgeliyor.
Bu hiyerarşik yapı, JSONL (JSON Lines) formatında sunulduğu için bilgi bilimciler rastgele bir ön sürece yahut dönüştürme zahmetine girmeden bilgiyi direkt eğitim döngüsüne dahil edebiliyor.
Türkçe Dil Modellerinin Yetenekleri Artıyor
Projenin sunduğu 336 bin örnek, tek bir alana odaklanmak yerine lisan modellerinin günlük ve profesyonel iş süreçlerinde gereksinim duyacağı tüm temel kasları geliştirmeye odaklanıyor. Veri kümesinin içerisinde yer alan dört temel vazife, yerli yapay zekâ tahlillerinin fonksiyonelliğini direkt belirliyor.
Komut Takibi ve Soru-Cevap Performansı
Bir lisan modelinin başarısı, kullanıcının ne istediğini tam olarak anlamasından geçiyor. Türkçe Atlas, karmaşık komut dizilimlerini barındıran yapısıyla modellerin yönergeleri eksiksiz yerine getirmesini sağlıyor. Bununla birlikte, geniş bir bilgi havuzundan beslenen soru-cevap örnekleri, modellerin bilgi tutarlılığını ve Türkçe lisan bilgisi kurallarına uygun, doğal karşılıklar üretme yeteneğini artırıyor.
Özetleme ve Yapılandırılmış Çıktı Üretimi
Özellikle kurumsal iş süreçlerinde uzun metinlerin tahlili ve raporlanması büyük ehemmiyet taşıyor. Veri kümesinde yer alan özetleme misyonları, modellerin metinlerdeki ana fikri kaçırmadan rafine bilgi üretmesine yardımcı oluyor. Yapılandırılmış çıktı üretme yeteneği ise modellerin yalnızca düz metin değil; tablo, kod blokları yahut muhakkak formatlarda data sunabilmesini sağlıyor. Bu durum, yapay zekanın şirketlerin mevcut yazılım altyapılarına entegrasyonunu önemli oranda kolaylaştırıyor.
Açık Kaynak Ekosistemi ve Dışa Bağımlılığı Azaltma Hedefi
Teknoloji dünyasında yapay zekâ teknolojilerinin global aktörlerin monopolünden çıkarılması, ülkelerin kendi data egemenliklerini duyuru etmesi açısından stratejik bir değere sahip bulunuyor. Türkçe Atlas üzere geniş kapsamlı ve nitelikli bilgi kümesi projeleri, Türkiye’deki mahallî yapay zekâ ekosisteminin global standartları yakalamasına taban hazırlıyor.
Trendyol Group’un açık kaynak ekosistemine verdiği güçlü dayanakla hayat bulan bu çalışma, kişisel geliştiricilerden büyük teknoloji şirketlerine kadar herkesin kullanımına açık durumda bulunuyor. Bu sayede, milyarlarca parametreli devasa modelleri sıfırdan eğitmek ya da yabancı lisandaki bilgileri Türkçeye çevirerek yapay zekâ eğitmeye çalışmak üzere verimsiz prosedürlerin önüne geçiliyor. Büsbütün yerli kaynaklarla damıtılan bu bilgi kümesi, gelecekte göreceğimiz yerli yapay zekâ asistanlarının, müşteri hizmetleri botlarının ve kurumsal bilgi tahlili araçlarının çok daha yetenekli olacağının işaretini veriyor.
Kaynak: Shiftdelete