Ek F — Türkçe NLP Veri Kümeleri ve Araçları
Bu katalog kitaptaki diğer her sayfadan hızlı değişiyor. Model adları değişiyor, depolar arşivleniyor ve lisanslar gözden geçiriliyor. Onu ne tür kaynakların var olduğunun bir haritası olarak ele alın ve bağlanmadan önce her birini kontrol edin.
F.1 Derlemler
Lisans kendi başına bir sütun, çünkü genellikle bir veri kümesinin — derste ya da bir üründe — kullanılamamasının nedeni o.
| veri kümesi | görev | boyut | lisans | bağlantı |
|---|---|---|---|---|
| XL-Sum Türkçe | özetleme | 27.176 eğitim / 3.397 test, artı kartın dağıttığı ve bu kitabın kullanmadığı bir doğrulama bölümü | CC BY-NC-SA 4.0 | csebuetnlp/xlsum |
| Türkçe ürün yorumları | duygu | ~235 bin yorum | kartı kontrol edin — lisans bölümü ile üstveri alanı birbirini tutmadı; CC BY varsaymayın | fthbrmnby/turkish_product_reviews |
| WikiANN (Türkçe) | varlık tanıma | 20 bin eğitim / 10 bin doğrulama / 10 bin test | kartı kontrol edin — yaygın olarak ODC-BY diye anılıyor ve kartın kendisi bir lisans belirtmiyor | unimelb-nlp/wikiann |
| SQuAD-TR | soru cevaplama | çevrilmiş SQuAD | CC BY-NC-SA 4.0 | boun-tabi/squad_tr |
| UD Turkish BOUN | bağımlılık ayrıştırma | ~9,7 bin cümle | CC BY-SA 4.0 | UD_Turkish-BOUN |
| WMT newstest tr-en | makine çevirisi | boyut yıla göre değişir; Bölüm 15 newstest2016’yı kullandı | kullandığınız yılın WMT sürüm koşullarına bakın | sacrebleu üzerinden (Bölüm 15) |
Her biri bu kitabın soyut olarak değil, bu veri kümelerinden biri üzerinde gösterdiği üç uyarı.
Bir puanı aktarmadan önce bulaşmayı kontrol edin. Bölüm 13, WikiANN Türkçe’nin test kümesinin %13,06’sının kendi eğitim bölümünde birebir durduğunu buldu — yüzlerce makalede kullanılan bir kaynakta. Test girdilerini eğitim girdilerine karşı hashlemek (her girdinin sabit uzunlukta özet değerini hesaplayıp karşılaştırmak) dört satır sürüyor.
Benchmark’ın (kıyaslama) Türkçe yazılıp yazılmadığını mı yoksa Türkçeye çevrilip çevrilmediğini mi kontrol edin. SQuAD-TR çeviri ve söylediğiniz sürece bunun sakıncası yok: çeviri dilindeki (translationese) yetkinliği ölçüyor, ki onun kelime sırası, cümle uzunluğu ve söz varlığı bir Türkçe konuşurunun yazdığı metinden farklı.
Ticari olmayan kullanım maddelerini okuyun — hem de kaynağından. Bir lisanstaki NC, veri kümesinin ticari bir üründe kullanılamayacağı anlamına geliyor, ki bu şaşırtıcı sayıda projede şaşırtıcı derecede geç keşfediliyor. Yukarıdaki lisans sütunu bir başlangıç noktası, bir otorite değil: Hub’daki bir veri kümesi lisansını hem kart metninde hem ayrı bir üstveri alanında taşıyor, ikisi istediğinizden sık ayrışıyor ve hiçbiri kaynaktaki LICENSE dosyası değil. Buradaki iki satır tam da bu yüzden kartı kontrol edin diye işaretli. Bir veri kümesi ticari bir şeye girmeden önce özgün yayımına kadar izleyin ve ne bulduğunuzu, ne zaman baktığınızla birlikte kaydedin.
F.2 Tokenlaştırıcılar ve biçimbilimsel çözümleyiciler
Bölüm 16.3, bir gövdeleyicinin erişim faydasının çoğunu taşıdığını ve bir çözümleyicinin gerekçelendirebilmeniz gereken bir gereksinim olduğunu savunuyor. Bu, ikisi için de kısa liste.
| araç | ne yapıyor | durum |
|---|---|---|
snowballstemmer |
kural tabanlı Türkçe gövdeleyici, ~100 satır | bakımlı; Bölüm 16.4’te recall@1’i %28,0’dan %95,3’e çıkardı |
zemberek-nlp |
referans Türkçe alet çantası — biçimbilim, yazım, tokenlaştırma | Java ve artık etkin biçimde geliştirilmiyor; yine de bu ekin saydığı seçenekler arasında kapsamı en geniş olanı |
zeyrek |
saf Python biçimbilimsel çözümleyici, kısmi bir Zemberek aktarımı | bakımı sınırlı; Python’da gerçek çözümlemeler almanın en kolay yolu |
turkish-morphology |
Google’ın sonlu durumlu çözümleyicisi | arşivlenmiş; projeye bağımlılık olarak eklemek için değil, başka bir çözümleyicinin sonuçlarını karşılaştırmak için yararlı |
trnlp |
çözümlemenin yanı sıra çekimli biçimlerin üretimi | bakımlı; yalnızca ayrıştırmak değil, biçim üretmek gerektiğinde başvurun |
Bilinen birkaç Türkçe çözümleyici bakımsız ve bunu proje ortasında değil şimdi bilmek daha iyi. Özellikle Zemberek, bu ekin listelediği seçenekler arasında hâlâ en geniş kapsama sahip ve düzeltme almıyor; bunu bir hata önemli olduğunda keşfetmek yerine buna göre plan yapın.
Özellikle tokenlaştırma için, çoğu projeye karar veren bulgu Bölüm 2 ve Bölüm 16’da: çok dilli bir tokenlaştırıcı Türkçeye belirgin biçimde daha fazla token harcıyor ve elinize verilen bir checkpoint (eğitimin belirli bir aşamasında kaydedilmiş model ağırlıkları) için o oran onunla birlikte geliyor. Değiştirmek mümkün — sözlüğü genişletin, yeni embedding’leri başlatın, eğitime devam edin — ve hesap maliyeti ne kadarını değiştirdiğinize ve istediğiniz kaliteye bağlı; sıradan bir fine-tuning (ince ayar) değil ve Bölüm 8’in bunu bir satın alma kararı saymasının nedeni de bu. Bir model seçmeden önce kendi metninizde fertility’yi (kelime başına token sayısı) ölçün.
F.3 Ön eğitimli modeller
| model | tür | not |
|---|---|---|
| BERTurk | encoder (kodlayıcı), 110M | varsayılan Türkçe encoder; Bölüm 13 ve Bölüm 12 ona fine-tuning uyguluyor. cased varyantını kullanın — büyük-küçük harf ayrımını kaldırmanın İ’ye ne yaptığı için bkz. Bölüm 16.2 |
| mBERT | encoder, 177M | Bölüm 16.7’deki çok dilli karşılaştırma; Türkçeyi %19 daha kötü tokenlaştırmasına rağmen Vikipedi türevi bir görevde kazandı |
| TURNA | encoder-decoder (kodlayıcı-kod çözücü), 1,1B | Boğaziçi’nden, UL2 üzerine kurulmuş Türkçeye özgü üretken model. Yalnızca ticari olmayan akademik araştırma için yayımlandı — bu sayfadaki, ölçebileceğiniz ama ürününüzde kullanamayacağınız bir modelin en net örneği |
| Kanarya | decoder, 2B | Türkçe üretken model; yerelde koşacak kadar küçük |
ytu-ce-cosmos |
birkaç tane | Yıldız Teknik Üniversitesi’nin Türkçe model ailesi; GPT-2 ve Llama türevleri dâhil |
Trendyol |
birkaç tane | sektör tarafından yayımlanmış Türkçe LLM’ler; uluslararası sürümlerden daha çok değişen lisans koşullarını kontrol edin |
Her biri hakkında sorulacak soru ve bu tablonun neden hiçbir sıralama vermediği: ne üzerinde eğitildi ve onu kullanabilir misiniz? Bölgesel olarak yayımlanmış modellerdeki lisans koşulları büyük uluslararası olanlardakinden çok daha fazla değişiyor ve ticari olarak dağıtamayacağınız bir model — benchmark sayıları ne kadar iyi olursa olsun — bir aday değildir.
Bu tablo bilerek bir lisans sütunu taşımıyor ve bu bir karar değil bir sınır: listelenen aileler için — ytu-ce-cosmos, Trendyol — lisans modelden modele değişiyor ve Llama türevleri yayımcılarının değil Llama’nın koşullarını taşıyor. Bir sütun en az bir satırda yanlış olmak zorunda kalırdı. Üzerine bir şey kurmadan önce model kartını okuyun ve okuduğunuz tarihi not edin. Yukarıdaki TURNA insanları yakalayan durum: iyi bir model, serbestçe indirilebilir ve planladığınız ürün için lisanslı değil.
F.4 Benchmark’lar
| kaynak | ne olduğu |
|---|---|
| Mukayese | görevler genelinde Türkçe baseline’lar (karşılaştırma modelleri); alan birbiriyle karşılaştırılamayan Türkçe sayılar raporlamayı sürdürdüğü için bir araya getirildi (Safaya vd. 2022) |
| TDD — Türkçe Doğal Dil İşleme | Türkçe derlemler, modeller ve araçlar tek yerde toplanmış; en iyi tekil başlangıç noktası |
turkish-bert |
BERTurk modelleri, derlemleri ve eğitimleri belgelenmiş hâlde — “Türkçe üzerinde eğitildi”nin gerçekte ne demek olduğu için okuyun |
Bu üçü bir katalog, bir baseline derlemesi ve bir model deposu — yararlılar ve hiçbiri bir Türkçe LLM için güncel bir benchmark değil. Öyle olan süitler 2024’ten sonra geldi ve Mukayese’nin özgün şikâyetine doğrudan cevap veriyorlar:
| benchmark | ne ölçüyor | yerli mi çeviri mi |
|---|---|---|
| TurkishMMLU (2024) | çok görevli bilgi, dokuz derste ~10 bin lise sorusu | yerli — çeviri değil, Türkiye’nin ulusal müfredatından yazılmış |
| TR-MMLU (2024) | çok görevli bilgi, hukuk ve sağlık dâhil 62 kategoride 6.200 soru | yerli, standart sınavlardan derlenmiş |
Cetvel (EACL 2026, KUIS-AI/cetvel) |
yedi kategoride 23 görev, çoktan seçmelinin yanı sıra üretken — dilbilgisi hatası düzeltme, makine çevirisi, Türk tarihine ve deyimlerine dayalı sorular | yerli ve uyarlanmış |
| TurkBench (2026) | genel Türkçe LLM değerlendirmesi | yerli |
Modelleri karşılaştırıyorsanız başlanacak olan Cetvel ve nedeni bu kitabın sürekli döndüğü ayrım: TurkishMMLU ile TR-MMLU çoktan seçmeli, yani modelleri bilgi üzerinden sıralıyorlar; yayındaki bir Türkçe sistem ise genellikle metin üretirken (generation) bozuluyor. Yalnızca dört şıklı soru soran bir benchmark, yaşayacağınız kusuru göremez.
Bunlardan herhangi birinden herhangi bir puanı aktarmadan önce puanlayıcıyı doğrulayın — ve doğru denetimi kullanın, çünkü bariz olanı göründüğünden zayıf. Betiğe kusursuz bir öngörü verip 1,0 döndürdüğünü doğrulamak, karşılaştırmanın iki tarafını farklı tokenlaştıran bir puanlayıcıyı yakalar; bu gerçek ve yaygın bir hata (Bölüm 14 tek bir sadakat vekilinde iki kez çarptı). Yakalayamadığı şey, iki tarafı da aynı biçimde bozan bir puanlayıcıdır: her Türkçe kelimeyi iki tarafta da parçalara bölün, özdeşlik denetimi yine kusursuz puan döndürür.
O kusur için, ikisi de birkaç satır olan iki denetim daha gerekiyor. Puanlayıcının kendi token çıktısını bir Türkçe cümle için basıp bakın — görüştü, ['g','r','t'] diye dönmemeli. Ve yalnızca söz konusu karakterlerde ayrışan minimal çiftleri (minimal pairs) puanlayın — açık/acik, şirket/sirket, İstanbul/Istanbul — ve metriğinizin ayırt etmesi gereken her çiftte puanın düştüğünü doğrulayın. Metrik diakritik işaretleri bilerek yok sayıyorsa bunu yazın: eşleşme sayılan bir çift, tokenlaştırıcının sizin yerinize verdiği değil, sizin verdiğiniz bir karar olmalı. Bölüm 14 standart ROUGE uygulamasının Türkçe kelimelerin %44,4’ünü parçalara böldüğünü buldu ve bunu yüzeye çıkaran şey, çıktısını Türkçe-doğru bir tokenlaştırıcıyla karşılaştırmaktı; bir özdeşlik denetimi değil.
F.5 Katkı
Bu sayfa dönemde bir kez, ders başlamadan önce gözden geçiriliyor ve bu yeterince sık değil — buradaki bir bağlantı şimdiden bayatlamış olabilir.
Ölü bir bağlantı, değişmiş bir lisans, arşivlenmiş bir depo ya da listelenmesi gereken bir kaynak bulursanız başlığında [resources] geçen bir GitHub issue’su açın. Ne bulduğunuzu ve ne zaman kontrol ettiğinizi ekleyin; tarihli bir gözlem, tarihsiz bir düzeltmeden daha değerlidir, ki bu da Bölüm 38’in düzenleyici mevzuat hakkında yaptığı argümanın aynısı.