Metin Temsillerini Karşılaştırmak: Sayımlar ve Embedding’ler

4. Bölüm · Uygulamalı Doğal Dil İşleme

Dr. Batuhan Bardak

Bu dersin sonunda

• gerçek ve dengesiz bir veri kümesi için, önceki iki bölümün yöntemleriyle ham metinden değerlendirilmiş tahmine uzanan bir pipeline (işlem hattı) kurabilirsiniz
• bu dengesiz görevde doğruluğun (accuracy) neden tek başına yeterli olmadığını açıklayabilir, macro-F1’i sınıf başına aritmetiğiyle hesaplayabilirsiniz
• bir görevde sayım ve embedding temsilleri için başlangıç beklentisi oluşturabilir ve beklentinizi deneyle sınayabilirsiniz
• Türkçe metinlerde out-of-vocabulary (OOV, sözlük dışı kelime) oranını ölçebilir; kapsamayı, vektörlerin niteliğini ve görev başarısını ayrı ayrı değerlendirebilirsiniz
• unigram torbası ile kelime vektörü ortalamasının kaybettiği sıra bilgisini örnekle gösterebilirsiniz

Bölümün beş öğrenme hedefi, kısaltılmış hâliyle. Üçüncü hedefin tamamı: etiketli ve etiketsiz veri miktarını, görevin yapısını, ön işlemeyi ve ayar bütçesini birlikte değerlendirmek. İkinci hedef ayrıca farklı iş hedeflerinde başka metriklerin seçilebileceğini tartışmayı da içeriyor.

Neye bakacağız: tek bir Türkçe yorum veri kümesinde sayım ve embedding temsillerini ortak bir değerlendirme düzeninde karşılaştıracağız. Önce sınıf dengesizliğine uygun metriği ve ön işlemeyi belirleyecek, ardından yöntemlerin skorunu, kapsamasını, maliyetini ve hata örneklerini inceleyeceğiz. Son olarak etiketli veri miktarı değiştiğinde sonucun nasıl değiştiğini ve iki temsil ailesinin hangi sıra bilgisine duyarsız kaldığını göstereceğiz.

Sayılar ve kod çıktıları tek bir makinede, Python 3.12.13 üzerinde scikit-learn 1.9.0, gensim 4.4.0, NumPy 2.5.2 ve pandas 3.0.5 ile yapılan gerçek koşulardan alındı. Veri herkese açık. Kod parçaları kısaltılmıştır; tabloların tamamını yeniden üretmek için veri bölme, eğitim ve raporlama adımlarının hepsi gerekir. Laboratuvar bölümün notebook’u üzerinden yürüyor. Bildirilen süreler o makinedeki koşulara aittir.

Ders ikiye bölünecekse doğal kırılma noktası “Boyut sayısını bellek diye okumayın” slaytından sonrası: iki raunt orada tamamlanmış oluyor.

İki bölüm, iki iddia

• 2. bölüm: seyrek (sparse) sayım vektörleri güçlü, ucuz ve yorumlanabilir bir baseline (karşılaştırma modeli) olabilir
• 3. bölüm: her kelime biçimine bağımsız bir öznitelik ayırmak, agglutinative (sondan eklemeli) bir dil olan Türkçenin çekimli biçimlerinde kapsama sorunu yaratabilir
• Oradaki ölçüm: bir Türkçe Wikipedia örnekleminin %90’ı üzerinde sözlük kurulup kalan %10’u sınandığında test token’larının %7,33’ü eğitimde hiç görülmemiş çıkıyor — farklı kelime biçimlerinin ise %28,99’u
• İki iddia mantıken çelişmiyor; belirli bir veri kümesinde hangisinin ağır bastığını ancak ölçerek öğrenirsiniz

Mühendislik anlamında bir bake-off: birkaç aday yöntem, tek görev, tek protokol ve hepsi için aynı metrik.

Önceki iki bölümden ilki kelimeleri saymayı, ikincisi onları koordinat olarak yerleştirmeyi öğretti. İkisi de bir iddiayla bitti. Seyrek bir sınıflandırıcı güçlü olabilir ve aynı anda kelime düzeyindeki bir sözlük, bir kelimenin çekimli biçimleri arasında kötü genelleme yapabilir.

Baseline (karşılaştırma modeli): yeni bir yöntemin yararını değerlendirmek için aynı veri ve aynı metrik üzerinde kullanılan başvuru sonucu. Basit bir çoğunluk sınıfı kuralı da güçlü bir TF-IDF sistemi de baseline olabilir. Bir skoru yorumlamak için baseline’ın yanında sınıf dağılımı ve görevdeki hata maliyetleri de gerekir.

Agglutinative (eklemeli; Türkçe özelinde sondan eklemeli): biçimbirimlerin (morpheme) çoğunlukla ayırt edilebilir ekler olarak kelimeye bağlandığı dil yapısı. Türkçede çekim ve türetim ekleri bir kökün ya da gövdenin birçok yüzey biçimini oluşturabilir; bu biçimlerin sayısı kullanıma ve derleme bağlıdır.

%7,33 ve %28,99 o örnekleme ve o sözlük tanımına aittir; bütün Türkçe derlemler için sabit değildir.

Önceki bölümün kendi karşılaştırması 20 Newsgroups üzerinde yapılmıştı: İngilizce, dengeli, dört sınıf, 2.327 eğitim belgesi. Buradaki Türkçe ürün yorumları veri, görev ve eğitim protokolü bakımından birlikte farklı. Sonuçlar ayrışırsa hangi etkenin ne kadar pay taşıdığını, bu etkenleri tek tek değiştiren karşılaştırmalar olmadan söyleyemeyiz.

Ne sabit tutuldu, ne tutulmadı

Bütün satırlarda aynı

• eğitim/test bölmesi
• LogisticRegression sınıfı
• sınıf ağırlıklandırması
• rastgele tohum

Satırdan satıra değişen

• vektörleştiricinin sözlük eşiği
• tokenleştirme yolu
• özniteliklerin ölçeği
• yoğun (dense) temsillerin etiketsiz metin üzerindeki ayrı eğitimi

• Bütün satırlar C = 1.0 kullanıyor: TF-IDF satırları 1,0 normuyla geliyor, ortalaması alınmış vektörler normalleştirilmiyor — aynı C aynı düzenlileştirmeye karşılık gelmeyebilir

Sonuçlar yöntemlerin bu somut kurulumlarını karşılaştırır; aradaki farkı tek başına “temsil ailesinin etkisi” diye yorumlamayacağız.

Yedi satırın hepsinde lojistik regresyon kullanılıyor; ama vektörleştiricilerin ön işlemesi, sözlük eşiği, öznitelik ölçeği ve ek eğitim maliyeti aynı değil. Bu yüzden skor farklarını temsille birlikte, ona eşlik eden bu tasarım kararları da belirliyor olabilir.

Bir hiperparametreyi sabit tutmak, her temsile adil davranmakla aynı şey değil. C, lojistik regresyonun düzenlileştirme (regularization) ayarıdır; scikit-learn’de ceza gücünün tersi olarak tanımlanır, yani C küçüldükçe katsayılar daha sert küçültülür. Belirli bir C’nin ne kadar sert küçülttüğü özniteliklerin ölçeğine bağlıdır. TfidfVectorizer satırlarını varsayılan olarak L2-normalleştirir; ortalaması alınmış word2vec ve fastText vektörleri ise normalleştirilmiyor ve normları değişiyor.

Ana karşılaştırmada C hiçbir satır için aranmadı; ileride bir ablasyon — bileşenleri tek tek değiştirip etkisini ölçen bir deney — onu yalnızca iki seyrek satır için ayarlıyor. Daha adil bir tasarım, her temsilin C değerine ve normalleştirme seçeneğine karşılaştırılabilir bir doğrulama bütçesi ayırır; sözlüğün, IDF’in ve embedding’lerin hangi veride eğitildiğini açıkça belirtir ve test etiketlerini seçimde kullanmaz. Buradaki sürüm bunu yapmıyor; bu gerçek bir sınırlama ve önemli olduğu yerde tekrar işaretleniyor.

Bölümdeki şekil, sözle: 40.000 eğitim belgesi, 30.195 sütunlu ve 9,7 MB’lık seyrek kelime TF-IDF matrisine ya da 100 sütunlu ve 16,0 MB’lık yoğun belge matrisine dönüştürülüyor. İkisine de lojistik regresyon uygulanıyor. Bu boyutlar model dosyasının değil, eğitim matrisinin boyutlarıdır; boyut ve bellek slaytında bu sayılara döneceğiz.

Problem: Türkçe ürün yorumları

İkili duygu sınıflandırması: olumlu ya da olumsuz etiketli 235.165 Türkçe ürün yorumu.

• Metinler kısa ve gündelik: yazım hataları, eksik Türkçe karakterler, birbirine yapışmış kelimeler; dağıtılan metnin tamamı küçük harfe çevrilmiş durumda

Bu veri kümesini üç nedenle seçtik:

1. Türkçe: biçimbilim (morphology) argümanı gerçek kullanıcı metninde sınanabiliyor
2. Sınıfları dengesiz — olumlu sınıf 14,8 kat daha büyük — yani uygun metriği tartışmak zorundayız
3. Altörnekleme yapacak kadar büyük: bu veride geçerli bir öğrenme eğrisi

Barmanbay 2020 — Türkçe ürün yorumları

Karşılaştırmayı, sınıfları dengesiz ve yazımı değişken Türkçe ürün yorumlarında ikili duygu sınıflandırması görevi olarak kuruyoruz. Veri kümesi tek bir parquet dosyası olarak dağıtılıyor.

Veri kümesi kartı yorumların çevrim içi toplandığını söylüyor; hangi siteden ve ne zaman toplandığını, etiketlerin nasıl üretildiğini — yıldız eşiği mi, elle etiketleme mi, başka bir şey mi — belgelemiyor. Bu son boşluk önemli, çünkü veri etiketleme bölümü tümüyle bu derlemin etiket kalitesi üzerine kurulu ve etiketlerin nasıl üretildiğini bilmeden çalışmak zorunda.

Kaynak. Lisans bilgisi iki yerde farklı görünüyor: kartın lisans bölümü ve özgün GitHub deposundaki lisans dosyası CC BY-SA 4.0 diyor; Hugging Face sayfasının üstündeki lisans alanında ise “unknown” yazıyor (10 Ekim 2026’da kontrol edildi). CC BY-SA “aynı lisansla paylaş” (ShareAlike) koşulu taşır, yani bu kitabın kendi CC BY 4.0’ından daha kısıtlayıcıdır; veriyi ya da ondan türettiğiniz bir şeyi yeniden dağıtmadan önce özgün depodaki lisansı ve kartı birlikte kontrol edin.

İlk neden: sınanan, önceki bölümün biçimbilim argümanı. Üçüncü nedenin tamamı: veri kümesi yeterince büyük olduğu için, etiketli eğitim miktarı değiştikçe yöntemlerin nasıl davrandığını karşılaştırabiliyoruz. Bu karşılaştırma, bu veride ve bu ayarlarda geçerli bir öğrenme eğrisidir.

Bölmeden önce veriyi denetleyin

### checks before de-duplication
missing text or label         0
empty texts                  21
texts with both labels       77

### the raw data
rows as downloaded      235,165
after de-duplication    233,508      (1,657 exact duplicates removed)
label 1 (positive)      218,747      93.7%
label 0 (negative)       14,761       6.3%

• 77 metin iki etiketi birden taşıyor (toplam 297 satır); drop_duplicates ilk satırı tutuyor ve bu dosyada olumlu yorumlar önce geliyor: 77 metnin tamamı olumlu etiketiyle kaldı
• Metne göre tekilleştirmeyi bölmeden önce yapın ve seçtiğiniz politikayı raporlayın: 1.657 tekrar dosyanın yalnızca %0,7’si; bu adım gerekli ama tek başına yeterli değil

İlk üç satır tekilleştirmeden önceki kontroller. Eksik değer yok. 21 satırın metni boş; tekilleştirme bunları tek satıra indiriyor. 77 metin iki etiketi birden taşıyor: aynı kısa yorum bir yerde olumlu, bir yerde olumsuz etiketlenmiş. Bu dosyada olumlu yorumların hepsi olumsuzlardan önce geldiği için 77 metnin tamamı olumlu etiketiyle kaldı. Bölüm o tercihi olduğu gibi bıraktı; 77 metnin 17’si 50.000’lik altörnekleme giriyor. Kendi verinizde çelişkili etiketler için politikayı — ilkini tut, hepsini at ya da elle karar ver — açıkça seçin ve raporlayın.

Sınıf sayıları kaynakla karşılaştırılabiliyor. Veri kümesi kartı 220.284 olumlu ve 14.881 olumsuz yorum bildiriyor. Metne göre tekilleştirme sonrası sayılar 218.747 ve 14.761; farklar 1.537 ve 120, toplamı da 1.657 — atılan tekrar sayısıyla aynı. Bu eşleşme sayımların tutarlı olduğunu gösterir; tekilleştirmenin hangi kayıtları bıraktığını göstermez.

Neden bölmeden önce: birebir aynı metnin hem eğitimde hem testte bulunması, özellikle kısa yorumlarda, ezberlenmiş bir cevabın genelleme diye puanlanmasına yol açabilir. Tek başına yeterli değil: şablondan üretilmiş ya da birbirine çok benzeyen metinler elemeden geçebilir, aynı metnin farklı etiketler taşıdığı durumlar da ayrıca karar ister.

Bölme ve onunla ilgili iki uyarı

### the split (stratified, seed 42)
train   40,000    37,471 positive    2,529 negative   rows 8205c2be5ebf
test    10,000     9,368 positive      632 negative   rows 634cdb3bb002

• Tekilleştirilmiş 233.508 yorumdan tabakalı (stratified) 50.000 yorumluk bir altörneklem, sonra yine tabakalı 80/20 bölme
• rows, seçilen satırların sıra numaralarından hesaplanan bir özettir: aynı 12 karakter aynı satırlar demektir; sınıf toplamları bunu göstermez
• Bölmenin yeniden üretimi: “42 tohumuyla tabakalı” ifadesi bir prosedürü adlandırmaz; bir prosedür ailesini adlandırır
• Test kümesi ve seçim: aşağıdaki her sayı aynı 10.000 test yorumundan okunuyor — bu sonuçları keşif amaçlı okuyun

İki çağrı: train_test_split(df, train_size=50_000, stratify=df["label"], random_state=42), ardından train_test_split(sub, test_size=0.2, stratify=sub["label"], random_state=42). Özet, ham dosyadaki sıralanmış satır numaraları üzerinden alınan SHA-256’nın ilk 12 karakteri. Aynı sınıf toplamlarını veren başka pek çok bölme vardır.

Bölmenin yeniden üretimi. Bölümün ilk sürümü bölmeyi yalnızca “42 tohumuyla tabakalı” diye kaydetmişti. Ailenin üyeleri birbirini tutmaz: örneklemenin hangi çağrıyla, hangi sırayla ve kaç aşamada yapıldığı belli değildir. İki çağrı sonradan geri kazanıldı; hikâyesi 12. bölümde (sınıflandırma). 50.000, 40.000 ve 10.000 sayıları ile bigram vektörleştiriciden çıkan 101.659 öznitelik güçlü tanılama işaretleridir — makul bir alternatif kurgu 100.350 öznitelik veriyor — ama aynı satırları seçtiğinizin kanıtı değildir. Kanıt, satır özetinin ya da tam örnekleme kodunun tutmasıdır. Kümeleme bölümü aynı kaynaktan aynı tohumla örneklem çektiği hâlde farklı 50.000 satır elde etti.

Test kümesi ve seçim. Yedi temsil, dokuz eğitim boyutu, bir melez model, üç tanılama; hepsi aynı 10.000 yorumda. Bir yöntemi ya da kesişim noktasını bu satırlardan seçip yine aynı satırlarda tarafsız bir nihai skor bildiremezsiniz. Gerçek işte train’i bir kez daha bölün, seçimi o doğrulama diliminde yapın ve test kümesini yalnızca son değerlendirmede kullanın.

50.000 yorumluk altörneklem bir kolaylık, zorunluluk değil: deney süresini kısaltıyor. Aynı 10.000 test yorumunu tutup modelleri geri kalan 223.508 yorumun tamamında eğittiğimizde sıralama değişmiyor ve bütün satırlar kazanıyor (macro-F1, tek koşu): bag-of-words (kelime torbası) 73,51 → 74,50; TF-IDF 71,95 → 73,00; bigram TF-IDF 76,21 → 76,69; karakter TF-IDF 70,39 → 71,12; word2vec ortalaması 61,39 → 62,89; fastText ortalaması 61,36 → 62,84; doc2vec 55,13 → 61,99.

En basit kural: her yoruma “olumlu” deyin

Her yoruma “olumlu” deyin. Metne hiç bakmayın.

### majority baseline, in full
                 predicted neg   predicted pos   total
   actual neg          0             632          632
   actual pos          0           9,368        9,368

precision (neg)   undefined — it never predicts negative
recall    (neg)   0.0%       — it finds none of the 632
F1        (neg)   0.00       — 2TP / (2TP + FP + FN) = 0 / 632
F1        (pos)   96.74
macro-F1          48.37

Bu kural yorum metnini hiç kullanmadan %93,68 doğruluk elde eder, çünkü test kümesinin %93,68’i olumludur — ve 632 olumsuz yorumun hiçbirini bulamaz.

Yöntemleri karşılaştırmadan önce, dengesiz bir test kümesinde doğruluğun hangi hataları görünmez kılabildiğini, hep çoğunluk sınıfını seçen en basit kuralla gösteriyoruz.

%93,68, kuralın olumsuz yorumları bulup bulamadığını göstermez. Onu karışıklık matrisi (confusion matrix) gösterir: 632 olumsuz yorumun hepsi olumlu diye tahmin edilmiş.

Olumsuz sınıfta precision tanımsız, çünkü kural hiç olumsuz tahmin etmiyor. F1 ise sayımlarla yazılan biçimden yine hesaplanır: 2TP / (2TP + FP + FN) = 0 / 632.

Çoğunluk kuralı olumsuz sınıfta F1 = 0 aldığı için macro-F1’i 48,37’de kalır. %93,68’lik doğruluğun gizlediği eksiklik böylece görünür olur. Gerçek bir sistemde kullanılacak karar metriğini ise hata maliyetlerine göre ayrıca seçmek gerekir.

Macro-F1, sınıf başına aritmetiğiyle

\[\text{precision} = \frac{TP}{TP + FP}, \qquad \text{recall} = \frac{TP}{TP + FN}, \qquad F_1 = \frac{2\,TP}{2\,TP + FP + FN}\]

\[\text{macro-}F_1 = \frac{1}{K}\sum_{k=1}^{K} F_1^{(k)}\]

• \(F_1\), precision (kesinlik) ile recall’un (duyarlılık) harmonik ortalamasıdır: ikisinden biri sıfıra indiğinde \(F_1\) de sıfır olur
• Çoğunluk kuralı, olumsuz sınıf: \(TP = 0\), \(FP = 0\), \(FN = 632\), yani \(F_1^{(\text{neg})} = 0/632 = 0\); \(F_1^{(\text{pos})} = 0{,}9674\) ile macro-F1 \(= (0 + 0{,}9674)/2 = 0{,}4837\)

Macro-F1, sınıf başına F1 skorlarının eşit ağırlıklı ortalamasıdır. Doğruluk örneklere, macro-F1 sınıflara eşit ağırlık verir.

Tek bir sınıf için TP doğru pozitif, FP yanlış pozitif, FN yanlış negatif sayısı. Alışılmış biçim F1 = 2 · precision · recall / (precision + recall); slayttaki sayımlarla yazılan biçim aynı niceliktir.

Harmonik ortalama: precision 1,00 ve recall 0,00 ise aritmetik ortalama 0,50, F1 ise 0,00’dır. Bu özellik, bir sınıftaki kaçırmaların tek bir yüksek precision değeriyle gizlenmesini önler.

Sıfır paydaya dikkat edin. Sınıf hiç tahmin edilmediyse (TP + FP = 0) precision tanımsızdır; F1 ise sayımlarla yazılan biçimden yine hesaplanır. F1 ancak TP = FP = FN = 0 olduğunda, yani sınıfın ne gerçek ne tahmin edilmiş örneği varken tanımsız kalır; scikit-learn o durumda ne döndüreceğini zero_division argümanından okur.

Olumlu sınıf: F1 = 2 · 0,9368 · 1,0 / (0,9368 + 1,0) = 0,9674.

Olumsuz yorumların yalnızca %6,32 olduğu bir test kümesinde herkese “olumlu” demek %93,68 doğruluk verir, ama hiçbir şikâyeti yakalamaz. Ürün yorumlarını önceliklendiren (triage) bir sistemde kaçırılan şikâyetin ve yanlış alarmın maliyetini ayrıca belirlemek gerekir. Macro-F1 burada iki sınıfa eşit ağırlık veren bir karşılaştırma metriğidir; olası tek ürün metriği değildir.

Kütüphaneniz hangi F1’i bildiriyor?

average=	ne hesaplar	çoğunluk kuralının skoru
"binary" (iki sınıf için varsayılan)	yalnızca 1 numaralı sınıfın F1’i — burada çoğunluk sınıfı olan olumlu sınıf	96,74
"micro"	bölmeden önce bütün sayımları havuzda toplar; burada doğruluğa eşittir	93,68
"weighted"	her sınıfın F1’ini o sınıfın örnek sayısıyla ağırlıklandırır	90,62
"macro"	sınıflara eşit ağırlık verir	48,37

• Macro-F1’i manşet metrik olarak seçmek ile eğitim kaybını sınıf frekansına göre ağırlıklandırmak (class_weight="balanced") iki ayrı tasarım kararıdır

Bu bölümde yöntemleri karşılaştırırken başlıca özet skor macro-F1; doğruluk da bağlam sağlaması için raporlanıyor. Macro-F1 evrensel bir çözüm değil: olumsuz sınıfın recall’u, belirli bir yanlış alarm bütçesindeki precision ya da beklenen iş maliyeti daha doğrudan karar metrikleri olabilir.

Tek başına “F1” belirsizdir; scikit-learn’de bunu average argümanı belirler. Micro, bütün sınıfların dâhil edildiği tek etiketli sınıflandırmada doğruluğa eşittir. Argümanı her zaman açıkça yazın.

Aşağıdaki her modelde class_weight="balanced" kullanılıyor. Bu ayar sınıf ağırlıklarını eğitim kümesindeki sınıf sayılarının tersiyle belirler. Buradaki 37.471 olumlu ve 2.529 olumsuz eğitim örneğinde bir olumsuz örneğin kayıptaki sınıf katsayısı, bir olumlu örneğinkinin yaklaşık 14,8 katıdır. Bu, tek tek örneklerin gradyan büyüklüklerinin de aynı oranı taşıdığı anlamına gelmez; gradyan özniteliklere ve tahmin edilen olasılığa da bağlıdır. Ağırlıksız kurulumun etkisini bölüm ölçmedi; bunu alıştırmalardan ikincisi istiyor.

İki kararı birbirine karıştırmayın. Biri değerlendirmenin neyi önemsediğini, öteki eğitimin neyi önemsediğini belirler; birini seçmek ötekini otomatik olarak getirmez. Dengeli sınıf ağırlıkları güçlü bir varsayılan tercihtir, ama ağırlıksız, ağırlıklı ve eşik ayarlanmış varyantları doğrulama kümesinde karşılaştırın.

Öğrencilerden, sonraki tablolarda doğruluk ile macro-F1 sütunlarının nasıl ayrıştığına dikkat etmelerini isteyin.

Türkçede küçük harf: varsayılan eşleme Türkçe değil

TR_LOWER = str.maketrans({"I": "ı", "İ": "i"})
def tr_lower(s):
    return s.translate(TR_LOWER).lower()

### the same string, two lowercasing rules
             str.lower()      tr_lower()
"IYI"        iyi              ıyı
"İYİ"        i̇yi̇             iyi

• Python’ın str.lower() metodu Unicode’un varsayılan eşlemesini uygular ve yerel ayara göre değişmez: I için i, İ için ise i ile bir birleştirici nokta (U+0307) üretir
• İkisi de hata vermeden çalışır ve tokenleştirmeyi, sözlük eşleşmesini bozabilir

Büyük-küçük harf dönüşümü dile bağlıdır; dile özgü küçük harf politikası da ön işleme ve tokenizer sözleşmesinin bir parçasıdır.

Sayım ve embedding modellerinden önce, ikisinin de kullanacağı ön işleme kararlarını tanımlıyoruz.

Türkçede noktalı i/İ ile noktasız ı/I ayrı harflerdir ve farklı kelimeleri ayırır. Doğru yazılmış Türkçe metinde küçük harfe çevirirken I → ı ve İ → i eşlemesi gerekir; bu, Unicode standardının tanımladığı ama varsayılanın uygulamadığı dile özgü uyarlamalardan biridir. Varsayılan eşleme dilden bağımsızdır.

Varsayılan işlem IYI’yı iyi yapar, İYİ’de ise üstte birleştirici nokta bırakır.

Bu deneyin ana skorunda ise iki küçük harf yordamı arasında fark ölçülmedi, çünkü dağıtılan veri zaten küçük harfli; buna raunt tablosundan sonra geleceğiz. Önceden oluşmuş birleştirici nokta hasarı da ayrı bir onarım adımı ister.

Buradaki işlem küçük harfe çevirmedir; Unicode’un casefolding’i ise büyük-küçük harften bağımsız eşleştirme için tasarlanmış akraba ama ayrı bir işlemdir ve onun da kendi Türkçe uyarlaması vardır.

Başka diller: Yunancada kelime sonundaki sigma küçük harfe σ değil ς olarak çevrilir. Almancadaki ß ise başka bir işlemin konusudur: lower() onu değiştirmez; ß ile ss eşitlemesini casefolding yapar. İngilizce bir eğitim yazısındaki “küçük harfe çevir gitsin” adımı bu yüzden başka dillere olduğu gibi taşınamaz; ama bu örnekleri Türkçedeki I/İ sorununun birebir aynısı da saymayın.

Tokenizer ve attıkları

TOKEN_RE = re.compile(r"[a-zçğıöşü]+")
def tokenize(s):
    return TOKEN_RE.findall(tr_lower(s))

• Bu desen yalnızca listelenen harfleri tutuyor: noktalama, rakam ve emoji tümüyle düşüyor; â, î, û ve birleştirici işaretler token’ı bölüyor
• !!!, 5/5 ya da bir emoji pekâlâ duygu taşıyabilir; bu deney onları modellemiyor ve skora etkisi ölçülmedi
• tr_lower doğru yazımı varsayar: İngilizce klavyeyle yazılmış bir metinde IYI pekâlâ “İYİ” demek olabilir ve tr_lower onu ıyı yaparak yeni bir hata üretir

ASCII’leştirilmiş metin için gereken şey Türkçe karakter geri kazanımıdır (deasciification); ayrıntıları Türkçe NLP bölümünde.

Türkçe küçük harf dönüşümünden sonra kullandığımız basit token deseni, seçilen küçük harflerden oluşan kesintisiz dizileri çıkarır.

Örneğin hâlâ ya da kâr tek token olarak korunmuyor. Bu sadeleştirmelerin sınıflandırma skoruna etkisi ölçülmedi; kendi derleminizde alternatif desenleri karşılaştırın.

tr_lower’ın sınırı: ASCII klavyeyle yazılmış bir metinde yazarın hangi harfi kastettiğini bu eşleme tek başına belirleyemez.

Eğitim derlemi, sayılarla

### the training corpus, 40,000 reviews
tokens                        903,190
distinct word forms            74,317
hapax (seen exactly once)      43,579     58.6% of all forms
mean review length               22.6 tokens
median                             19
95th percentile                    56
longest                           296

• Sözlüğün %58,6’sı tam olarak bir kez geçiyor. Önceki bölümün Türkçe Wikipedia örnekleminde bu oran %50,0’dı; farkı yalnızca yazım hatalarına bağlayamayız
• 30.738 biçim en az iki kez görülmüş, ama min_df=2 sonrasında 30.195 sütun kalıyor: min_df derlem frekansını değil, belge frekansını sayar

İki derlemin konusu, belge uzunluğu ve ön işlemesi farklı olduğu için farkı yalnızca yazım hatalarına bağlayamayız; kullanıcı metnindeki yazım değişkenliği olası etkenlerden biridir.

74.317 farklı biçimin 43.579’u yalnızca bir kez geçiyor; kalan 30.738 biçim en az iki kez görülmüş. min_df=2 sonrasında vektörleştiricinin ise 30.195 sütunu var. Aradaki 543 biçim tek tek sayıldı: hepsi derlemde iki ya da daha fazla kez geçen ama bütün geçişleri tek bir belgenin içinde kalan biçimler.

Beş karakterlik tek bir ön ekin ardında 895 kelime biçimi

ön ek	farklı biçim	örnekler
kulla	895	kullanışlı, kullanıyorum, kullandım
bekle	285	beklediğimden, beklediğim, beklemiyordum
çalış	247	çalışıyor, çalışma, çalışan
çıkar	209	çıkarıyor, çıkar, çıkartıyor
düşün	195	düşünüyorum, düşünmeden, düşünenlere

• Bag-of-words (kelime torbası) modelinde sözlüğe giren her biçim ayrı bir sütundur: kullanışlı için öğrenilen katsayı kendiliğinden kullanıyorum sütununa aktarılmaz

Tek bir kökün 895 çekimi değil: çekimler, türetimler ve yazım varyantları birlikte. Beş karakterlik ön ek, kök ya da biçimbirim çözümlemesi değildir.

Eğitim derlemindeki kelime biçimlerini ilk beş karakterlerine göre gruplarsanız biçim çeşitliliği gözle görülür hâle geliyor.

Bag-of-words (kelime torbası): bir belgenin hangi kelimeleri içerdiğini sayar, geliş sıralarını unutur. min_df=2 ile yalnızca tek bir yorumda geçen biçimler hiç sütun olmuyor; doğrudan atılıyorlar. Aynı belgede geçen başka öznitelikler ve düzenlileştirme ise modelin genellemesini yine etkiler.

kulla grubunda kullanışlı (sıfat), kullanım (isim) ve kullanıcı (isim) yan yana duruyor; aynı ön ek yazım hatalarını da topluyor. Dolayısıyla bu tablo, gerçek bir kök ailesinin kaç sütuna dağıldığını ölçmez. O niceliği saptamak için biçimbilimsel (morphological) çözümleme ve yazım varyantlarının ayrıca incelenmesi gerekir; çözümleme klasik olarak sonlu durum dönüştürücüleriyle (finite-state transducers) yapılır (Oflazer 1994). Türkçe biçimbilimsel çözümleyiciler Türkçe NLP bölümünde.

895 biçimlik ön ek grubu, kelime düzeyinde öznitelik sayısının nasıl büyüyebildiğini gösteren bir işarettir. Bu çeşitliliğin kapsamayla ve sınıflandırma skoruyla ilişkisi aşağıda ayrı ayrı inceleniyor.

1. raunt — 2. bölümün yöntemleri

satır	vektörleştirici	sözlük eşiği ve token’lar	sütun
bag of words	CountVectorizer	min_df=2, kelime deseni	30.195
tf-idf	TfidfVectorizer, sublinear_tf=True	min_df=2, kelime deseni	30.195
tf-idf 1-2 gram	aynısı, ngram_range=(1, 2) ile	min_df=2, kelime deseni	101.659
tf-idf char_wb 3-5	analyzer="char_wb", ngram_range=(3, 5)	min_df=3; desen kullanılmaz	94.939

• Her vektörleştiriciye preprocessor=tr_lower, lowercase=False veriliyor: aksi hâlde scikit-learn Python’ın str.lower()’ını çağırır
• Bütün satırlar için tek sınıflandırıcı: LogisticRegression; max_iter=2000, class_weight="balanced", random_state=42

Değerlendirme metriğini seçtik ve Türkçe küçük harf dönüşümünü açıkça tanımladık. Veride daha önce oluşmuş birleştirici nokta hataları ise hâlâ duruyor; onlara tablodan sonra döneceğiz. Şimdi sayım temsillerinin dördünü aynı sınıflandırıcıyla karşılaştırıyoruz.

Kelime deseni [a-zçğıöşü]+. sublinear_tf=True, bir c sayımını 1 + log c ile değiştirir.

Karakter satırı ayrı bir öznitelik çıkarma yolu: token_pattern kullanılmaz, min_df de farklı. İki slayt sonra.

1. raunt — sonuçlar

### round 1: counting
                      accuracy   macro-F1   F1(neg)   dims      fit
majority baseline        93.68      48.37      0.00      —        —
bag of words             92.14      73.51     51.30   30,195    0.7 s
tf-idf                   90.07      71.95     49.41   30,195    0.5 s
tf-idf 1-2 gram          92.57      76.21     56.47  101,659    1.0 s
tf-idf char_wb 3-5       88.63      70.39     47.14   94,939    3.3 s

• Dört sayım yönteminin doğruluğu, çoğunluk kuralının %93,68’inin altında; buna karşılık macro-F1’de onun 22 ila 28 puan üstündeler
• Bu kurulumda bir yöntemi yalnızca doğruluğa göre seçerseniz çoğunluk kuralı güçlü bir aday görünür
• Bu bir yasa değil: başka eşikler ve eğitim ayarlarıyla hem doğruluğu hem olumsuz sınıf başarısını yükseltmek mümkündür; o seçenekler burada sınanmadı

Doğruluk ile macro-F1 çoğunluk kuralı konusunda ayrışıyor. Dört yöntemin kendi arasında iki metrik aynı sırayı veriyor: örneğin bag-of-words’ün doğruluğu da macro-F1’i de TF-IDF’inkinden yüksek. Burada değerlendirilen modeller, azınlığı görmezden gelmenin getirdiği doğruluğun bir kısmını verip karşılığında olumsuz sınıfta recall kazanıyor.

Macro-F1, her sınıfın F1 skorunu eşit ağırlıkla ortalar; böylece nadir bir sınıf, yaygın olanı kadar sayılır. Bu deneyde, çoğunluk kuralının olumsuz sınıfta F1 = 0 almasını görünür kılan metrik budur.

Tablodaki satırlar aynı eğitim/test bölmesini ve aynı sınıflandırıcıyı kullanıyor; ama üç noktada birbirlerinden ayrılıyorlar — sonraki slaytlar.

Buradaki fit sütunu ile bölümün sonuna doğru gelen maliyet tablosundaki build the representation sütunu aynı adımı ölçmüyor. Süreler beşer kez yeniden ölçüldüğünde eğitim metnini vektörleştirmek bigram şemasında 0,82–0,90 sn, karakter şemasında 2,68–2,79 sn; sınıflandırıcıyı eğitmek ise 0,09–0,10 sn ve 0,38–0,39 sn sürdü. fit vektörleştirme ile sınıflandırıcı eğitimini birlikte, maliyet tablosu yalnızca vektörleştirmeyi kapsıyor. Tablolardaki süreler tek koşudan geliyor; hepsini bu makineye ait yaklaşık değerler olarak okuyun.

Karakter satırı aynı tokenizer’dan geçmiyor

Aynı girdi iki analyzer’dan geçince: "5/5 harika!! ürün çok i̇yi 👍"

analyzer	öznitelikler	ne oldu
analyzer="word", token_pattern=[a-zçğıöşü]+	['harika', 'ürün', 'çok', 'i', 'yi']	5/5, !!, emoji düştü; birleştirici nokta “i̇yi”yi ikiye böldü
analyzer="char_wb", ngram_range=(3, 5)	[' 5/', '5/5', '/5 ', ' ha', 'har', 'ari', ...]	rakam, eğik çizgi, ünlem ve boşluklar öznitelik olarak duruyor

• scikit-learn’de token_pattern yalnızca analyzer="word" iken kullanılır; char_wb onu tümüyle yok sayar ve kendi karakter akışını işler
• Karakter şeması min_df=3 kullanıyor; üç kelime şeması ise min_df=2: savunulabilir bir tercih, ama taranmadı

Karakter satırının skor farkı, karakter öznitelikleriyle birlikte bu ön işleme seçimini de yansıtıyor olabilir.

Karakter satırı kelime satırlarından yalnızca özniteliklerin ayrıntı düzeyi (karakter mi, kelime mi) bakımından değil, öznitelik çıkarma yolunun kendisi bakımından da ayrılıyor. Tablonun ikinci satırı 3-gram’ların ilk birkaçını gösteriyor.

char_wb kelime token desenini uygulamıyor; rakamı, noktalamayı ve boşluğu farklı işliyor. Bölümün ilerisinde karakter n-gram’larından çıkarılan sonuçları okurken bunu akılda tutun.

min_df=3 üzerine: karakter n-gram sayıları patlar, bu yüzden tercih savunulabilir — ama yine de bir tercih ve bölüm diğer ayarın ne yapacağını ölçmedi.

Bu derlemde fark etmedi — ve yine de böyle yazın

• lowercase=False ile de onsuz da ilk rauntun tablosu bayt bayt aynı çıktı: tekilleştirilmiş 233.508 yorumun 37.076.865 karakteri içinde tek bir büyük harf yok
• Bu, derlemin temiz olduğu anlamına gelmiyor: U+0307 (COMBINING DOT ABOVE) 50.000 yorumluk altörneklemin 4.194 belgesinde, yani %8,4’ünde duruyor; her seferinde bir i harfinin ardından
• O belgelerde tavsiye, tavsi + ye diye bölünüyor; işareti silince 30.195 sütunluk sözlük 29.823’e iniyor: 595 sütun yalnızca bu parçalanma yüzünden var

	sonuç	[a-zçğıöşü]+ ile token’lar
'İYİ'.lower()	'i̇yi̇'	['i', 'yi']	ikiye bölünür
'IYI'.lower()	'iyi'	['iyi']	yanlış birleşir

Onarım, size verilen metinden bu işareti silmektir; küçük harfe farklı biçimde çevirmek değil. Kodu neden yine de düzelttik? Çünkü kodu kopyalayan okurun derlemi böyle olmayacak.

lowercase=False satırı sonradan eklendi, çünkü bölümün ilk sürümü tam da uyardığı hatayı yapıyordu. Sonra iki sürüm de ölçüldü.

Büyük harf yok (str.isupper() ile sayıldı): bu gözlem, dağıtılan metnin önceden küçük harfe çevrilmiş olmasıyla tutarlı; hangi araçla ve ne zaman çevrildiğini veri kartı belgelemiyor. Yani iki yol burada aynı sonuca varıyor.

Varsayılan Unicode küçük harf dönüşümü İ için tam olarak i + U+0307 dizisini üretir. Verinin önceki işleme adımları belgelenmediği için kaynağını kesinleştiremeyiz; gözlem böyle bir dönüşümle tutarlı. Token deseni birleştirici işareti kelime karakteri saymıyor.

Sözlüğe ölçülen etki: alişveri, alabi gibi 595 sütun yalnızca bu parçalanma yüzünden var; onarımdan sonra da daha önce tek parça hâlinde hiç görülmemiş 223 biçim sözlüğe giriyor. Kümeleme bölümü aynı hasarı kendi örnekleminde bir kümeleme sonucu olarak yeniden keşfediyor. tr_lower metinde zaten bulunan birleştirici noktayı silmez. Onarımın skorlara etkisini alıştırmalardan yedincisi soruyor.

Aynı uyarı analyzer="char_wb" için de geçerli. Karakter n-gram’ları “dilden bağımsız” diye tanıtılır, ama küçük harfe çevirme adımı hâlâ yerel ayara bağlıdır.

Ham sayımlar TF-IDF’in önünde mi? Her seferinde tek değişiklik

CountVectorizer ile TfidfVectorizer arasında aynı anda üç şey değişiyor: IDF ağırlıklandırması, altdoğrusal terim frekansı (log-TF) ve L2 satır normalleştirmesi. Aynı C = 1.0:

unigram kelime öznitelikleri, min_df=2	doğruluk	macro-F1	F1(neg)
ham sayımlar (= “bag of words”)	92,14	73,51	51,30
sayım + L2	88,07	69,57	45,85
log-TF + L2	88,37	70,00	46,53
sayım + idf + L2	90,20	72,16	49,74
log-TF + idf, normalleştirme yok	92,67	71,83	47,61
log-TF + idf + L2 (= “tf-idf”)	90,07	71,95	49,41

Ham sayımlara L2 satır normalleştirmesi eklemek macro-F1’i 73,51’den 69,57’ye düşürüyor; IDF onun üstüne eklendiğinde skor 72,16’ya çıkıyor. “TF-IDF burada IDF yüzünden geride kaldı” cümlesi deneyin gösterdiği şey değil.

Bu kurulumda ham sayımlar TF-IDF’in önünde. Akla gelen ilk açıklama IDF olur: yorumlar ortalama 22,6 token, çoğu kelime belgede bir kez geçiyor, dolayısıyla IDF sık geçen duygu kelimelerinin — güzel, iyi, tavsiye — ağırlığını düşürüyor olabilir. Bu bir hipotez; sınanabilir de.

Altdoğrusal terim frekansı bir c sayımını 1 + log c ile değiştirir. TfidfVectorizer L2 satır normalleştirmesini varsayılan olarak uygular. Üçü ayrı ayrı açılıp kapatılıyor: aynı sözlük, aynı sınıflandırıcı, aynı C = 1.0.

L2 normalleştirmesini eklemenin getirdiği düşüş 3,94 puan. Sonuç ilk açıklamayı desteklemiyor: ilk fark yalnızca IDF’ten kaynaklanmıyor. Bu, normalleştirmenin kendiliğinden zararlı olduğu anlamına da gelmiyor: etkisi C ile birlikte değerlendirilmeli.

Olası açıklama, C’nin ayarlanmamış olması. L2 normalleştirilmiş satırların normu 1, ham sayım satırlarınınki ise belge uzunluğuyla büyüyor; sabit bir C = 1.0 bu yüzden iki temsile farklı bir etkin düzenlileştirme uyguluyor — yoğun aile için baştan işaretlenen çekincenin aynısı, şimdi seyrek ailenin içinde. Sonraki slayt.

C doğrulamada seçilince sıralama tersine dönüyor

C, eğitimden ayrılan bir doğrulama diliminde seçildi (eğitim için 32.000, doğrulama için 8.000); sonra model 40.000 belgenin tamamında yeniden eğitildi:

                     best C on validation    test macro-F1
raw counts                  1.0                  73.51
tf-idf                     10.0                  74.71

• TF-IDF 74,71, ham sayımlar 73,51: 10.000 eşleştirilmiş yeniden örneklemede (paired bootstrap) macro-F1 farkının %95 aralığı 0,42 ile 1,99 puan arasında
• Yalnızca TF-IDF’in doğru bildiği 151, yalnızca ham sayımların doğru bildiği 80 yorum var

“Ham sayımlar TF-IDF’in önünde” sonucu eşit bir ayar bütçesine dayanamadı: temsilin değişmez bir özelliği değil, paylaşılan ve ayarlanmamış bir C’ye bağlıydı.

Her iki temsile aynı küçük ayar bütçesini veriyoruz: 40.000 eğitim belgesi, modeli eğitmek için 32.000 ve doğrulama için 8.000 olarak bölünüyor; C doğrulama diliminde seçiliyor, sonra seçilen C ile model 40.000 belgenin tamamında yeniden eğitilip test kümesinde ölçülüyor.

Seçim adımını açık yazıyoruz, çünkü sonucu değiştiriyor: tablodaki test skorları, 40.000 belgenin tamamında yeniden eğitilmiş modellere ait (32.000 belgelik modeller aynı test kümesinde 73,65 ve 73,83 alıyor). Bu test kümesi bölümde daha önce de kullanıldı; dolayısıyla bu satırlar ilk kez açılan, bağımsız bir test sonucu değil.

Bu 1,2 puanlık fark ne kadar sağlam? İki modelin aynı 10.000 test yorumundaki tahminleri eşleştirildi. Hata oranları için kesin McNemar testi: p < 0,001; iki testin farkı ikinci rauntta açıklanıyor. Yani fark bu test kümesinin örnekleme gürültüsünden büyük. Aralık tek bir eğitim bölmesine ve tek bir test kümesine ait; başka bir eğitim örnekleminde ne olacağını söylemez.

İlk rauntun tablosu yanlış değil — orada gerçekten ölçülen bu — ama ondan çıkarılacak ders “kısa metinde TF-IDF geride kalır” değil: eşit ayar bütçesi verilmeden yapılan bir temsil karşılaştırması, ölçmek istediğiniz şeyi ölçmeyebilir.

Bigram’lar: sayım ailesinin içindeki en büyük fark

• Bu kurulumda kelime unigram + bigram TF-IDF’i, yalnız unigram TF-IDF’inden 4,26 macro-F1 puanı, ham sayımlardan 2,70 puan yüksek
• Bigram’lar iyi değil, güzel değil gibi yerel dizileri ayrı öznitelik olarak tutar: ayrı bir kelimeyle kurulan olumsuzlama
• Türkçede olumsuzluğun bir kısmı ise ektedir: beğendim ile beğenmedim unigram düzeyinde de ayrı özniteliklerdir

4,26 puanın ne kadarının hangi olumsuzlama türünden geldiğini bu bölüm ölçmedi; bunu söylemek için hedefli bir hata çözümlemesi ya da ablasyon gerekir.

Bigram (ikili n-gram): tek bir birim olarak sayılan kelime çifti; böylece “iyi değil”, “iyi”den ayırt edilebilir.

Bölümün en büyük farkları bu değil: iki aile arasındaki fark 14,8 puan, 250 etikette embedding’lerin sayım yöntemlerinin önüne geçtiği fark da 14,6 puan. Bu ise etiket bütçesi sabitken, sayım ailesinin içinde ölçülen en büyük fark.

Aynı bigram’lar çok kelimeli duygu kalıplarını, ürün adlarını ve birlikte geçen sözcük öbeklerini de yakalıyor.

tavsiye etmem ya da memnun kalmadım gibi çiftlerde de olumsuzluk ekte: sonraki slayttaki katsayı tablosunda etmem ve kalmadım tek başlarına güçlü olumsuz unigram’lar; bigram oraya tavsiye ya da memnun bağlamını ekliyor.

Model ne öğrendi, kelimelerle

olumluya doğru		olumsuza doğru
gayet	+8,04	etmiyorum	−8,16
ederim	+6,94	değil	−6,95
mükemmel	+6,13	kötü	−6,63
teşekkürler	+6,09	etmem	−6,35
harika	+5,93	beğenmedim	−6,21
memnunum	+5,84	iade	−5,85
güzel	+5,48	fakat	−5,52

Bu eğitim dağılımında öğrenilmiş genel (global) ilişkiler: kelimelerin evrensel duygu puanları değil, tek bir tahminin eksiksiz açıklaması da değil.

TF-IDF + lojistik regresyon, en büyük katsayılar. Bölümdeki liste iki satır daha sürüyor: olumluya doğru süper +4,98 ve kaliteli +4,32; olumsuza doğru kalitesiz -5,47 ve kalmadım -5,33.

Bu seyrek doğrusal modelde her sözlük özniteliğine bir katsayı karşılık gelir. Katsayıları öznitelik adlarıyla birlikte sıralamak, modelin bu veride ve bu ön işlemeyle hangi özniteliklerle ilişki kurduğunu incelemeye yardım eder; tek bir kelimenin bütün bağlamlardaki etkisini vermez. Katsayılar diğer bütün özniteliklerle birlikte öğrenilir.

Listedeki iki öznitelik dilden çok alanla ilgili görünüyor: iade ve fakat. iade gerçekleşmiş bir iadeden söz ediyor olabilir; yalnızca iade olasılığından bahsediyor da olabilir. fakat olumlu bir yargıyı olumsuz bir yargıya bağlıyor olabilir. Katsayılar eğitim etiketleriyle koşullu ilişkiyi gösterir; hangi anlatımın geçerli olduğunu örnek yorumları okuyarak denetlemek gerekir. Bu ilişkiler elle yazılmadı; 40.000 etiketli yorumdan öğrenildiler.

Tek bir belgede j özniteliğinin doğrusal karar skoruna katkısı x_j β_j’dir; sabit terim ve diğer özniteliklerin katkıları da toplam skora eklenir, olasılık ise bu toplam skora sigmoid uygulanarak hesaplanır. Genel katsayı listesi modelin neyi öğrendiğini anlatır; tek bir tahmin ayrı bir sorudur.

Yoğun yöntemlere geçince bu tabloyu akılda tutun: onlar aynı doğrudan kelime → katsayı tablosunu kendiliğinden vermiyor.

2. raunt — 3. bölümün yöntemleri

Word2vec, fastText ve doc2vec; 40.000 eğitim yorumunun metni üzerinde, etiketleri kullanmadan sıfırdan eğitildi. Ön eğitimli vektör ve test yorumları bu eğitimde kullanılmadı.

model	eğitim ayarları	belge vektörüne giden adım
word2vec	vector_size=100, window=5, min_count=2, sg=1, negative=5, epochs=10	sözlükte bulunan token’larının vektörlerinin ortalaması; sözlükte hiç token’ı yoksa sıfır vektörü
fastText	aynısı, min_n=3, max_n=6, bucket=500_000 ile	ortalamaya belgenin bütün token’ları girer: sözlük dışı biçimlere de alt kelime vektörlerinden bir vektör kurulur
doc2vec	vector_size=100, min_count=2, epochs=20, dm=0	eğitim belgeleri: doğrudan öğrenilir; test belgeleri: infer_vector ile, varsayılan ayarlarla

Üç matris de ilk rauntla aynı lojistik regresyona verilir.

Şimdi aynı görev, önceki bölümün üç modeliyle. Üçü de workers=1 ve seed=42 kullanıyor; dm=0, PV-DBOW demek.

İleride öğrenme eğrisinde sınıflandırıcı daha az etiket görürken de 40.000 yorumun metninden öğrenilmiş bu sabit temsil kullanılmaya devam ediyor.

Rauntun kendi tablosu, başvuru için: ortalaması alınmış word2vec 79,92 doğruluk, 61,39 macro-F1, 34,64 F1(neg), embedding eğitimi 14,7 sn; ortalaması alınmış fastText 79,64; 61,36; 34,79; 31,6 sn; doc2vec (PV-DBOW) 71,96; 55,13; 27,66; 8,5 sn. Hepsi 100 boyutlu.

İki raunt, macro-F1’e göre sıralı

### both rounds, sorted by macro-F1
tf-idf 1-2 gram          92.57      76.21     56.47  101,659
bag of words             92.14      73.51     51.30   30,195
tf-idf                   90.07      71.95     49.41   30,195
tf-idf char_wb 3-5       88.63      70.39     47.14   94,939
averaged word2vec        79.92      61.39     34.64      100
averaged fastText        79.64      61.36     34.79      100
doc2vec (PV-DBOW)        71.96      55.13     27.66      100
majority baseline        93.68      48.37      0.00        —

• Yoğun satırlar, seyrek satırların aksine son hanesine kadar yeniden üretilemiyor: aynı tohumla yeniden koşuda word2vec 61,37, fastText 61,29, doc2vec 55,44 macro-F1 verdi
• Beş embedding tohumunda word2vec 61,57 ile 62,06, fastText 60,86 ile 61,68 arasında kaldı: yoğun satırlardaki ondalık farkları bu yayılımla birlikte okuyun

Sütunlar: doğruluk, macro-F1, olumsuz sınıfta F1 ve boyut sayısı.

Yeniden koşu, bölüm gözden geçirilirken aynı kodla ve aynı tohumla (42) yapıldı. İkinci ölçümde yalnızca embedding tohumu değiştirildi; beş tohum.

Hangi satır oynuyor: bölümün notebook’unun sonraki koşuları her seferinde aynı 61,37 ve 61,29 değerlerini verdi; doc2vec ise yine oynadı (55,57, 55,58, 55,54). gensim, infer_vector çağrısında her test belgesini Python’ın string hash’iyle tohumlanan bir vektörden başlatıyor ve bu hash, PYTHONHASHSEED sabitlenmedikçe süreçten sürece değişiyor.

Önceki bölümün 20 Newsgroups görevinde de karşılaştırılan seyrek yöntem ortalama statik embedding’in önündeydi. İki farklı veri kümesinde benzer bir sıralama görmek yararlı bir gözlem; ama dil, sınıf yapısı, eğitim miktarı ve ön işleme farklı olduğu için bu iki sonuçtan genel bir belge sınıflandırma kuralı çıkmaz.

Hangi farklar bu test kümesinin gürültüsünden büyük?

Eşleştirilmiş bootstrap, 10.000 test yorumu: macro-F1 farkı ve %95 aralığı.

tf-idf 1-2 gram     - bag of words         +2.69   [ +1.60,  +3.82]
bag of words        - tf-idf               +1.56   [ +0.53,  +2.55]
tf-idf              - tf-idf char_wb 3-5   +1.57   [ +0.59,  +2.54]
tf-idf char_wb 3-5  - averaged word2vec    +9.01   [ +7.97, +10.01]
averaged word2vec   - averaged fastText    +0.08   [ -0.60,  +0.77]
averaged fastText   - doc2vec (PV-DBOW)    +5.85   [ +5.02,  +6.69]
tf-idf 1-2 gram     - averaged word2vec   +14.83   [+13.65, +16.01]

• Aileler arasındaki fark ve seyrek ailenin içindeki komşu farklar bu test kümesinin örnekleme gürültüsünden büyük; word2vec ile fastText arasındaki fark değil
• Bu aralıklar yalnızca test örneklemesini kapsar: eğitim bölmesinin değişmesini ve eğitim tohumunun yayılımını kapsamaz

Sıralamadaki her satır tek bir bölmeden ve tek bir koşudan geliyor. Test kümesinin örnekleme belirsizliğini ölçmek için iki modelin aynı 10.000 yorumdaki tahminleri eşleştirildi ve test satırları 10.000 kez yeniden örneklendi; her örneklemde iki modelin macro-F1’i de yeniden hesaplanır. Yoğun satırlar yeniden koşudan alındı.

Öğrenme eğrisinde 250 ile 40.000 etiket arasında görülen dalgalanma böyle bir belirsizlik aralığı değildir; o noktalar hem eğitim büyüklüğünde hem örneklenen belgelerde farklılaşır.

Hata oranları için ayrı bir test gerekir. McNemar testi iki yöntemin hata oranlarını karşılaştırır, dolayısıyla doğruluk sütunuyla ilgilidir; sıralamanın dayandığı macro-F1 sütunuyla değil. Macro-F1 farkı eşleştirilmiş bir hata sayımı değildir; onun için buradaki gibi eşleştirilmiş bootstrap ya da rastgeleleştirme testi gerekir. Protokolü Dror vd. (2018) ayrıntısıyla anlatıyor; alıştırmalardan sekizincisi bu aralıkları öğrencinin kendi koşusunda yeniden üretmesini ve eğitim bölmesi üzerinden genişletmesini istiyor.

Farkın biçimi: daha çok olumsuz bulunuyor, daha çok yanlış alarm

	bigram TF-IDF	ortalaması alınmış word2vec
macro-F1	76,21	61,39
olumsuz sınıfta F1	56,47	34,64
olumsuz sınıfta recall	%76,3	%84,2
olumsuz sınıfta precision	%44,8	%21,8

• En iyi seyrek yöntemle en iyi yoğun yöntem arasındaki fark 14,8 macro-F1 puanı; olumsuz sınıfta 21,83 F1 puanı
• Ortalaması alınmış word2vec aslında daha çok olumsuz buluyor; ama olumsuz diye işaretlediği yorumların yalnızca %21,8’i gerçekten olumsuz

Bunlar test kümesi üzerindeki toplu oranlardır. Bu yanlış alarm örüntüsü, temsilin ayırt ediciliği kadar class_weight="balanced", karar eşiği ve C seçimiyle de ilişkili olabilir.

Recall (duyarlılık): gerçekten olumsuz olan yorumlar içinde modelin bulabildiklerinin oranı. Düşük recall, kaçırmaların çokluğuyla ilişkilidir. Precision (kesinlik): modelin olumsuz dediği yorumlar içinde gerçekten olumsuz çıkanların oranı. Düşük precision, yanlış alarmların çokluğuyla ilişkilidir.

Bir rastlantıyı baştan açıklayın: 21,83 bir F1 puan farkı, %21,8 ise bir precision. İki sayının ilgisi yok.

Bu koşuda ortalaması alınmış word2vec olumsuz yorumların %84,2’sini buluyor — herhangi bir seyrek modelden fazla. Toplu oranları tek bir yeni tahminin doğru olma olasılığı gibi okumayın. Yanlış alarm örüntüsünün sebebini ayırmak için eşik ve ağırlık ablasyonları gerekir.

Bu sırayı genel bir başarı sıralaması olarak okumayın

• Üç yoğun satır bu derlemin 0,9 milyon token’ı üzerinde sıfırdan eğitilmiş, ortalaması alınmış statik vektörler; ön eğitimli değil
• Yoğun vektörlerin ölçeği eşitlenmedi ve C hiçbir satır için ayarlanmadı; her satır tek bir bölmeden ve tek bir koşudan geliyor
• Ölçüm tam olarak şu: 0,9 milyon token üzerinde sıfırdan eğitilmiş statik embedding’ler, bu kurulumda aynı 40.000 belgeden çıkarılan sayımların gerisinde kaldı — “statik embedding’ler sayımların gerisinde kalır” değil
• Büyük Türkçe derlemlerde önceden eğitilmiş vektörler farklı sonuç verebilir; farkın yönünü ve büyüklüğünü bu bölüm ölçmedi

Derlem boyutuna bağlı olmayan şey ortalama alma kusuru: o arıza vektörlerde değil, havuzlama adımındadır. Bu bölümün genellenebilir sonucu budur; sıralama ise yerel bir sonuç.

Satır adları kısa tutuldu; tam hâlleriyle yoğun satırlar sıfırdan eğitilmiş, ortalaması alınmış statik vektörler. C deneyinin seyrek tarafta yaptığını hatırlatın.

İkinci rauntun üç modeli yalnızca bu derlemin eğitim yorumlarındaki 903.190 token üzerinde sıfırdan eğitildi; Bojanowski vd. (2017) gibi çalışmalar Wikipedia ölçeğindeki derlemlerle çalışıyor. Ön eğitimli durumu öğrenciler alıştırmaların on üçüncüsünde kendileri ölçebilir.

Ortalama alma kusuru: kalite iyi fiyat kötü ile kalite kötü fiyat iyi çiftinin 1,0000 kosinüsünü hiçbir eğitim verisi miktarı düzeltmez. Bu örneğe dersin sonunda geleceğiz.

Bölümün geri kalanı, bu Türkçe yorum kurulumunda etiket miktarı ve hata türleri değiştiğinde sıralamanın nasıl etkilendiğini inceliyor.

Boyut sayısını bellek diye okumayın

	kelime TF-IDF matrisi	yoğun belge matrisi
sütun	30.195	100
satır başına sıfır dışı değer	ortalama 19,8	100
ölçülen eğitim matrisi belleği	9,7 MB	16,0 MB

• Seyrek matris yalnızca sıfır dışı değerleri ve onların indekslerini saklar
• 100 boyut, bigram TF-IDF’in 101.659 sütununa göre yaklaşık 1.017 kat, kelime TF-IDF’in 30.195 sütununa göre yaklaşık 302 kat daha az koordinat — tek başına bellek ya da gecikme oranı değil

Belge başına 100 sayı ile 61,39 macro-F1’e karşılık, 101.659 sütunla 76,21. Maliyetleri hedef kullanımınızda ayrı ayrı ölçün.

Yoğun yöntemlerin belirgin biçimde ayrıldığı yer boyut sayısı.

Ortalama 19,8 sıfır dışı değer taşıyan bir satır 30.195 değil 19,8 değer tutar.

Daha az koordinat, bazı yoğun vektör yapılarında — bir en yakın komşu indeksi, yaklaşık en yakın komşu (ANN) araması, bir ağın ilk katmanı — avantaj sağlayabilir; gerçek arama belleğini ve gecikmesini ise seçilen indeks, belge sayısı ve seyreklikle birlikte ölçmek gerekir.

Oranı, hangi seyrek modelle karşılaştırdığınız belirler; bölümün ilerisindeki özet tablosunda geçen rakam 302’dir. Bu oranlar tek başına bellek, gecikme ya da ürün mimarisi oranları değildir: hedef kullanımda seyrek erişim, yoğun erişim ve sınıflandırma maliyetlerini ayrı ayrı ölçün.

Ders ikiye bölünecekse yeri burası.

Sözlük dışı (out-of-vocabulary) sınavı

### coverage of the 10,000 test reviews
test tokens                     229,055
outside the word2vec vocabulary  16,660     7.27% of tokens
distinct test word forms         32,573
outside the vocabulary           15,098     46.4% of forms
test reviews with no usable token     7

• Farklı test biçimlerinin %46,4’ü word2vec’in öğrendiği sözlükte yok; belge ortalaması böyle token’ları atlar
• Yedi yorumun sözlükte hiç token’ı yok: sıfır vektörü alıyorlar ve yedisi de yanlış sınıflanıyor
• Buradaki %7,27, önceki bölümdeki %7,33 değil: o tanımla — eğitimde hiç görülmemiş — sayıldığında oranlar token’larda %5,10, biçimlerde %33,5

Önceki bölümdeki alt kelime iddiasını iki aşamada sınıyoruz: öğrenilmiş kelime sözlüğünde bulunmayan bir biçim için fastText bir vektör üretebiliyor mu, ve ürettiği vektör bu sınıflandırma görevinde işe yarıyor mu?

İlk oran token’lar, ikincisi farklı biçimler üzerinden hesaplanıyor. Sözlük dışı bir biçime doğrudan w2v.wv[kelime] ile erişmek KeyError verir. Atlamanın sonucu bir hata olarak değil, bilgi kaybı ve yedi boş belge olarak görünür. Yedisi de olumlu etiketli ve sınıflandırıcı sıfır vektörüne olumsuz diyor (sabit terim −0,83). Oran derlemden derleme ve alandan alana değişir.

İki tanım. Önceki bölümdeki %7,33’lük token oranı, eğitimde hiç görülmemiş biçimlerle ilgiliydi. Buradaki %7,27 ise min_count=2 ile eğitilmiş word2vec’in sözlüğünde bulunmayan test token’larının oranı. Aynı tanımla sayıldığında: test token’larının %5,10’u (11.681 token) eğitimde hiç geçmiyor; farklı test biçimlerinin %33,5’i (10.921 biçim) hiç görülmemiş, 4.177 biçim de eğitimde yalnızca bir kez görülüp min_count=2 eşiğiyle atılmış. Yani Wikipedia örneklemindeki %7,33 ve %28,99’un buradaki benzer tanımlı karşılıkları %5,10 ve %33,5. Derlem, tokenleştirme ve örneklem büyüklüğü farklı olduğu için bu sayılar yan yana okunabilir, ama birbirini doğrulamaz.

fastText her biçim için bir vektör kuruyor

### nearest neighbours for unseen word forms
kargolanmamış
  word2vec   KeyError
  fastText   kargolanmış, kargolandı, kargolanma, kargolanıp, kargolu

tavsiyelerim
  word2vec   KeyError
  fastText   tavsiyeleri, tavsiyeler, tavsiyeederim, tavsiyedir

hızlıcana  (günlük konuşma dili)
  word2vec   KeyError
  fastText   hızlıca, hızlıda, hızlısı, hızlıydı, hızlı

• Kapsama %100’e çıkıyor; vektörün niteliği ise garanti değil. Sözlük dışı 15.098 test biçiminin n-gram’larının ortalama %84,5’i sözlükteki en az bir kelimede de geçiyor

kargolanmamış’ın ilk komşusu, olumsuzluk eki taşımayan kargolanmış: biçim benzerliği olumsuzluk ayrımını gölgeleyebiliyor.

Bu deneydeki tokenizer’ın ürettiği bütün test biçimleri için gensim’in fastText’i bir vektör kurabiliyor: sözlükte olmayan bir biçimin vektörü, karakter n-gram’larının düştüğü kovalardaki (bucket) vektörlerden oluşturulur.

Nitelik neden garanti değil: eğitimde hiç görülmemiş bir n-gram, ya hiç güncellenmemiş (rastgele başlatılmış) bir kovaya ya da başka n-gram’larla paylaşılan bir hash kovasına (bucket=500_000) düşer. Ölçüm 3–6 karakterlik n-gram’lar üzerinden: biçimlerin %24,7’sinde n-gram’ların hepsi, %4,8’inde yarısından azı tanıdık.

Slayttaki üç biçim eğitimde hiç geçmiyor. fastText bir vektör döndürüyor ve yazılışça ilişkili komşular getiriyor (Bojanowski vd. 2017). Bütün görülmemiş biçimlerin anlamlı bir kök ailesine yerleştiği sonucu bu üç örnekten çıkmaz.

İki model, iki tür komşu

sorgu	word2vec	fastText
kargo	teslimat, gönderim, gönderi, kargoda, kargoyla, kargolama — farklı kelimeler, aynı konu	kargocu, kargolu, kargosu, kargonuz, kargom, kargomun — hepsi aynı kökün çekimleri
kalitesiz	dandik, kullanışsız, dayanıksız, uyduruk, kırılacak — kötü demenin beş ayrı yolu, kökleri farklı	kalitesizmiş, kalitesizliği, kalitel, kalitesi, kalitesindeki — hepsi aynı kökün biçimleri

• Sözlükte bulunan, en az altı harfli ve eğitimde en az 20 kez geçen 2.806 kelimeden rastgele 500’ünde ölçüldü: ilk 5 komşu içinde, sorguyla ilk beş karakteri ortak olanların oranı word2vec’te %6,5, fastText’te %60,7

fastText’in listesinde kalitesi var — eşanlamlı değil: -siz ekinin taşıdığı olumsuzluğu taşımayan bir isim biçimi. Bu ölçüm yalnızca yazımsal örtüşmeyi sayar; komşuların anlamca ne kadar uygun olduğunu söylemez.

İki kelime de her iki sözlükte bulunuyor. Bu iki sorguda word2vec’in komşuları başka köklerden ilişkili kelimeler, fastText’in komşuları ise yazılışça yakın biçimler. kalitesiz neye benzer diye sorulduğunda word2vec, bir ürünün kötü olduğunu söylemenin beş ayrı yoluyla cevap veriyor. kalitesiz’in ilk sekiz harfi zaten kalitesi’nin kendisi.

İki kelime bir örnektir, ölçüm değil; 500 kelimelik örneklem bu yüzden. İlk dört karakter için oranlar %8,6 ve %67,4. Yani fastText’in yazılışça yakın komşular getirmesi bu modelde genel bir eğilim. Anlamca uygunluk için insan değerlendirmesi ya da görev temelli bir ölçüm gerekir.

Önceki bölümün açıkça söylediği zayıflık — benzer yazılışın benzer anlam demek olduğunu varsayar — burada gözle görülür hâle geliyor. Alt kelime parametrelerinin biçimi modellemeye harcandığı ve bunun anlam bilgisinden götürdüğü akla yatkın bir açıklama; ama bölümün ölçümleri onu kanıtlamıyor.

Kapsama %53,6 → %100. Macro-F1: 61,39 → 61,36

	word2vec	fastText
modelin vektör sunabildiği farklı test biçimleri	%53,6	%100
bu koşudaki macro-F1	61,39	61,36

• Fark −0,03 puan: eşleştirilmiş bootstrap aralığı (−0,60 ile +0,77) sıfırı içeriyor ve eğitim tohumu tek başına her iki modeli yaklaşık 0,5–0,8 puan oynatıyor
• İki model kapsama dışında da farklı olduğu için bu sonucu yalnızca OOV kapsamasına bağlayamayız

Vektör üretmek doğru anlamı garanti etmez. İçsel (intrinsic) ölçümleri, kapsamayı ve görev başarısını ayrı ayrı ölçün.

Kapsama %100’e çıktı; macro-F1 ise ayırt edilebilir biçimde değişmedi: aralık, ikinci rauntun tablosundaki aralık. Vektör üretmek, yeni biçimin doğru anlamla temsil edildiğini garanti etmez. Skor değişmediğinde temsil kalitesini, havuzlamayı ve sınıflandırıcı ayarlarını birlikte inceleyin.

Intrinsic (içsel) ölçümler, temsilin benzerlik ya da analoji gibi kendi uzayındaki özelliklerini inceler; sözlük kapsaması bunlardan ayrı bir kullanılabilirlik ölçüsüdür. Extrinsic (dışsal, görev temelli) değerlendirme, sınıflandırma gibi hedef işteki başarıyı ölçer. İkisi farklı soruları yanıtlar; model seçimini hedef görev ve kullanım koşulları belirler.

Bir tanılama daha: sözlükte bulunmak, temsilin güvenilir olduğunu tek başına göstermez. kalitesizmiş eğitimde yalnızca iki kez geçiyor. word2vec komşuları ayakkabıların, kaymak, yapışır, temizlenmemiş, zorlamadım: ne kelimenin duygusunu ne biçimini yansıtıyor. fastText kalitesiz, kalitesizliği, kalitesinide, kalitesi getiriyor. Sözlük sınırının ötesinde doğrudan sorgu açık bir hata verir; sınırın hemen berisindeki az görülmüş bir biçim ise hata vermeden zayıf kestirilmiş bir vektör döndürebilir. Dolayısıyla %46,4’lük OOV oranı temsil sorununun tamamını göstermeyebilir. Nadir biçimlerin temsil kalitesi hakkında genel bir sonuç için, sıklık gruplarına göre daha geniş bir değerlendirme gerekir.

İki modelin ayrıştığı yer

• Düz kelime TF-IDF’i ile ortalaması alınmış fastText, test belgelerinin %84,1’inde aynı etiketi veriyor
• Ayrıştıkları 1.587 belgede TF-IDF 1.315, fastText 272 kez doğru
• McNemar testi: \(\chi^2 = (|1315 - 272| - 1)^2 / (1315 + 272) = 684{,}2\) — hata oranları, yani doğruluk hakkında bir ifade
• Macro-F1 farkı için eşleştirilmiş bootstrap gerekir: fark 10,66 puan, %95 aralığı 9,52 ile 11,77

İki sonuç da yalnızca incelenen iki kurulum ve bu test verisi için geçerli. Asıl ilginç soru, o 272 örneğin neye benzediği.

Tablo, bu kurulumda sayım yöntemlerinin daha yüksek skor aldığını gösteriyor; nedenini göstermiyor. Nedenlerin payını ölçmek ayrı deneyler ister. Burada iki yöntemin uyuşmadığı tahminlere, olumsuzlama örneklerine ve temsillerin sınırlarına bakıyoruz.

İki satır: düz kelime TF-IDF’i doğruluğu 90,07 olan satır, ortalaması alınmış fastText 79,64 olan. İki sınıf olduğu için iki model ne zaman ayrışsa ikisinden tam olarak biri haklıdır; bu yüzden aradaki 1.315 − 272 = 1.043 belge, ikisinin doğruluk farkının ta kendisidir: 10,43 puan. McNemar testi tam olarak köşegen dışındaki bu sayıları kullanır.

Testin sezgisi: iki yöntem eşit derecede doğru olsaydı, anlaşmazlıklar kabaca yarı yarıya bölünürdü; eşleştirilmiş tahminler üzerindeki McNemar testi (McNemar 1947) bölünmenin yarı yarıdan ne kadar uzak olduğunu sorar. Tek serbestlik derecesi; 684,2 yaygın anlamlılık eşiklerinin çok ötesinde. Bu, aynı test kümesinde iki kurulumun hata oranlarının farklı olduğuna güçlü kanıttır.

Macro-F1 farkının belirsizliği bu testten çıkmaz; test satırları üzerinde eşleştirilmiş bootstrap ile ölçüldü, fastText tarafı ikinci rauntta sözü edilen yeniden koşudan.

Altı uyuşmazlık ve hepsinde sayılan iki özellik

yorum	gerçek	kim haklı
"en guvenli alısveriş sitesi"	olumlu	fastText — Türkçe karakterler kısmen düşmüş
"çok hizli ve temi̇z tesli̇mat"	olumlu	fastText — kelime ortasında bozuk karakter
"çok sessiz çalışıyor makina ."	olumlu	fastText — “makina”, “makine”nin konuşma dilindeki biçimi
"sıkıcı edebi yonu cok zayif"	olumsuz	TF-IDF — fastText olumlu diyor
"koku ne çok kötü ne çok iyi"	olumsuz	TF-IDF — “ne… ne…” yapısı
"cok guzel! kedi bayildi buna"	olumlu	TF-IDF — fastText olumsuz diyor

• TF-IDF sözlüğünün dışında kalan token’ların payı: yalnızca fastText’in doğru bildiği yorumlarda %9,49, yalnızca TF-IDF’in doğru bildiklerinde %9,48 — hangi modelin haklı çıkacağını ayırmıyor
• Ayrışan şey sınıf: yalnızca fastText’in doğru bildiği yorumların %31’i olumsuz (test kümesinin tamamında %6,3), yalnızca TF-IDF’in doğru bildiklerinin %98’i olumlu

Bu altı seçilmiş örnek, iki modelin hangi metinlerde ayrışabildiğini gösteriyor: eksik Türkçe karakterler, konuşma dili yazımı ve ne … ne … gibi kapsam ilişkileri. Hangi özniteliğin kararı belirlediği bu listeden çıkmaz; onun için karar katkılarına bakmak, metinde kontrollü değişiklikler yapmak ya da bütün uyuşmazlıkları etiketleyerek çözümlemek gerekir. Eksik karakterli metinler her iki yönde de görünüyor; tek bir açıklama yetmiyor.

İki özellik yeniden koşudaki fastText modeliyle sayıldı; orada sayılar 1.323 ve 272. İki modelin de doğru bildiği yorumlarda sözlük dışı pay %6,51: sözlük dışı biçimler uyuşmazlıklarda daha sık, ama hangi modelin haklı çıkacağını ayırmıyor.

Sınıf örüntüsü, ortalama-embedding kurulumunun daha yüksek recall ve daha düşük precision’la çalışmasıyla tutarlı.

Bir yorum ile olumsuz hâli arasındaki kosinüs

### cosine between a review and its negation
                                                  averaged     tf-idf
                                                   fastText
ürünü çok beğendim / ürünü hiç beğenmedim            0.776       0.193
kesinlikle tavsiye ederim / … tavsiye etmem          0.919       0.474
kargo çok hızlı geldi / kargo çok yavaş geldi        0.943       0.572
fiyatına göre gayet kaliteli / … hiç kaliteli değil  0.892       0.690
bu üründen memnun kaldım / … memnun kalmadım         0.962       0.582

• Bu beş karşıt çiftte: ortalaması alınmış fastText 0,78–0,96, kelime TF-IDF’i 0,19–0,69. Aynı çiftlerde word2vec ortalaması da 0,72–0,96 veriyor; yüksek değerler fastText’in alt kelimelerine özgü değil

Ortalama alma, iki cümlenin paylaştığı kelimelerin katkısıyla, değişen tek kelimenin etkisini azaltabilir — ama farkın tamamını yalnızca ortalama işlemine bağlayamayız.

Olumsuzlama örnekleriyle temsilleri doğrudan da sınayabiliriz.

İki temsil farklı ağırlıklar ve farklı vektörler kullanıyor; tablodaki farkın tamamı bu yüzden ortalama işlemine bağlanamaz. Yüksek kosinüs, sınıflandırıcının iki yoruma aynı etiketi vereceği anlamına da gelmez — sonraki slayt.

Kelime unigram TF-IDF’inde beğendim ile beğenmedim iki ayrı sütundur; birini içeren belge, ötekinin sütununda sıfır taşır. Bu, iki biçimin karıştırılmamasına yardım eder. TF-IDF seyrelmeye bağışık da değil: L2 normalleştirmesiyle, yalnızca tek bir terimde farklılaşan n terimli iki belge (her terim bir kez geçiyor ve bütün ağırlıklar eşitse) (n−1)/n kosinüsünde oturur ve bu da n büyüdükçe 1’e gider. Gerçek yorumlardaki 0,19–0,69 değerleri ise terimlerin IDF ağırlıklarına ve token dizilerine bağlıdır.

Ortalama alma olumsuzlamayı neden seyreltebilir

\[\mathbf{d}_+ - \mathbf{d}_- = \frac{1}{5}\left(\mathbf{v}_{\text{liked}} - \mathbf{v}_{\text{disliked}}\right)\]

• Beş kelimelik bir yorum ile olumsuz hâli tek bir kelimede farklılaşıyor. Önemli olan oran: farklılaşan tek vektöre karşı ortak dört vektör — yirmi kelimede ortak vektör sayısı on dokuz
• Garanti değil: ortak kelimelerin vektör toplamının farklılaşan kelimelere göre baskın olmasına bağlı
• Alt kelime modeli ortak karakter n-gram’ları ekler: beğendim ile beğenmedim arasındaki kosinüs fastText’te 0,74, word2vec’te 0,53
• Yüksek kosinüs, karar yönünde ayrım olmadığı anlamına gelmiyor: “ürünü çok beğendim” cümlesine olumlu olma olasılığı 0,82, olumsuz hâline 0,02 veriliyor — kosinüs 0,776 iken

Ortalama alma bazı sinyalleri zayıflatabilir; 14,82 puanlık toplam farktaki payını ise bu örnekler ölçmez.

İki belge vektörü beşer kelime vektörünün ortalaması; dördü ortak (v1’den v4’e), biri farklı. Formül sabit bir uzunluk eşiği vermiyor — eşik vektörlerin normlarına ve yönlerine bağlı — ama seyrelmenin ortak içerik büyüdükçe nasıl ölçeklendiğini gösteriyor.

1/5’i okurken dikkatli olun: aynı çarpan ortak kelimeleri de ölçekliyor ve kosinüs ortak bir çarpana duyarsız, dolayısıyla asıl sorun çarpanın kendisi değil. Yirmi kelimede fark vektörü 1/20 ile ölçeklenir. Ortak katkılar birbirini götürür ya da karşıt yönlere dağılırsa, yorum uzasa da kosinüsün 1’e yaklaşması zorunlu olmaz. Beş örnek, yüksek kosinüsün gerçekleşebildiğini gösteriyor.

Alt kelimeler: beğendim ile beğenmedim, beğ, eğe, ğen gibi n-gram’ları paylaşır. İki kelimenin ayrı tam kelime bileşenleri ve ayrışan n-gram’ları da vardır; dolayısıyla paylaşılan yazım tek başına aradaki uzaklığı belirlemez. kaldım ile kalmadım için kosinüsler 0,69 ve 0,56. Kökü paylaşmayan ederim / etmem çiftinde ise iki model aynı yerde: 0,56 ve 0,57.

Karar yönü: yeniden koşuda beş çiftin beşinde de olumsuz hâlin olasılığı 0,5’in altında kalıyor (0,02 ile 0,33 arasında). Lojistik regresyon, iki ortalama arasındaki küçük farkın ayırt edici olduğu bir yön bulabiliyor.

Benzetme. Kelime vektörlerinin ortalamasını almak, bir tablonun ortalama rengini almaya benzer. Yalnızca biri gün doğumu, öteki gün batımı olmakla ayrışan iki tablonun ortalama rengi neredeyse aynıdır ve sınıflandırıcınızın görebildiği tek şey o ortalama renktir. Bag-of-words ise bunun yerine hangi boyaların bulunduğunun listesidir — ilişkiler konusunda daha kaba, ama değişen boyayı ayrı bir kalem olarak tutar.

Kesişim: daha az etiket, farklı bir sıralama

### macro-F1 by labelled training size (same test set of 10,000)
    n     negatives   tf-idf   tf-idf char   word2vec   fastText
   100        6        48.37       48.37       53.51      53.87
   250       16        48.53       48.84       61.59      63.10
   500       32        49.28       50.60       61.02      61.16
 1,000       63        55.40       58.55       59.52      59.93
 2,500      158        66.61       68.36       60.91      61.19
 5,000      316        71.16       70.47       61.52      60.80
10,000      632        72.55       71.29       61.80      61.56
20,000    1,264        72.42       71.26       60.94      60.96
40,000    2,529        71.95       70.39       61.39      61.36

• İki temsil ailesi de 40.000 eğitim yorumunun metninden, etiketlere bakmadan yararlanıyor; değişen, sınıflandırıcıya verilen etiket sayısı
• Tablonun her satırı tek bir altörneklemden geliyor: yeniden eğitilen vektörlerle word2vec 100 etikette 58,23, 250 etikette 65,21 veriyor

Buraya kadar her şey yöntemleri 40.000 etiketli yorumla karşılaştırdı. Pratikte çoğu zaman bu kadar etiket olmaz.

TF-IDF sözlüğünü ve IDF değerlerini, embedding modelleri eş-oluşum (hangi kelimelerin birlikte geçtiği) ve alt kelime parametrelerini eğitim metninden öğreniyor. Yani soru şu: etiketsiz metne erişim sabitken, ek etiketler karar sınırını nasıl değiştiriyor? TF-IDF’in etiketsiz metinden aldığı şey belge frekanslarıyla sınırlı; embedding’ler kelimeler arasındaki eş-oluşum ilişkilerini de alıyor.

Her n için eğitim kümesinden tabakalı bir altörneklem çekiliyor (train_test_split(train_size=n, stratify=…, random_state=42)) ve sınıflandırıcı yalnızca o satırların etiketleriyle eğitiliyor. negatives sütunu bunların içindeki olumsuz örnek sayısı.

word2vec sütunu 250 ile 40.000 etiket arasında 59,52 ile 61,80 arasında değişiyor. Bu dalgalanmanın ne kadarının etiket sayısından, ne kadarının hangi belgelerin seçildiğinden ya da vektör eğitiminden geldiğini bu tablo söylemez; model çiftleri için bir anlamlılık eşiği olarak da kullanılamaz. Yeniden koşudaki 58,23 ve 65,21, tablodaki 53,51 ve 61,59’un yerine geçiyor. Seyrek sütunlar yeniden koşuda birebir aynı çıkıyor.

Şeklin açıklamasından: 250 etikette fastText kelime TF-IDF’inden 14,57 puan yüksek (word2vec 13,06), 40.000 etikette 10,59 puan düşük.

Her büyüklükte on etiket örneklemi: ortalama macro-F1

n	tf-idf	tf-idf 1-2 gram	fastText	tf-idf > fastText
250	48,98	48,70	60,96	0 / 10
1.000	56,57	51,68	61,96	0 / 10
1.250	59,59	53,43	62,00	2 / 10
1.500	61,87	55,63	61,90	4 / 10
1.750	63,95	57,81	61,64	10 / 10
2.500	67,52	63,42	61,55	10 / 10
5.000	70,97	71,49	61,18	10 / 10

• Aynı büyüklükte, yalnızca hangi belgelerin etiketlendiği değişince skorlar birkaç puan oynuyor: 1.000 etikette TF-IDF 55,14 ile 59,80, fastText 61,01 ile 63,15 arasında

Bu kurulumda sıra 1.250 ile 1.750 etiket arasında değişiyor. Tek bir altörnekleme dayanan bir sıralamayı bu yayılımla birlikte okuyun.

Belirsizliği ölçmek için her eğitim büyüklüğünde on ayrı tabakalı etiket örneklemi çekildi; temsiller sabit, yoğun sütunlar yeniden koşunun vektörleriyle. Bölümdeki tabloda 100, 500 ve 2.000 etiket satırları, bir word2vec sütunu ve her ortalamanın yanında en küçük ile en büyük değer de var.

Aralıklardan birkaçı: 250 etikette TF-IDF [48,35; 49,63] ve fastText [56,55; 64,83]; 1.500 etikette TF-IDF [60,50; 65,01] ve fastText [60,36; 63,52]; 5.000 etikette TF-IDF [69,72; 72,27], bigram TF-IDF [70,06; 72,88] ve fastText [59,98; 62,40]. word2vec ortalamaları fastText’inkilere yakın: 250 etikette 61,69; 1.000 etikette 62,15; 5.000 etikette 61,48.

Son sütun, on örneklemin kaçında kelime TF-IDF’inin fastText’i geçtiğini sayıyor: 1.000 etikette hiç, 1.250’de on örneklemin ikisinde, 1.500’de dördünde, 1.750’de onunda da.

Kesişim aralığını taşınabilir bir sayı olarak okumayın

• Tek altörneklem dizisinde çizgilerin kesiştiği yer yaklaşık 1.500 etiket: iki ölçüm arasından okunan bir değer, ölçülmüş bir nokta değil
• Bölümün en yüksek skorlu modeli olan kelime bigram TF-IDF’i için aralık daha sağda: fastText’i 2.000 etikette on örneklemin ikisinde, 2.500’de dokuzunda geçiyor
• Bütün bu sayılar aynı test kümesinden okundu. Kendi göreviniz için kendi eğrinizi çıkarın

Taşınabilir olan şey eşik değil, biçim: az etiket rejiminde etiketsiz metinden öğrenilmiş bir temsilin önceliği olabilir; etiket arttıkça seyrek doğrusal model bu önceliği kapatır.

İlk tabloda kelime TF-IDF’i 1.000 etikette embedding yöntemlerinin altında, 2.500 etikette üstünde.

Az etikette bigram TF-IDF, unigram TF-IDF’in altında kalıyor: 3,4 kat fazla sütunu bir avuç olumsuz örnekten kestirmek zorunda.

Yöntem seçimi için train’i bir kez daha bölüp doğrulama diliminde karar verin; testte yalnızca önceden seçilmiş yöntemi değerlendirin.

Bölümdeki grafik kelime TF-IDF’ini, ortalaması alınmış fastText’i ve word2vec’i logaritmik eksende etiketli eğitim yorumu sayısına karşı gösteriyor: dokuz eğitim büyüklüğü, baştan sona aynı test kümesi, her büyüklükte tek bir altörneklem. Karakter TF-IDF’i okunabilirlik için çizilmedi. Bu kurulumda etiket sayısı sıralamayla ilişkili; farklı yöntem ve ayarlar için aynı kesişim beklenmemeli.

Sol kenar: 250 etiket, 16’sı olumsuz

• Kelime TF-IDF’i 48,53, çoğunluk kuralı 48,37 macro-F1 alıyor: bu model 10.000 test yorumunun yalnızca birine olumsuz diyor
• Ortalaması alınmış fastText aynı 250 etiketle 63,10 alıyor; on etiket örnekleminde aradaki fark ortalama 12,0 puan (8,2 ile 16,1 arasında)
• Bu örüntüyle uyumlu bir açıklama: 16 olumsuz örnek, 30.195 sütunlu bir uzaydan çekilmiş 16 seyrek satırdır; embedding modeli ise etiketsiz metinden önceden öğrenilmiş ortak bir yapı sunar

Bu açıklamayı sınamak için az etiketli koşuldaki katsayılara, hatalara ve daha güçlü düzenlileştirme seçeneklerine bakmak gerekir; bu bölüm bunu yapmadı.

TF-IDF modelinin olumsuz dediği tek yorum gerçekten olumsuz. Yani bu koşuda fiilen çoğunluk kuralı gibi davranıyor; 0,16 puanlık farkın eşleştirilmiş bootstrap aralığı 0,00 ile 0,51.

Açıklamanın tamamı: az etiketle, kelime temelli doğrusal modelin nadir özniteliklerine ait katsayılar güvenilir kestirilemeyebilir. Embedding’in ortak yapısı 40.000 yorumun etiketsiz metninden geliyor: örneğin word2vec kalitesiz, dandik ve dayanıksız kelimelerini birbirine yakın yerleştiriyor ve sınıflandırıcının 100 boyutta kestirmesi gereken katsayı sayısı çok daha az.

Kendi kendine denetimli (self-supervised) eğitim — etiketi verinin kendisinden türeten eğitim — etiketlere bakmadan kelimelerin birlikte görülme örüntülerinden bilgi çıkarır. Bu örüntüler az etiketli bir sınıflandırıcıya yararlı olabilir; modelin Türkçenin bütün dilbilgisini ya da duygu kutbunu öğrendiği anlamına gelmez. Öğrenilen bilginin bu görevde hangi örnekleri düzelttiği ayrıca incelenmelidir. Bu kitaptaki ön eğitimli modellerin arkasındaki genel ilkenin küçük ölçekli hâli budur.

Sonra eğri düzleşiyor

• Ortalaması alınmış fastText 500 etiketle 61,16, 40.000 etiketle 61,36 macro-F1 alıyor; on örneklemli ölçümde 500 ile 5.000 etiket arasındaki ortalamalar 61,2–62,0 bandında kalıyor
• Kelime TF-IDF’i yaklaşık 10.000 etikete kadar yükseliyor, sonra tek koşuda hafifçe düşüyor
• Ölçülen şey “yoğun temsiller” değil, bu kurulum: sıfırdan eğitilmiş 100 boyutlu statik vektörlerin ortalaması

Genelleşen kısım, sorunun kendisi: bu görevde beni sınırlayan etiket mi, temsil mi, yoksa ayarlar mı?

Bu yakınlık, mevcut havuzlama ve ayarlarla daha fazla etiketin sınırlı kazanç verdiğini düşündürür. Bunun temsilin değişmez üst sınırı olduğunu söylemek için normalleştirmeyi, C’yi, karar eşiğini, farklı tohumları ve kelime sırasını koruyan alternatifleri karşılaştırmak gerekir.

İki eğrinin biçimi farklı: bu kurulumda ortalamaya dayalı statik yoğun temsil birkaç yüz etiketten sonra neredeyse hiç kazanmıyor, seyrek doğrusal model ise etiket geldikçe kazanmayı sürdürüyor. Cümleyi bu kadar dar tutmak önemli.

Bunun bedeli ne

Tek CPU çekirdeğinde, 40.000 eğitim belgesiyle; süreler tek koşudan.

                      build the        vectorise      training
                      representation   10,000 test    matrix
tf-idf                     0.5 s          0.11 s        9.7 MB
tf-idf 1-2 gram            0.9 s          0.17 s       15.4 MB
tf-idf char_wb 3-5         2.9 s          0.72 s      144.8 MB
word2vec + averaging      14.7 s          0.11 s       16.0 MB
fastText + averaging      31.6 s          0.27 s       16.0 MB
doc2vec                    8.5 s          1.73 s       16.0 MB

• training matrix sütunu yalnızca eğitim matrisinin belleğidir; modeli, sözlüğü ya da embedding tablosunu ve tepe RAM kullanımını kapsamaz
• Süreler tek koşudan geliyor; koşudan koşuya fark yüzde on dolayında kaldı, küçük süre farklarını bu yüzden karşılaştırmayın

Yöntem seçerken skorla birlikte eğitim ve çıkarım maliyetini de değerlendirmek gerekir. Bu deney üç şeyi ölçtü: temsili kurma süresini, 10.000 test belgesini vektörleştirme süresini ve eğitim matrisinin belleğini.

Burada olmayanlar: model dosyasının boyutu, sözlük ve embedding tablosunun bellekte kapladığı yer, sınıflandırıcının kendi boyutu, eğitimdeki tepe RAM kullanımı, 95. yüzdelik (p95) gecikme ve bir indeksi yayına almanın bedeli.

Yüzde on, ilk raunttaki vektörleştirme sürelerinin beşer kez yeniden ölçülmesinden geliyor (örneğin bigram şemasında 0,82–0,90 sn).

Bag-of-words matrisinin seyreklik deseni tf-idf matrisiyle aynı olduğu için o da aynı boyutta; tabloda yalnızca tf-idf satırı var.

Tablodaki iki satır ayrıca yorumlanmayı hak ediyor

• Karakter n-gram’ları: tam eğitim koşulunda karakter TF-IDF’i 144,8 MB’lık bir matrisle (belge başına 301 sıfırdan farklı değer) 70,39 macro-F1 aldı; kelime TF-IDF’i 9,7 MB ile 71,95
• 1.000 etiketli noktada ise karakter öznitelikleri kelime TF-IDF’inin 3,2 puan önündeydi: bellek–skor dengesini etiket miktarına ve metindeki yazım gürültüsüne göre yeniden değerlendirin
• doc2vec, yeni bir belgeyi vektörleştirmek için gradyan inişi koşturmak zorunda: 10.000 yorum için 1,73 saniye; ortalama alma ise 0,11 — 16 kat fark ve eğitimin aksine bu maliyet her yeni belgede yeniden oluşuyor
• Bu kurulumda doc2vec’in macro-F1’i 55,13 ile incelenen yoğun satırların en düşüğü

Bu kısa ve gürültülü yorum görevinde doc2vec’in varsayılan tercih olmasını destekleyen bir ölçüm yok. Mutlak sayıya da bakın: belge başına 0,17 milisaniye, çoğu servis için hâlâ küçük.

Karakter n-gram’larında bellek ile skor dengesi koşula bağlı.

doc2vec’in maliyeti üzerine: karar, sizin gecikme bütçenize göre verilir.

Önceki bölümün 20 Newsgroups karşılaştırmasında doc2vec ortalama almanın önündeydi; burada 6,3 puan geride. İki sonuç arasındaki farkın belge uzunluğundan mı, dilden mi, veri miktarından mı kaynaklandığını bölüm sınamadı.

Melez yaklaşım ve bir olumsuz sonuç

kurulum	macro-F1
tek başına ortalaması alınmış fastText	61,36
tek başına karakter TF-IDF’i	70,39
karakter TF-IDF’i ⊕ ortalaması alınmış fastText, düz birleştirme (95.039 boyut)	71,65
tek başına karakter TF-IDF’i, aynı ayar bütçesiyle (C = 30)	73,46
yoğun bloğu L2 ile normalleştirilip ölçeklenen melez (\(\alpha = 2\), C = 10)	74,69
kelime bigram TF-IDF’i, ayarlanmamış	76,21

• Blok ölçeklerini ayarlamak melezi düz birleştirmenin 3,02 puan üstüne çıkarıyor (2,00 ile 4,06 arası) — ama ayarlanmamış bigram TF-IDF’i ayarlanmış melezin hâlâ 1,52 puan önünde (0,20 ile 2,80 arası)

Melezi yalnızca kendi parçalarıyla karşılaştırıp başarı diye bildirmek, tam da bu bölümün karşı çıktığı şey olurdu: işinize gelen baseline’ı seçmek.

Akla gelen ilk hamle birleştirmek: yazım dayanıklılığı için karakter TF-IDF’i, anlam için ortalaması alınmış fastText, ikisinin üstünde tek bir sınıflandırıcı.

Önce ölçek. Melezdeki iki blok farklı ölçeklerde geliyor: char_wb TF-IDF satırları L2 ile normalleştirilmiş (norm 1; belge başına yaklaşık 301 sıfır dışı değer, ortalamaları 0,05); ortalaması alınmış fastText satırları ise normalleştirilmemiş ve normları ortalama 2,5 (bileşenlerin ortalama mutlak değeri 0,2). İki bloğu tek bir L2-cezalı C = 1.0’a vermek, aralarındaki göreli ağırlığı bizim değil varsayılanın seçmesi demek. Bu yüzden iki sürüm de ölçüldü.

Düz birleştirme: doğruluk 89,36; macro-F1 71,65; F1(neg) 49,24. Yeniden koşudaki eşleştirilmiş bootstrap aralıklarıyla: melez − karakter TF-IDF +1,28 puan (0,65 ile 1,92 arası), bigram − melez +4,54 puan (3,42 ile 5,63 arası). Yani düz melez kendi parçalarının önünde, bigram’ların gerisinde.

Ayarlı sürüm: yoğun blok satır bazında L2 ile normalleştirilip bir α katsayısıyla çarpıldı; α (0,25; 0,5; 1; 2; 4) ve C (1; 3; 10; 30) 32.000/8.000’lik doğrulama bölmesinde seçildi ve model 40.000 belgede yeniden eğitildi. Melezin ayarlanmış karakter TF-IDF’ine göre kazancı 1,23 puan (0,33 ile 2,15 arası). Düz birleştirmeye bakıp “melez işe yaramıyor” demek yanlış olurdu — ama bu kurulumda ölçek ayarı bigram TF-IDF’ini geçmesine yetmiyor.

Maliyet tarafında, temsil kurma sürelerinin kaba toplamı 2,9 + 31,6 = 34,5 saniye, bigram modelinin 0,9 saniyesine karşılık; uçtan uca eğitim ve servis maliyeti ölçülmedi. Birleştirme gerçek bir tekniktir ve burada bileşenlerine göre ölçülebilir bir kazanç veriyor.

Bilerek seçmek: seyrek adaylar

	bu deneyde ölçülen	ne zaman seçilir
Bag of words	Sabit C = 1.0 ile kelime TF-IDF’inden yüksek skor aldı (73,51’e karşı 71,95). Belge uzunluğunu kendiliğinden normalleştirmez	Kısa belge sınıflandırması için ilk baseline’lardan biri; ayarları doğrulama kümesinde seçin
TF-IDF (kelime)	C doğrulamada ayarlanınca 74,71 macro-F1 aldı ve ham sayımların önüne geçti; paylaşılan ve ayarlanmamış C ile gerisinde kaldı	Genel amaçlı ilk seyrek baseline; vektörleştirici ve C seçimini eğitim/doğrulama sınırı içinde yapın
TF-IDF (kelime unigram + bigram)	Bu bölümdeki en yüksek macro-F1: 76,21. Az etikette unigram TF-IDF’in altında kaldı	Birkaç bin etiketiniz varsa ve yerel kalıpların önemli olabileceği kısa metin görevlerinde — duygu, niyet, triyaj
TF-IDF (karakter n-gram’ları)	1.000 etikette kelime TF-IDF’inin 3,2 puan önündeydi; 144,8 MB eğitim matrisi; tam veride daha düşük macro-F1 (70,39)	Yazım değişkense ve ölçtüğünüz bellek ile skor uygunsa

Yedi temsilin ölçülen skorları, bellek ve kapsama özellikleri farklı. Bölümdeki tablo güçlü yanları, zayıf yanları ve ne zaman seçileceğini bu deneyin koşullarıyla birlikte özetliyor; bu slayt ve bir sonraki onu kısaltıyor.

Bag of words: bu deneyde en hızlı kurulan temsillerden biri; kelime öznitelikleri katsayılarla eşleştirilebilir. Temsil aşamasında bir bilgilendiricilik ağırlığı uygulamaz; nadir biçimler ayrı özniteliklerdir; katsayılar tek başına neden göstermez.

TF-IDF (kelime): ayardan sonraki fark 1,20; eşleştirilmiş bootstrap aralığı 0,42–1,99. Görülmemiş bir kelime biçiminin sütunu yoktur; model aynı belgedeki tanıdık kelimelere dayanır. Türkçe çekimler ayrı sütunlara dağılır.

Unigram + bigram: 101.659 sütun, unigram’ın 3,4 katı; 1.000 etikette ortalama 51,7’ye karşı 56,6. Hangi dizilerin skora ne kadar katkı verdiği ayrıca çözümlenmeli; eğitimde görülmemiş bigram’lar temsil edilmez.

Karakter n-gram’ları: yanlış yazılmış bir kelime, doğrusuyla n-gram’larının çoğunu paylaşır. Kelime tokenizer’ına daha az bağımlı — ama küçük harfe çevirme, Unicode normalleştirmesi ve bozuk karakterler hâlâ dile bağlı kararlar. Belge başına ortalama 301 sıfır dışı değer; görülmemiş n-gram’lar atılır; n-gram katsayıları kelime katsayılarından daha güç yorumlanır.

Bilerek seçmek: yoğun adaylar

	bu deneyde ölçülen	ne zaman seçilir
Ortalaması alınmış word2vec	100 boyutlu belge vektörüyle 61,39 macro-F1. 1.000 etikete kadar on etiket örnekleminin hepsinde kelime TF-IDF’inin önünde. Farklı test biçimlerinin %46,4’ü sözlükte yok	Etiket kıtsa ya da yoğun vektör araması gerekiyorsa; hedef veride sınanacak bir aday olarak
Ortalaması alınmış fastText	Bütün test biçimleri için vektör kurdu. Tek altörneklemli eğride 250 etikette en yüksek skor (63,10). Macro-F1’i word2vec’inkinden ayırt edilemedi	Yazım ve biçim çeşitliliği yüksekse; görev başarısını ve belleği ölçerek
doc2vec (PV-DBOW)	Bu koşudaki en düşük skor: 55,13. Yeni belge için vektör çıkarımı ek optimizasyon gerektirir (ortalamanın 16 katı)	Belge vektörünü doğrudan öğrenmenin kendi verinizde ortalama almayı geçtiğini ayrı bir deneyle gösterebildiğinizde

Yöntem seçimi göreve ve veri bütçesine göre yapılmalı.

Ortalaması alınmış word2vec: kelime TF-IDF’inden 302 kat az koordinat; etiketsiz metinden eğitilir. Sıra 1.250–1.750 etiket arasında değişiyor ve bu aralık taşınabilir değil. Ortalama, sözlük dışı biçimleri atlar; az görülmüş sözlük içi biçimlerin vektörü zayıf kestirilmiş olabilir; ortalama alma kelime sırasını ve bazı yerel ayrımları kaybeder. Yoğun matris seyrek matristen küçük olmak zorunda değil (16,0 MB’a karşı 9,7 MB).

Ortalaması alınmış fastText: benzer yazılış, zıt duygulu biçimleri de yakınlaştırabilir (kalitesiz → kalitesi); ilk 5 komşunun %60,7’si sorguyla aynı beş harfle başlıyor (word2vec’te %6,5). 61,36’ya karşı 61,39. Eğitimi word2vec’in yaklaşık 2 katı sürdü; alt kelime tablosunun belleği ölçülmedi.

doc2vec: eğitim belgelerinin her biri için ayrı bir vektör öğrenir; ortalama alma adımı yoktur. 10.000 yorum için vektör çıkarımı 1,73 sn. Bu varyantın kelime sırasını temsil ettiği gösterilmedi. Fazladan hiperparametreler.

Temsil seçme sırası

1. Görevi, yanlış alarm ve kaçırma maliyetlerini, ana metriği yazın
2. Veri sürümünü, eğitim/doğrulama/test bölmelerini ve etiketsiz metni sabitleyin
3. Ön işlemeyi, sözlüğü ve IDF’i test etiketlerinden uzak tutun
4. Ucuz baseline’ları kurun: kelime sayımları / tf-idf, kelime n-gram’ları, karakter n-gram’ları
5. Yeterli etiketsiz metniniz ya da uygun ön eğitimli vektörünüz varsa bir embedding adayı ekleyin
6. Her adayın ayarlarını aynı doğrulama bütçesiyle seçin
7. Kararı doğrulama kümesinde verin: skor + aralık · gecikme · bellek · açıklanabilirlik ihtiyacı
8. Kilitli test kümesini, seçilmiş çözüm için bir kez kullanın

Bu bir eşik listesi değil, bir soru listesi. Bu bölümün gözlediği sayılar 5. adımda birer başlangıç beklentisi olarak işe yarar, 1. adımda birer kural olarak değil.

Karar prosedürünün, tek satır kod yazmadan önce uygulanabilecek biçimde sıkıştırılmış hâli.

Slaytın dışarıda bıraktığı ayrıntılar. Üçüncü adım: hangi metnin nerede kullanıldığını belgeleyin. Dördüncü adım: karakter n-gram’ları özellikle yazım gürültülüyse. Altıncı adım: OOV oranına ve hata örneklerine bakın — sıra ve olumsuzlama mı, yazım ve OOV mi?

Kutudaki sayılar: 1.250–1.750 etiket arasındaki sıra değişimi, kısa belgelerdeki sayım–TF-IDF sıralaması, süreler. “Açıklama gerekiyorsa seyrek”, “milyonlarca vektörde arama gerekiyorsa yoğun” da böyle: ikisi de güçlü ilk adaylar, mutlak kurallar değil. Seyrek sözlüksel erişim (lexical retrieval) milyonlarca belgede pekâlâ standart olabilir ve yoğun modeller de açıklanabilir hâle getirilebilir.

Ortak sınır: kelime sırası

### two reviews, same words, opposite meaning
a = "kalite iyi fiyat kötü"
b = "kalite kötü fiyat iyi"

cosine, averaged fastText   1.0000
cosine, tf-idf              1.0000

• Unigram TF-IDF de kelime vektörlerinin basit ortalaması da iki yorum için aynı vektörü üretir: toplama, terimlerin sırasına duyarsızdır
• Yalnızca bu vektörü girdi alan bir sınıflandırıcı iki yorumu ayıramaz — daha çok etiketle de, daha güçlü bir sınıflandırıcıyla da

Belge düzeyindeki duygu analizi bu kaybı, yön (aspect) düzeyindeki görevlere göre daha iyi tolere edebilir; “müşteri hangi bileşenden şikâyet ediyor” sorusunda ise aynı kayıp görevi doğrudan engelliyor.

Bölümü “sayım yöntemleri daha yüksek skor aldı” özetiyle kapatmak eksik olurdu; çünkü en yüksek skorlu modelin de hâlâ kaçırdığı bir şey var. Unigram kelime torbası ve kelime vektörlerinin basit ortalaması, bazı sıra değişimlerini aynı belge temsiline indirger.

İki yorum aynı token’ları aynı sayıda içeriyor. Aynı tokenleştirme, aynı sözlük ve aynı ağırlıklar altında vektörler eşittir; kosinüs bu yüzden yaklaşık değil, tam olarak 1’dir — pratikte kayan nokta yuvarlamasına kadar; dördüncü ondalığın çok altında. Sırayı, bigram’ları ya da özgün metni ayrıca gören bir model iki yorumu ayırabilir.

Çoğu yorumun baştan sona tek kutuplu olduğu makul bir beklenti, ama bölüm onu ölçmedi.

O 1,0000’in neye ait olduğunu açıkça belirtin: iki satır unigram TF-IDF’e ve ortalaması alınmış embedding’lere ait. Kelime bigram’larında durum farklı — sonraki slayt.

Bigram’lar yerel sırayı tutar, uzak ilişkileri değil

• İki yorumun bigram’ları tek bir bigram bile paylaşmıyor; altı bigram’ın dördü sözlükte ve iki yorumun kosinüsü 1,0000’den 0,3247’ye iniyor
• Temsillerin ayrılması, sınıflandırıcının farklı ya da doğru etiket vereceği anlamına gelmez: bu model iki yoruma da olumsuz diyor (olumlu olma olasılıkları 0,26 ve 0,15)
• Pompa, mühendisin geçen hafta değiştirmesine rağmen yine arızalandı cümlesinde pompa ile arızalandı arasında altı kelime var: bu bağı tek bir ardışık n-gram ile kapsamak için sekiz token’lık bir dizi gerekir

Daha uzun ilişkiler için temsilin kelime dizisinin bir fonksiyonu olması gerekir: kelime sırasını hesaba katan encoder’lar (kodlayıcılar); Kısım II bu sınırdan başlıyor.

Bigram’lar: kalite iyi, iyi fiyat, fiyat kötü ile kalite kötü, kötü fiyat, fiyat iyi. fiyat kötü ile kötü fiyat, min_df=2 eşiğini geçemedi. Eşik bir çiftin bütün bigram’larını elerse, o çiftte sıra bilgisi de kaybolur.

Bigram torbası yerel sırayı tutar; daha uzaktaki bağımlılıkları doğrudan kodlamaz. Türkçenin özne–nesne–yüklem dizilimi özneyi başa, yüklemi sona itiyor. Sekiz token’lık kadar uzun kalıplar küçük veri kümelerinde çok seyrek tekrar eder. Olası n-gram çeşitlerinin sayısı n ile çok hızlı artar; fiilen saklanan sözlük ise görülen kalıplarla ve eşiklerle sınırlıdır.

Kelime dizisinin fonksiyonu: kalite, ardından iyi okuduğunda, kalite, ardından kötü okuduğundakinden farklı bir durum üreten bir şey. Dil modelleri, bu tür encoder’ları büyük miktarda etiketsiz metinden öğrenmenin önemli yollarından biridir — ama sırayı hesaba katan bir encoder’ın illa bir dil modeli olması gerekmez. O durumu diğer bütün kelimelere aynı anda bağlayan mekanizma ise attention’dır (dikkat mekanizması); konusu dil modelleri bölümünden sonraki bölümde.

Sonraki modellerde aranacak iki yararlı özellik: seyrek temsillerin belirleyici yerel biçimlere duyarlılığı ve embedding’lerin kelime biçimleri arasında ortak yapı kurabilmesi. Hangi kazancın gerçekleştiğini yine hedef görevde ölçmek gerekir.

Sezgi kontrolü 1 / 4

Müşterinizin Türkçe 400 etiketli destek talebi ve 2 milyon etiketsiz talebi var. Hangi temsil?

• Tek bir model adı değil, bir karşılaştırma planı: önce talebin etiketini, iş metriğini ve test düzenini belirleyin
• Etiketsiz talepler iki aile için de kaynaktır. TF-IDF sözlük ve belge frekansıyla sınırlı kalır; embedding modeli aynı metinden eş-oluşum yapısını da çıkarır
• Bu bölümün deneyinde 500 etikette embedding ortalamaları kelime TF-IDF’inin yaklaşık 11 puan önündeydi (62,0’a karşı 50,7): bu bir beklenti, bu alan için bir eşik değil
• Kelime n-gram, karakter n-gram ve embedding adaylarını aynı doğrulama bütçesiyle karşılaştırın; ek etiketleme kararını kendi öğrenme eğrinizle verin

Sınıfa bir dakika verin, sonra cevabı açın (tek tık).

Etiketsiz metin “bedava” da değil: eğitim süresi ve veri erişimi birer maliyettir. word2vec ya da fastText’i o metinde eğitebilir, ön eğitimli vektörleri alana uyarlayabilirsiniz.

62,0’a karşı 50,7, on etiket örnekleminin ortalaması. Destek talepleri başka bir alan, etiket de başka bir etiket. Talepler kullanıcıların yazdığı Türkçe metinler olduğu için fastText’i özellikle deneyin: burada farklı test biçimlerinin %46,4’ü word2vec sözlüğünün dışındaydı; kendi verinizdeki oranı ölçün.

Ürün yorumu deneyindeki 1.250–1.750 etiketlik sıra değişimini bu alanda eşik saymayın.

Sezgi kontrolü 2 / 4

Bir meslektaşınız %93 doğruluk bildirip modeli yayına almak istiyor. Ne istersiniz?

• Önce aynı test kümesindeki çoğunluk kuralının doğruluğunu ve karışıklık matrisini (confusion matrix)
• %93, bu test kümesinde her girdiye çoğunluk sınıfını vererek elde edilen %93,68’in altında. Bu, modelin işe yaramadığını göstermez: bu bölümün bigram TF-IDF’i %92,57 doğrulukla olumsuzların %76,3’ünü buluyor
• Bu yüzden olumsuz sınıfın recall ve precision’ını, seçilen karar eşiğinde yanlış alarmların yarattığı iş yükünü isteyin
• Sorunun genel hâli: en basit baseline’ın skoru kaç? Bunu, bildirilen herhangi bir skora bakmadan önce sorun

Doğruluğu daha düşük bir model olumsuzların çoğunu buluyor olabilir.

Yayına alma kararı için kaçırılan şikâyetin ve yanlış alarmın maliyeti ile hedef trafikteki sınıf dağılımı da gerekir.

Sezgi kontrolü 3 / 4

fastText biçim kapsamasını %100’e çıkardı. Skor neden yükselmedi?

• word2vec 61,39, fastText 61,36 macro-F1 aldı; fark ayırt edilemiyor (eşleştirilmiş bootstrap aralığı −0,60 ile +0,77)
• Farklı yöntemlerle eğitilmiş iki model var: bu kurgu kapsamayı yalıtmıyor
• Olası açıklamalar: fastText’in komşuları yazılışça yakın biçimlere kayıyor; ortalaması alınmış vektörlerde bir cümle ile olumsuz hâli arasındaki kosinüs iki modelde de yüksek
• Bir temsil özelliğindeki iyileşme, ancak görevi sınırlayan şey o özellikse görev skorunda görünür

Kapsama, farklı test biçimlerinin %53,6’sından %100’üne çıktı. Eğitim tohumu tek başına 0,5–0,8 puan oynatıyor. Skor farkından kapsamanın nedensel etkisini ayıramayız.

Açıklama adayları, sayılarla: fastText’te ilk 5 komşunun %60,7’si sorguyla aynı beş harfle başlıyor (word2vec’te %6,5) ve kalitesiz, olumsuzluk eki taşımayan kalitesi’ni getiriyor. Olumsuzlama kosinüsleri: fastText’te 0,78–0,96, word2vec’te 0,72–0,96. Doğrulamak için aynı model üzerinde OOV token’larını çıkarıp ekleyen bir ablasyon, eşit ayar bütçesi ve eşleştirilmiş hata analizi gerekir.

Aktarılabilir ders: bir şeyi düzeltmeye girişmeden önce neyin sınırladığını ölçün.

Sezgi kontrolü 4 / 4

300 boyutlu ya da ön eğitimli vektörler kararı değiştirir miydi?

• Bilmiyoruz; bu koşullar ölçülmedi
• Daha büyük ya da ön eğitimli Türkçe vektörler komşulukları, olumsuzlama çiftlerinin kosinüsünü ve görev skorunu değiştirebilir; yönünü ve büyüklüğünü bu bölümden çıkaramayız
• Değişmeyen tek şey matematiksel olan: aynı kelimeleri aynı sayıda içeren iki cümlenin basit ortalaması, hangi sabit kelime vektörleri kullanılırsa kullanılsın aynıdır — kelime sırası örneğindeki 1,0000 bu yüzden değişmez
• Bunu karara bağlamanın yolu 13. alıştırma

Ön eğitimli Türkçe vektörler: Grave vd. (2018).

0,78–0,96’lık olumsuzlama kosinüsleri 1,0000 gibi değil: o cümleler hangi kelimenin geçtiğinde farklılaşıyor ve başka vektörler beğendim ile beğenmedim’i birbirinden daha uzağa koyabilir.

Alıştırma: bölümün deneyini 300 boyutlu, ön eğitimli vektörlerle yeniden koşturun; sıralamayı ve sıranın değiştiği etiket aralığını yeni deneyle belirleyin.

Mülakat tarzı tartışma soruları

Bölümün altı sorusundan üçü. Cevapların neredeyse hepsi bu bölümün ölçtüğü bir şeye dayanıyor.

1. Metin sınıflandırma için embedding mi, TF-IDF mi?
2. Kelime vektörlerinin ortalaması neden sayımların gerisinde kalabilir?
3. İki temsili manşet skorlarının ötesinde nasıl karşılaştırırsınız?

Önce görevde belirleyici olan ekseni adlandırın: etiket miktarı, biçim çeşitliliği, sıra gereksinimi ya da maliyet. Ardından ilgili ölçümü verin ve sonucu hangi yeni verinin ya da deneyin değiştireceğini söyleyin.

Önerilen biçim: ikili gruplar, her gruba bir soru, iki dakika; sonra bölümdeki cevaplarla karşılaştırın.

Birinci soru, üç adımda. İlk soru: etiketli örnek sayısı, erişilebilir etiketsiz derlem ve görevin türü (belge düzeyi mi, yön düzeyi mi; belge uzunluğu; yazım/OOV gürültüsü). Sayı: 250 etikette ortalaması alınmış fastText 63,10 macro-F1 alırken kelime TF-IDF’i 48,53 aldı; 40.000 etikette aynı TF-IDF 71,95, fastText 61,36 aldı; on etiket örnekleminde sıra 1.250 ile 1.750 etiket arasında değişiyor. Sınır: aralık, eğriye hangi seyrek modeli koyduğunuza bağlı — bigram TF-IDF fastText’i ancak 2.000–2.500 etiket arasında geçiyor.

İkinci soru. Ortak içerik, ayırt edici tek bir kelimenin yön katkısını zayıflatabilir: beş karşıt çiftte kosinüs ortalaması alınmış fastText’te 0,78 ile 0,96, TF-IDF’te 0,19 ile 0,69. Yüksek kosinüs doğru sınıflandırmayı dışlamaz. Birinci temel bileşeni çıkarılmış ağırlıklı ortalama (Arora vd. 2017) denenebilecek ucuz bir seçenektir; o da kelime sırasını geri getirmez.

Üçüncü soru. Eşleştirilmiş tahminlerin çapraz tablosunu çıkarın: test kümesinin %84,1’inde uyuşma; TF-IDF 1.315, fastText 272 kez tek başına doğru — bir McNemar testinin ihtiyaç duyduğu iki sayı. Sonra örnekleri okuyun, ama altı seçilmiş yorumdan 272’nin tamamı hakkında sonuç çıkarmayın. Skorları birbirine yakın iki modelde eşleştirilmiş bootstrap aralığını ve sistematik bir hata etiketlemesini ekleyin.

Diğer üç soru, ödev olarak: Türkçenin biçim çeşitliliği hangi adayları gündeme getirir; maliyet farkı ne zaman önemlidir (bu makinede bigram TF-IDF için 0,9 s ve 15,4 MB, fastText için 31,6 s ve 16,0 MB — bunlar toplam model belleği ya da servis gecikmesi değil); daha büyük bir encoder da denenecekse bu karşılaştırma neden yararlı.

Akılda kalması gerekenler

• Bildirilen herhangi bir skora bakmadan önce en basit baseline’ın skorunu sorun: burada çoğunluk kuralı %93,68 doğruluk ve 48,37 macro-F1 alıyor
• Eşit ayar bütçesi verilmeden yapılan bir temsil karşılaştırması, ölçmek istediğiniz şeyi ölçmeyebilir: “ham sayımlar TF-IDF’in önünde” sonucu paylaşılan ve ayarlanmamış bir C’ye bağlıydı
• Yerel sonuç: bu kurulumda 40.000 belgeden çıkarılan sayımlar, 0,9 milyon token üzerinde sıfırdan eğitilmiş statik embedding’lerin önündeydi
• Kapsama ile görev skoru ayrı ölçümlerdir: fastText kapsamayı %100’e çıkardı, macro-F1 ise ayırt edilebilir biçimde değişmedi
• Az etikette embedding ortalamaları öndeydi; bu kurulumda sıra 1.250 ile 1.750 etiket arasında değişiyor. Taşınabilir olan eşik değil, biçim
• Genellenebilir sonuç: unigram torbası ve kelime vektörlerinin basit ortalaması, aynı kelimelerin farklı sırasına aynı vektörü verir

Dersin altı cümlelik özeti; her cümle daha önce gösterilen bir ölçüme bağlı.

Tanılama alışkanlıkları bu bölümden geliyor ve daha karmaşık modellere de aynen uygulanır: olumsuzlama kosinüsü testi, uyuşmazlık çapraz tablosu, kapsama ile skor arasındaki ayrım ve maliyet denetimi.

Bölümün mülakat sorularından ileriye bir işaret: 12. bölümün kendi ölçümünde fine-tune edilmiş encoder kabaca 500 etiketin altında bu bölümdeki yöntemlerin gerisinde kalıyor; sıra 500 ile 1.000 etiket arasında değişiyor. Öğrenciler o sonucu kendi verileriyle, etiket bütçeleriyle ve ayar koşullarıyla karşılaştırmalı.

Laboratuvar ve alıştırmalar

• Bölümde 13 alıştırma var: Temel, Uygulama, İleri ve Araştırma etiketli
• Yapılacak tek alıştırma buysa 8. alıştırma: eşleştirilmiş bootstrap tablosunu yeniden üretin, sonra deneyi beş farklı eğitim/test bölmesiyle tekrarlayın
• 2. alıştırma: class_weight="balanced" ayarını kaldırıp her modeli yeniden koşturun
• 13. alıştırma: ikinci rauntun sıfırdan eğitilmiş vektörlerini 300 boyutlu ön eğitimli Türkçe vektörlerle değiştirin ve öğrenme eğrisini yeniden çıkarın

Bölüm: Metin Temsillerini Karşılaştırmak. Laboratuvar, notebooks deposundaki bölüm notebook’unu izliyor: tr/chapters/04-karsilastirma/04-karsilastirma.ipynb.

Temel kavramı pekiştirir, Uygulama kendi verinizde ölçüm yaptırır, İleri bölümün ötesine geçer, Araştırma ise açık uçludur.

Sekizinci alıştırmanın tamamı: tablo, ikinci raunttaki eşleştirilmiş bootstrap tablosu. Önceden belirlenen model çiftleri için aynı 10.000 test belgesini eşleştirilmiş biçimde yeniden örnekleyip macro-F1 farkının %95 aralığını hesaplayın; doğruluk farkı için doğru/yanlış eşleştirmesinden McNemar testini kullanın. Aynı tabloda çok sayıda çifti sınarken çoklu karşılaştırmayı ve test kümesinin bölümde daha önce de incelenmiş olduğunu belirtin.

Yedinci alıştırma: birleştirici nokta hasarı için bir normalleştirme kuralı yazıp ilk rauntun tablosunu yeniden koşturun. Bu altörneklemde işaret her seferinde bir i’nin ardından geliyor; başka bir derlemde U+0307 gerçek bir birleştirici işaret olabilir. Bölüm sözlüğün 30.195 sütundan 29.823’e indiğini buldu.

Diğer alıştırmalar: kesişimi farklı min_df eşikleriyle incelemek; SIF ile ağırlıklı ortalama (Arora vd. 2017); kendi alanınızdan yirmi olumsuzlama çifti; karakter n-gram koşulları; yön düzeyinde yeni bir görev; bir karar eşiği seçmek; ablasyon merdivenini C ayarlanmış olarak yeniden koşturmak; analyzer denetimi; tekrarlı öğrenme eğrilerini genişletmek.

Daha derine inmek için bölümde anılan makaleler: Joulin vd. 2017 (denetimli fastText sınıflandırıcısı — ikinci rauntta kullanılan denetimsiz alt kelime vektörleriyle aynı şey değil), Bojanowski vd. 2017, Le ve Mikolov 2014, Arora vd. 2017 ve Dror vd. 2018.