Embedding’ler (Kelime Temsilleri): Koordinat Olarak Kelimeler

3. Bölüm · Uygulamalı Doğal Dil İşleme

Dr. Batuhan Bardak

Bu dersin sonunda

• dağılımsal hipotezi (distributional hypothesis) bir matrise dönüştürebilir, PPMI ile yeniden ağırlıklandırabilir ve kesik (truncated) SVD ile sıkıştırabilirsiniz
• negatif örneklemeli (negative sampling) skip-gram’ı sıfırdan yazabilir ve iki vektör tablosunun lojistik kayıpla nasıl birlikte öğrenildiğini açıklayabilirsiniz
• verilen bir problem için word2vec, GloVe, fastText ve doc2vec arasında seçim yapıp seçiminizi savunabilirsiniz
• uzayın yönlere eşit dağılmamasını (anizotropi), sıklığın temsile etkisini ve kosinüsün eş anlamlılıktan daha geniş ilişkileri yansıtmasını inceleyebilirsiniz
• statik embedding’lerin bağlama göre değişmeyen temsilini açıklayabilir, 7. bölümdeki bağlamsal temsillere neden ihtiyaç duyulduğunu tartışabilirsiniz

Bölümün öğrenme hedefleri, beşe indirilmiş hâli. PPMI hedefinin tam ifadesi: gözlenen çift olasılığını bağımsızlık modelinin öngörüsüyle karşılaştıran ve negatif PMI değerlerini sıfırlayan bir ağırlıklandırma.

Dersin yolu: uzayı önce sayımlardan kuruyoruz; küçük örnekte her adım elle denetlenebiliyor. Sonra negatif örneklemeli skip-gram’ı gradyanlarıyla birlikte sıfırdan yazıyor ve bu yöntemin PMI ile ilişkisini inceliyoruz. Son olarak embedding’lerin kullanım alanları, geometrik özellikleri ve bağlama göre değişmeyen temsillerin sınırları.

Bölümdeki kod parçaları yöntemi açıklamak için kısaltılmış; sayılar gerçek çalıştırmalardan geliyor ve tam kod bölümün notebook’unda.

Yoğun bir bölüm. İki derse bölünecekse doğal kırılma noktası “−log K nereden geliyor” slaytından sonrası.

Problem, tek cümlede

• 2. bölüm işe yarayan belge vektörleri kurdu — ve işe yaramayan kelime vektörleri
• Her kelime bir one-hot sütundu: pump, pumps ve impeller birbirine dik üç yön
• Birbirinden farklı iki one-hot arasındaki kosinüs tam olarak sıfır
• Yalnızca kelime sayımlarını kullanan doğrusal bir modelde pump ve pumps ayrı özniteliklerdir: the pump failed ile eğitip the pumps failed ile test edin; pump için öğrenilen ağırlık kendiliğinden pumps’a aktarılmaz

Doğrusal cebir diliyle: one-hot vektörlerini öğrenilmiş bir matrisle çarpın. Her kelime için 100 ya da 300 sayı; benzer kullanılan kelimelerin yakın düşmesini hedefleriz. Bu kısa, yoğun vektör bir embedding.

Veri Olarak Metin (2. bölüm) burada bitmişti. İki cümle the ile failed’i paylaştığı için bu ağırlıklar kullanılabilir; ama pump için öğrenilen ağırlık pumps özniteliğine kendiliğinden geçmez.

Embedding’in tanımı: bir birimin öğrenilmiş sayısal temsili. Bu bölümde çoğunlukla kelimeleri görece az boyutlu, yoğun (dense) vektörlerle temsil ediyoruz; dağılımsal yöntemlerde benzer bağlamlarda kullanılan kelimeler bu uzayda yakınlaşabilir. Yoğun vektörlerde bileşenlerin çoğu genellikle sıfırdan farklıdır; 2. bölümün seyrek (sparse) sayım vektörlerinde bileşenlerin çoğu sıfırdı. Harita koordinatı benzetmesi burada işe yarıyor.

İstatistikçiler için, dikkatli hâliyle: one-hot bir kodlamadır; bu kodlamayı kullanan bazı modellerde her kategori için bağımsız parametre öğrenilir. Kelime–bağlam etkileşimlerini düşük ranklı iki matrisle temsil etmek bu etkileşimlere ortak bir yapı getirir. Bunu teknik anlamda doymuş model ya da kısmi havuzlama (partial pooling) ile özdeşleştirmeyin; benzetme yalnızca sezgi içindir.

Üç tür embedding, bir bölüm

Tür	Örnek	Aynı kelime her yerde aynı vektörü alır mı?
Statik kelime embedding’i	word2vec, GloVe, fastText	Evet — kelime biçimi başına tek vektör
Bağlamsal token embedding’i	BERT	Hayır — her token’ın vektörü dizideki bağlamına göre hesaplanır; bir kelime birden çok token olabilir
Cümle / belge embedding’i	SBERT ve benzerleri	Bütün cümle ya da belge için tek vektör

Bu bölüm statik kelime embedding’lerine odaklanıyor; belge vektörlerine de kısa bir giriş yapıyor. Bağlamsal temsiller 7. bölümün, cümle ve belge temsillerinin erişimde kullanımı 19. bölümün konusu.

“Embedding” kelimesi üç farklı şey için kullanılıyor; öğrencinin bölümün zihinsel haritasını baştan kurması için bunu ilk beş dakikada ayırın. Bölümün sonunda statik embedding’lerin sınırlarına geldiğimizde bu tabloya geri döneceğiz: ilk satırın “Evet”i, tam olarak ele alınması gereken kısıt.

Okuma önerisi de burada verilebilir. İlk okumada omurga: dağılımsal hipotez → eş-oluşum → word2vec → kosinüs → GloVe ve fastText → statik embedding’lerin sınırları. İkinci okuma (Derinleşme): PPMI ve SVD’nin matematiği, negatif örneklemenin gradyanı, SGNS–PMI ilişkisi, anizotropi ve yanlılık ölçümleri.

Dağılımsal hipotez

“Bir kelimeyi, arkadaşlık ettiği kelimelerden tanırsınız.” — J.R. Firth, 1957

• Harris (1954) işlevsel sürümünü zaten ortaya koymuştu: bir kelimenin anlamı, göründüğü bağlamların dağılımından geri çıkarılabilir
• Aynı boşlukları dolduran kelimeler — the ___ failed, replaced the , pressure — benzer bir şey demektir
• Bir teorem değil, veriye dayanarak sınanan bir hipotez: benzer bağlamlar konusal ya da işlevsel yakınlığı belirlemeye yardım eder; eş anlamlılığı tek başına belirlemez — hot ile cold da birçok bağlamı paylaşır
• Elle etiketlenmiş örnek gerekmez: eğitim sinyali ham metindeki bağlamlardan türetilir

Böylece büyük etiketsiz derlemlerden temsil öğrenmek mümkün olur.

Firth (1957) dilbilimsel yöntem üzerine bir şey söylüyordu; Zellig Harris (1954) bunun işlevsel sürümünü zaten ortaya koymuştu.

Somut olarak: iki kelime aynı boşluklarda görünüyorsa, anlamları her ne ise, benzer bir şey demektir.

Hipotezin sınırını baştan söyleyin: zıt anlamlı kelimeler de bağlam paylaşır. Dersin ilerisinde bu ayrımı sayısal örneklerle inceleyeceğiz: increase/decrease kosinüsü 0,881.

Önce sayalım: eş-oluşum, PPMI, SVD

On cümle

corpus = [
    "the king rules the castle",
    "the queen rules the castle",
    "the king eats an apple",
    "the queen eats a banana",
    "the royal castle is grand",
    "a banana is sweet fruit",
    "an apple is sweet fruit",
    "the man eats an apple",
    "the woman eats a banana",
    "the king and queen are royal",
]

1. adım · ±2 token içinde sayın

	eats	rules	royal	sweet	the
king	1	1	0	0	4
queen	1	1	1	0	3
apple	2	0	0	1	0
banana	2	0	0	1	0

• king ≈ queen ve apple ≈ banana: hipotez şimdiden çalışıyor
• king satırındaki en büyük sayım the. Ham sayımlar, ilişkiyle birlikte kelimelerin genel sıklığından da etkilenir.

Sayıma dayalı yaklaşım üç iş yapar: seçilen penceredeki kelime–bağlam çiftlerini sayar (eş-oluşum, co-occurrence), sayımları yeniden ağırlıklandırır ve elde edilen matrisi düşük ranklı bir yapıyla yaklaşık olarak temsil eder. Küçük bir örnekte bu adımları izlemek sonraki yöntemleri anlamayı kolaylaştırır. Negatif örneklemeli skip-gram’ın da belirli varsayımlar altında PMI ile ilişkili bir matrisi örtük olarak çarpanlaştırdığı gösterilmiştir (Levy ve Goldberg 2014).

Derlemde 10 cümle ve 19 kelimelik bir sözlük var.

Birinci adım: bir kelimenin bağlamı, aynı cümlede solundaki ve sağındaki en fazla ikişer token. Merkez token’ı bağlama katmıyoruz. Her (merkez, bağlam) çifti için ilgili hücreyi bir artırıyoruz; pencere simetrik olduğu için ters yöndeki çift de kendi merkez konumunda sayılır. Bu matrisin satırları zaten 19 boyutlu kelime vektörleridir ve one-hot’ların aksine birbirine dik değildir. (castle sütunu bu dört satır için tamamen sıfır; slayta konmadı.)

Toplam eş-oluşumlar: the 22, eats 16, is 11, queen 10, king 9, a 8. the birçok kelimenin çevresinde sık geçtiği için king satırındaki yüksek sayımı tek başına krallığa özgü bir ilişki olarak yorumlayamayız.

2. adım · PMI, gözlenen ÷ beklenen

\[\mathrm{PMI}(w, c) = \log \frac{P(w, c)}{P(w)\,P(c)}\]

• Oran 1: çiftin gözlenen olasılığı bağımsızlık modelinin öngördüğüne eşit, PMI 0 — bu, anlamsal ilişki yok demek değil
• 1’den büyük: beklenenden sık, pozitif. 1’den küçük: beklenenden seyrek, negatif
• Nadir kelimelerde birkaç eş-oluşum, güvenilir bir negatif ilişki kestirimi için yetmeyebilir
• Pozitif PMI (PPMI) negatif değerleri sıfırlar; yararlı bir temsil tercihi, bütün negatif değerlerin anlamsız olduğu iddiası değil:

\[\mathrm{PPMI}(w, c) = \max\!\left(0,\ \log \frac{c_{wc}\, N}{c_{w\ast}\, c_{\ast c}}\right)\]

Pointwise mutual information (noktasal karşılıklı bilgi, PMI): bir kelime–bağlam çiftinin gözlenen olasılığının, marjinal olasılıklarının çarpımına oranının logaritması. Bağımsızlık modeline göre beklenenden sık görülen çiftlerde pozitif, seyrek görülenlerde negatif değer alır.

Kesri şöyle okuyun: payda, iki kelime birbirinden bağımsız olsaydı yan yana düşmelerini beklediğimiz sıklık. Pay, fiilen düştükleri sıklık. Yani PMI, gözlenen ÷ beklenen oranının logaritması.

PPMI formülünde c_wc çiftin kaç kez geçtiği, c_w* satır toplamı, c_*c sütun toplamı ve N matrisin genel toplamı.

PPMI ile IDF aynı formül değildir, ama aynı mühendislik içgüdüsünü paylaşırlar: yüksek bir ham sayım tek başına bilgi değildir. IDF bir terimin belgeler arasında ne kadar nadir olduğunu ölçer; PMI iki kelimenin yalnızca ikisi de sık geçtiği için mi sık karşılaştığını denetler.

Bir hücreyi elle hesaplayın

Dört sayı da \(C\)’den okunur: çift sayımı \(c_{wc}\), satır toplamı \(c_{w\ast}\), sütun toplamı \(c_{\ast c}\) ve \(N = 144\) — 51 token değil, bütün (kelime, komşu) çiftleri.

çift	gözlenen	beklenen	oran	PMI
apple–sweet	1	\(7 \times 6 / 144 = 0{,}29\)	3,43	1,23
king–the	4	\(9 \times 22 / 144 = 1{,}38\)	2,91	1,07

• Bir kez gözlenen çift daha yüksek PMI alıyor, çünkü gözlenen/beklenen oranı daha büyük
• Beklentiler gözlemlerin ne kadarının “açıklandığını” söylemez; PMI iki göreli sıklığı karşılaştırır
• Tek gözleme dayanan bir ilişkinin güvenilirliğini bu dönüşüm garanti etmez

Sayıların kaynağı. c_wc = 1: apple ile sweet’in birbirinin penceresine kaç kez düştüğü. c_w* = 7: apple satırının toplamı. apple derlemde üç kez geçiyor ve bu geçişlerde 2, 3 ve 2 komşusu var: 2 + 3 + 2 = 7. c_*c = 6: aynı hesabın sweet sütunu için yapılmış hâli. N = 144: bütün hücrelerin toplamı. Her token, penceresine kaç komşu düşüyorsa o kadar çift üretir — cümle ortasında 4, kenarlarda 2 ya da 3 — yani beş token’lık bir cümle 14 çift verir. Dokuz tane beş token’lık, bir tane altı token’lık (18 çift) cümle var: 9 × 14 + 18 = 144.

N token sayısı değil, çift sayısı: üç olasılık da aynı çift tablosundan kestiriliyor.

Bağımsızlık modeli apple–sweet için 7 × 6 / 144 = 0,29 buluşma öngörüyor; 1 gözlemledik, yani 3,43 katı. log 3,43 = 1,23. king–the için öngörü 1,38; 4 gözlemledik, 2,91 katı.

Aynı hücrelerin PPMI değerleri: king için rules 0,69 ve the 1,07; queen için rules 0,59, royal 1,06, the 0,67; apple ve banana için eats 0,94 ve sweet 1,23. apple–sweet sayımı apple–eats sayımının yarısı; PPMI değerleri ise 1,23 ve 0,94. Nedeni sweet bağlamının daha düşük marjinal sıklığı. Satırın en yüksek PPMI’sı 2,04 ile an: bu derlemde an her geçtiğinde ardından apple geliyor.

Hızlı kontrol · PPMI

İki kelimenin her biri bir milyon token’lık bir derlemde 10’ar kez geçiyor ve hiç bir arada görünmüyor. Negatif PMI değerlerini tutmak yerine neden kırpıyoruz?

• Yalnızca hemen soldaki ve sağdaki token’ları sayarsak beklenen yönlü eş-oluşum yaklaşık \(2 \times 10 \times 10 / 10^6 = 0{,}0002\); sıfır gözlemlemek şaşırtıcı değil
• Pencereyi iki yanda ikişer token’a çıkarmak beklentiyi kabaca ikiye katlar
• Sıfır sayımın PMI’sı \(-\infty\)’a gider; düzleştirmeyle elde edilen sonlu değer seçilen yönteme bağlıdır
• Nadir çiftlerin negatif PMI kestirimleri örnekleme belirsizliğinden güçlü biçimde etkilenebilir; sıfıra kırpma bu değerleri temsil dışında bırakır ve matrisi seyrekleştirir

Sınıfa bir dakika verin, sonra cevabı açın (tek tık).

Levy, Goldberg ve Dagan (2015), inceledikleri benzerlik ve analoji benchmark’larında hiperparametreler karşılaştırılabilir biçimde ayarlandığında yöntemler arasındaki farkların çoğunlukla sınırlı kaldığını gösterdi. Bu makaleye bugün birkaç kez döneceğiz.

3. adım · Kesik SVD

• PPMI satırları şimdiden makul: king → queen 0,55. Ama apple → man 0,79: iki satır an ve eats sütunlarında yüksek ağırlık taşıyor, man ise tek bir cümlede geçiyor
• Yalnızca en büyük tekil değerlere (singular values) sahip \(d\) yönü tutun — Frobenius normunda en iyi rank-\(d\) yaklaşımı:

\[\mathrm{PPMI} \approx U_d \Sigma_d V_d^\top, \qquad \text{embedding} = U_d \Sigma_d\]

• Burada beş bileşen kareler toplamının %65,4’ünü taşıyor — varyansın değil, çünkü PPMI hiç merkezlenmiyor
• Kesme bazı rastlantısal ayrıntıları azaltabilir, yararlı ayrımları da kaybettirebilir; neyin korunacağını tekrar sayısı değil, tekil değer yapısı belirler

Çarpanlara ayırmadan önceki en yakın komşular (19 boyutlu PPMI satırları): king → queen 0,55; are 0,55; man 0,45; the 0,37. apple → man 0,79; fruit 0,52; banana 0,40; is 0,31. apple için man sonucunu eş anlamlılık olarak okuyamayız: kosinüs iki satırın ortak sütunlardaki ağırlık örtüşmesini ölçüyor ve tek bir örnekten doğan bağlam örtüşmesi güvenilir bir anlamsal benzerlik olmayabilir.

Gösterimin arkasındaki resim. PPMI matrisini üst üste konmuş bir asetat destesi gibi düşünün. Her asetat tekrar eden tek bir örüntüyü gösterir ve farklı bir koyulukta basılmıştır. On dokuzunu üst üste koyarsanız matrisi birebir elde edersiniz. Tekil değerler bu koyuluklardır; U her kelimenin her örüntüye ne kadar katıldığını söyler. d boyutuna kesmek, en koyu birkaç asetatı tutmaktır. Saklama bütçesi benzetmesi işe yarar: daha az bileşen tutunca bazı ayrıntılar kaybolur; ama yöntemin ölçütü insanın önemli bulduğu ayrıntılarla ya da gürültüyle birebir örtüşmez.

Kod: d = 5; bu küçük örnekte tam SVD’yi hesaplayıp ilk beş bileşeni alıyoruz. Büyük seyrek matrislerde yalnızca gereken bileşenleri hesaplayan bir yöntem tercih edilir.

Tekil değerler: 5,75; 4,76; 4,03; 3,71; 3,64; 3,08; 3,03; 2,80. İlk iki boyut kareler toplamının %36,8’ini, ilk beşi %65,4’ünü taşıyor. Bu oranlar sıkıştırmayı özetler; atılan bileşenlerin görev açısından önemsiz olduğunu göstermez.

Ölçekleme. S ile çarpmak büyük tekil değerlere karşılık gelen koordinatlara daha fazla ağırlık verir; yeniden kurma hatasını en aza indiren ölçekleme kelime benzerliği için en iyi seçim olmak zorunda değildir. W = U_d Σ_d^p ailesinde p de ayarlanabilir; Levy, Goldberg ve Dagan (2015) benzerlik görevlerinde p = 0,5 ya da p = 0’ın p = 1’den daha iyi sonuç verebildiğini gösterir. Burada hesap görünür kalsın diye p = 1; uygulamada p doğrulama verisiyle seçilir.

Sıkıştırma gerçekte ne yaptı

kelime çifti	19 boyutlu PPMI	5 boyutlu SVD	ne oldu
apple – banana	0,40	1,00	hiç aynı cümlede geçmiyorlar; ortak bağlamlar bağlıyor, sıkıştırma bağı belirleyici kılıyor
king – queen	0,55	0,90	zaten doğruydu, güçlendi
apple – man	0,79	0,85	tek cümleden doğan kaza — silinmedi, ama artık birinci sırada değil

SVD yanlış bağı koparmıyor; doğru bağı, onun önüne geçecek kadar güçlendiriyor. Mutlak değerler değil, sıralama düzelir.

Deerwester vd. 1990 — örtük anlamsal analiz (LSA), word2vec’ten yirmi yıldan fazla önce

Üçüncü satıra dikkat edin, çünkü bu adım sık sık yanlış anlatılır. SVD apple–man kazasını silmiyor: o kosinüs 0,79’dan 0,85’e çıkıyor. Değişen sıralama. Önce apple’ın en yakın komşusu man idi, banana üçüncüydü; şimdi banana birinci, man üçüncü. Sinyali gürültüye tercih etmek pratikte böyle görünür.

İzlenmesi gereken sayı birinci satır. apple ile banana bir kez bile aynı cümlede geçmiyor; onları doğrudan bağlayan hiçbir şey yok. Onları bağlayan, aynı kelimelerle arkadaşlık etmeleri: ikisi de eats’ten sonra, ikisi de is sweet fruit’ten önce geliyor. Ham PPMI satırları bunu zaten 0,40 olarak kaydediyor, çünkü ortak bağlam ortak koordinat demek. Sıkıştırma bunu komşu listesini yeniden sıralayacak kadar, 1,00’e çıkarıyor. Buna geçişlilik değil, ortak bağlam genellemesi deyin; kosinüs geçişli bir ilişki değildir. Düşük ranklı sıkıştırma onu görünür değil, belirleyici kılıyor.

5 boyuta SVD’den sonraki diğer komşular: king → queen 0,90; are 0,88. eats → an 0,95; a 0,95. castle → are 0,82; is 0,80.

Bu, örtük anlamsal analizdir (latent semantic analysis; Deerwester vd. 1990).

On cümle, iki koordinat

• Krallıkla ilgili kelimeler solda, yiyecekle ilgili kelimeler sağda
• man ile woman bu görünümde yakın; bağlamları birebir aynı değil
• İlk koordinat bütün kelimelerde negatif (−0,70 … −2,14): ortak bir yön; bu yüzden 2. ve 3. boyutları çiziyoruz
• Yönlere eşit dağılmama: anizotropi; ileride GloVe üzerinde ölçeceğiz

Bölümdeki etkileşimli grafiğin durağan bir kopyası: küçük derlemin SVD koordinatları, 2. ve 3. boyutlar. Bu seçim başka ayrımları görünür kılmak için; tam uzaydaki benzerliklerin yerini tutmaz.

Sıkıştırma çıktısını bununla birlikte okuyun: iki boyutta king ile queen arasındaki kosinüs 0,996, king ile banana arasındaki 0,141. Her kelimenin ilk koordinatın işaretini paylaştığı bir uzayda yüksek bir kosinüsün bir kısmı paylaşılan yönden gelir. Farklı iki one-hot arasında ise kosinüs her zaman 0,00.

Saymaktan tahmin etmeye

• Ölçeklenebilirlik önemli bir etkendi: 100.000 kelimede on milyar olası hücre; toplu PPMI–SVD önce sayar, sonra çarpanlarına ayırır
• word2vec (Mikolov vd. 2013): matrisi açıkça kurmadan, yerel eğitim çiftlerinden vektör öğrenir
• Skip-gram’da sığ bir ağ: merkez kelimenin one-hot’ı → \(\mathbf{W}\)’nin o satırı (aktivasyonsuz arama) → \(\mathbf{W}'\) aday bağlamları puanlar. CBOW’da önce bağlam vektörleri birleştirilir
• Çoğunlukla \(\mathbf{W}\) saklanır; zorunluluk değil

Tahmin görevini, yeniden kullanılacak vektörleri öğrenmek için kuruyoruz. Bir transformer’ın girdi embedding tablosu (7. bölüm) benzer çalışır; satırları token’lara aittir.

Saymak işe yarıyor: krallık bir yana, yiyecek öbür yana düştü. Tahmine dayalı yöntemlerin hızla benimsenmesinde ölçeklenebilirlik önemli bir etkendi; ama bu, bütün sayma yöntemleri için zorunlu bir ayrım değil.

word2vec tanımı: kelime vektörlerini bağlamdan öğrenen, 2013 tarihli yöntemler ailesi. Skip-gram merkez kelimeden bağlam kelimelerini, CBOW ise bağlam kelimelerinden merkez kelimeyi tahmin eder.

Skip-gram’da üç katman. Girdi katmanı merkez kelimenin one-hot vektörü. Gizli katman onu W ile çarpar; bir one-hot’ı matrisle çarpmak o kelimenin satırını seçmek demektir. Yani gizli katman bir arama tablosudur (lookup table); buna çoğu zaman izdüşüm katmanı (projection layer) denir. Ek bir aktivasyon uygulanmaz. Çıktı katmanı seçilen vektörü aday bağlam kelimeleriyle puanlar; bunun için tam softmax’te de negatif örneklemede de kelime başına bir satır tutan ikinci bir tablo, W′, kullanıyoruz.

İki matris öğrenilir: merkezdeyken v, bağlamdayken u. Klasik word2vec kullanımında çoğunlukla v saklanır — ama bu bir zorunluluk değil, yaygın bir tercih. Çıktı matrisini ya da ikisinin toplamını/ortalamasını kullanan yaklaşımlar var; GloVe’un yazarları ikisini toplamayı öneriyor (Pennington vd. 2014).

CBOW ve skip-gram: ters oklar

the pump failed during the night shift üzerinde tek pencere: merkez failed, genişlik 2.

CBOW · bağlam → merkez

the pump during the → ortalama → failed

• Pencere başına bir eğitim örneği
• Genellikle daha hızlı; bağlam vektörlerini birleştirir

Skip-gram · merkez → bağlam

failed → kendi vektörü → the pump during the

• Pencere başına dört eğitim örneği
• Daha çok çift; nadir kelimelerde avantaj sağlayabilir

İkisi de \(\mathbf{W}\) (kelime → vektör) ve \(\mathbf{W}'\) (eşleri puanlar) öğrenir; indirdiğiniz hazır vektörler çoğunlukla \(\mathbf{W}\)’nin satırlarıdır. Bölümün geri kalanı skip-gram üzerinden ilerliyor; negatif örnekleme de en sık onunla kullanılıyor.

Bölümdeki iki mimari şeklinin durağan bir kopyası. CBOW çevredeki kelimelerin vektörlerini birleştirip merkezi tahmin eder. Skip-gram merkez kelimeyi alıp çevredeki her kelimeyi sırayla tahmin eder. (Özgün word2vec aracında ve gensim’de varsayılan CBOW’dur.)

Merkez failed için skip-gram çiftleri: (failed, the), (failed, pump), (failed, during), (failed, the). Kitaptaki etkileşimli sürümde öğrenciler bir cümle yazıp merkezi ve pencereyi değiştirebiliyor.

Elle anotasyon gerekmiyor; sonraki adımda pozitif ve örneklenmiş negatif çiftlere eğitim etiketleri vereceğiz. Altı milyar token, her iki yönde beş token’lık pencereyle en fazla 60 milyar çift üretir; cümle sınırları, altörnekleme ve dinamik pencereler bu sayıyı azaltır.

Negatif örneklemeyi lojistik kayıpla öğrenmek

• Tam softmax her eğitim çiftinde \(V\) bağlam puanını hesaplar ve normalleştirir: yaklaşık \(O(Vd)\). Negatif örnekleme amacı değiştirir; puanlama maliyeti yaklaşık \(O((K+1)d)\)
• Yeni soru: bu eğitim örneği gözlenen çiftlerden mi (\(y=1\)), gürültü örnekleyicisinden mi (\(y=0\)) geldi? Aynı çift iki yolla da üretilebilir. Gözlenen her çift için gürültü dağılımı \(q\)’dan \(K\) bağlam çekilir

\[P(y = 1 \mid w, c;\, K, q) = \sigma(\mathbf{v}_w \cdot \mathbf{u}_c), \qquad \sigma(z) = \frac{1}{1 + e^{-z}}\]

\[\mathcal{L} = -\log \sigma(\mathbf{v}_w \cdot \mathbf{u}_c) - \sum_{k=1}^{K} \log \sigma(-\mathbf{v}_w \cdot \mathbf{u}_{n_k})\]

• Pozitif çiftin terimi iç çarpım büyüdükçe, negatif örneğin terimi iç çarpım küçüldükçe azalır
• \(K = 5\), \(V = 400.000\): çift başına 400.000 yerine altı iç çarpım — sayıca yaklaşık 67.000 kat az; gerçek hızlanma donanıma ve uygulamaya bağlıdır

Mikolov vd. 2013

Negatif örnekleme tanımı: gözlenen her kelime–bağlam çifti için bir gürültü dağılımından az sayıda bağlam çekip bunları negatif etiketli eğitim örnekleri olarak kullanma yöntemi. Negatif örnekler derlemde hiç görülmemiş ya da anlamsal olarak ilişkisiz olmak zorunda değildir.

Olasılığın anlamı: kurduğumuz eğitim örnekleme düzenine aittir; iki kelimenin gerçek dünyada birlikte görülme olasılığı değildir.

Çekme–itme benzetmesi puan değişimini anlatır; vektörler arasındaki Öklid uzaklığının zorunlu olarak aynı yönde değiştiğini söylemez.

Lojistik regresyonla ilişki, dikkatli hâliyle: SGNS’nin her etiketli çift için kullandığı sigmoid ve log kaybı lojistik regresyondan tanıdıktır. Ama iç çarpımın iki tarafındaki vektörler de öğrenildiği için bütün model, sabit öznitelikli klasik lojistik regresyon değildir. Daha doğru tanım: iki vektör tablosunun birlikte öğrenildiği lojistik matris çarpanlaştırması. Bu ayrım hem gradyanların tanıdık biçimini hem de ortak optimizasyonun dışbükey olmamasını açıklar.

Bölümdeki şekil: soldaki panel 400.000 adayın tamamını puanlayıp softmax uygular; sağdaki panel bir pozitif (pump) ve beş negatif örnek (opera, zinc, tariff, carbon, helix) için altı iç çarpım hesaplar.

Kitaptaki kayıp widget’ı: doğrudan optimize edilen şey kelime–kelime benzerliği değil, kelime–bağlam skoru. Benzer bağlamlarla görülen iki kelime benzer güncellemeler aldığı için birbirine yaklaşır.

Bir güncellemeyi elle yapın

300 yerine dört boyut. Merkez failed: \(\mathbf{v} = (0{,}4;\ -0{,}2;\ 0{,}7;\ 0{,}1)\). Pozitif bağlam pump: \(\mathbf{u} = (0{,}5;\ 0{,}1;\ 0{,}6;\ -0{,}3)\). Örneklenmiş negatif opera: \(\mathbf{u} = (-0{,}3;\ 0{,}6;\ -0{,}2;\ 0{,}4)\).

çift	\(y\)	\(\mathbf{v} \cdot \mathbf{u}\)	\(\sigma(\mathbf{v} \cdot \mathbf{u})\)	kayıp	\(\sigma - y\)
failed–pump	1	0,57	0,639	0,448	−0,361
failed–opera	0	−0,34	0,416	0,538	0,416

• Tek bir etiketli terimin iç çarpıma göre türevi \(\sigma(z) - y\): tahmin eksi hedef
• Yalnızca \(\mathbf{v}\)’yi 0,05 öğrenme oranıyla güncelleyin: failed·pump 0,570 → 0,590; failed·opera −0,340 → −0,359
• Bağlam vektörlerini de güncelleyin: 0,603 ve −0,374 — aynı yönler, kabaca 1,7 katı mesafe

Pozitif çift için: (0,4)(0,5) + (−0,2)(0,1) + (0,7)(0,6) + (0,1)(−0,3) = 0,57. Yani σ(0,57) = 0,639: model, bu eğitim düzeninde çiftin pozitif örnek olarak gelmesine yaklaşık %64 olasılık veriyor. Kayba katkısı −log 0,639 = 0,448.

Negatif çiftin iç çarpımı −0,34; terim σ(−z) kullandığı için σ(0,34) = 0,584 ve kayıp −log 0,584 = 0,538.

pump için 0,639 − 1 = −0,361: negatif, yani iç çarpım yükselir. opera için 0,416 − 0 = 0,416: pozitif, yani iç çarpım düşer.

Bağlam vektörleri sabitken v’nin gradyanı iki terimin toplamıdır: (0,639 − 1)·u_pump + (0,416 − 0)·u_opera = (−0,305; 0,213; −0,300; 0,275). Eğitim kodundaki gv bunu tek bir einsum ile hesaplıyor.

Tek güncellemenin matematiği basit; ama kaliteyi büyük ölçüde hangi çiftlerin, ne sıklıkta ve neye karşı gösterildiği belirliyor — negatif örnekleme, altörnekleme, gürültü dağılımı ve bağlam penceresi. İki slayt sonra.

Bir çift en fazla yedi satıra dokunur

\[\frac{\partial \mathcal{L}}{\partial \mathbf{v}_w} = \bigl(\sigma(z) - y\bigr)\,\mathbf{u}_c, \qquad \frac{\partial \mathcal{L}}{\partial \mathbf{u}_c} = \bigl(\sigma(z) - y\bigr)\,\mathbf{v}_w\]

• Her vektörün gradyanı, \(\sigma(z) - y\) skaler hatasının diğer vektörle çarpımıdır. Doğru etikete yüksek olasılık verildiğinde skaler hata küçülür; bu tek başına kararlı eğitim garantisi değildir
• \(K = 5\) ile tek çift: \(\mathbf{W}\)’den bir satır, \(\mathbf{W}'\)’den \(1 + K\) satır — en fazla yedi farklı satır
• Geri kalan satırlar bu çiftin veri kaybına girmez; gradyanları sıfırdır. Momentumsuz, ağırlık azalmasız SGD’de bu satırlar değişmez
• Sıfırdan eğittiğimiz modelde 37.354 satır var; yedisi yaklaşık %0,019. Tam softmax’te 18.678 satır etkilenir: 2.668 katı — bu satır sayısı oranıdır, süre oranı değil

Türetmeyi görmek isteyenler için. z = v·u yazın. σ′(z) = σ(z)(1 − σ(z)). −log σ(z)’nin türevi zincir kuralıyla σ(z) − 1. Negatif örnekte terim −log σ(−z) olur ve aynı iki satır σ(z) verir. İkisi de σ(z) − y’de birleşir.

Olasılık yorumu: her eğitim örneğinin etiketi 0 ya da 1; bunu Bernoulli dağılımıyla modelleriz. Dağılımın p parametresi [0, 1] aralığındadır; sonlu z için sigmoid p = σ(z) değerini (0, 1) aralığında üretir. −[y log p + (1 − y) log(1 − p)] ikili çapraz entropi, yani Bernoulli modelinin negatif log-olabilirliğidir. Olasılık tahminleri karesel kayıpla da değerlendirilebilir; ama o başka bir ölçüttür.

Kararlılık: vektör normları büyüyebilir ve yığındaki (batch) katkılar toplanabilir. Öğrenme oranı, gradyan ölçeği ve gerekirse kırpma ayrıca değerlendirilmelidir.

Sayım: 18.677 kelimelik, 100 boyutlu iki tabloda 37.354 satır ve 3.735.400 parametre. Örneklenen negatifler birbirini tekrar ederse ya da pozitif bağlamla çakışırsa farklı satır sayısı yediden az olur. Bu seyreklik, eğitimin verimli olmasının önemli nedenlerinden biri.

Pratik sonuç: SGNS’de tabloya yalnızca seçilen indekslerle erişildiği için veri kaybının gradyanı satır düzeyinde seyrektir. PyTorch’un nn.Embedding(..., sparse=True) seçeneği bu tür erişimler için seyrek gradyan üretir. Embedding parametreleri tam softmax gibi başka işlemlerde de kullanılıyorsa bütün parametrenin gradyanı seyrek olmak zorunda değildir.

word2vec’in başarısını belirleyen dört eğitim tercihi

tercih	neyi ayarlar	tipik değer	etkisi
Negatif örnek sayısı (\(K\))	pozitif çift başına negatif sayısı	özgün çalışmada küçük derlem 5–20, büyük 2–5	maliyet ile eğitim sinyali dengesini değiştirir
Bağlam penceresi	aday komşular ve uzaklık ağırlığı	örneğin en fazla 5; dinamik pencereyle	dar pencere işlevsel, geniş pencere konusal ilişkileri daha fazla öne çıkarabilir
Altörnekleme (\(t\))	çok sık token’ların tutulma olasılığı	örneğin \(t = 10^{-3}\)	sık kelimelerin eğitimdeki payını azaltır
Gürültü dağılımı	negatiflerin çekilme olasılığı	\(q(w) \propto f(w)^{0{,}75}\)	nadir kelimelerin göreli örneklenme payını artırır

Güncellemenin kendisi basit. Kaliteyi belirleyen: hangi çiftleri, ne sıklıkta ve neye karşı gösterdiğiniz.

Negatif örnek sayısı: çok küçük K ile model yeterince negatif örnek görmez; büyük K her adımı pahalılaştırır. Özgün makale küçük derlemler için 5–20, büyük derlemler için 2–5 öneriyor (Mikolov vd. 2013).

Bağlam penceresi: pencere 5 ise aynı girdi dizisinde merkezin solundaki ve sağındaki en fazla beşer token aday bağlamdır. Dar pencereler (1–2) çoğu zaman yakın sözdizimsel ilişkileri, geniş pencereler (5–10) konusal ilişkileri daha fazla yansıtır. Bunlar eğilimdir; derlem, dil ve ön işleme de sonucu etkiler. Cümle sınırları korunuyorsa pencere bu sınırları aşmaz. word2vec pencereyi sabit de tutmaz: her merkez için etkin genişliği 1 ile en büyük değer arasından rastgele çeker; yakın komşular daha sık çift üretir. 1. alıştırma bunu sayma yönteminde elle denetiyor.

Altörnekleme ve gürültü dağılımı bir sonraki slaytta sayılarla.

İki tercih, sayılarla: altörnekleme ve 0,75 üssü

Altörnekleme (subsampling)

derlemdeki pay	örnek	tutulan	atılan
%5	the	0,16	%84
%1	of, and	0,42	%58
%0,1 (\(= t\))	orta frekanslı	1,00	%0
%0,01 ve altı	kuyruk	1,00	%0

Koşumuzda sözlük içi token’ların %26,6’sı gidiyor: 6.397.826 → 4.698.743.

Negatifler \(f(w)^{0{,}75}\) ile çekilir

• 5.000 kat daha sık bir kelimenin çekilme olasılığı yalnızca yaklaşık 595 kat yüksek — fark kabaca sekiz kat daralır
• Üs nadir bağlamların göreli payını artırır; yeni bir sinyal türü eklemez
• Ampirik bir tercih, kuramsal bir optimum değil

Levy vd. (2015): bu tür hiperparametreler karşılaştırma sonuçlarını önemli ölçüde etkileyebilir.

Altörnekleme. Sık kelimeler çok sayıda eğitim çifti üretir; göreli etkilerini azaltmak için her token sıklığına bağlı bir olasılıkla tutulur: min(1, (karekök(f/t) + 1) · t/f). Burada f, sözlük filtresinden sonra kalan token’lar içindeki göreli sıklık; t aynı ölçekte bir eşik.

Makale ile kod. Özgün C uygulaması bu tutma formülünü kullanır. Makale ise P(atma) = 1 − karekök(t/f) verir; f < t olduğunda bu ifade negatif çıktığı için olasılık olarak max(0, 1 − karekök(t/f)) biçiminde okunur. İki formül aynı değil; bir deneyi yeniden üretirken hangi uygulamanın kullanıldığını belirtmek gerekir.

Koşuda attığının neredeyse tamamı the, of, and ve benzerleri. (6.397.826, okunan 6.794.527 token’dan min_count=20 altında kalanlar çıkarıldıktan sonra geriye kalan sayı.)

Bir token çıkarıldığında, kalan dizide iki yanındaki kelimeler birbirine yaklaşır. Pencere boyu değişmese de özgün metinde daha uzakta olan kelimeler yeni bağlam çiftleri oluşturabilir. Bu, hem örnek sayısını hem bağlam dağılımını değiştirir.

Üs. Olasılıkları 1’den küçük bir kuvvete yükseltmek oransal olarak en çok küçük olanları büyütür: 0,5^0,75, 0,5’ten %19 büyük; 0,001^0,75 ise 0,001’in 5,6 katı. 5000^0,75 ≈ 595. Negatif örnekler, bağlam vektörlerinin yalnızca gözlenen pozitif çiftlerle değil, gürültü dağılımından gelen çiftlerle de güncellenmesini sağlar; merkez vektörleri bundan dolaylı olarak etkilenir.

Sıfırdan yazmak

NumPy ile, hiçbir çerçeve yok; text8’in ilk 40 milyon karakteri üzerinde eğitildi. Güncelleme adımı:

v = Wc[c]                                              # (B, D)
u = Wo[targets]                                        # (B, K+1, D)
score = sigmoid(np.einsum("bkd,bd->bk", u, v))         # (B, K+1)
err = (score - labels).astype(np.float32)              # tahmin − gözlem
gv = np.einsum("bk,bkd->bd", err, u)
gu = err[:, :, None] * v[:, None, :]
np.clip(gv, -1.0, 1.0, out=gv)
np.clip(gu, -1.0, 1.0, out=gu)
np.add.at(Wc, c, -lr * gv)
np.add.at(Wo, targets.ravel(), (-lr * gu).reshape(-1, D))

err = score - labels tahmin eksi gözlem; her gradyan bu farkın diğer vektörle çarpımı. Üç epoch sonra: monday → friday 0,87; france → spain 0,79; physics → mechanics 0,82.

Kodun tamamı bölümde ve notebook’ta: min_count 20 olan sözlük (18.677 kelime), altörnekleme, 0,75’lik gürültü dağılımı, D = 100, K = 5, pencere 5, 3 epoch, öğrenme oranı 0,02, 2.048’lik batch’ler. Temel gradyan lojistik kayıptan gelir; gradyan kırpması ise güncelleme kuralını değiştirir.

sigmoid taşmaya dayanıklı biçimde yazıldı: np.exp(-np.logaddexp(0.0, -x)). Skoru yapay olarak bir aralığa kısıtlamıyor.

Koşu: 6.794.527 token okundu; altörneklemeden sonra 4.698.743; 46.987.400 eğitim çifti; kayıp 4,159 → 2,350 (epoch sonu kaybı, son 1.000 batch’in ortalaması); eğitim 611 s sürdü. Diğer komşular: king → consort 0,75; kings 0,75. three → four 0,95. car → racing 0,74; cars 0,74.

Kodda belirtilen iki basitleştirme: pencere 5’te sabit, dinamik pencere yok; ve text8 tek bir token akışı olarak işleniyor — özgün cümle ve belge sınırları korunmadığı için sınırlar arasında yapay bağlam çiftleri oluşabilir. Batch’ler yerine koymalı çekiliyor; buradaki “3 epoch” gensim’deki epochs = 3 ile karşılaştırılamaz.

Bölümün sezgi kontrolü: np.add.at burada neden gradyan kırpması istiyor? Batch’leme, tekrar eden bir indeksin bütün gradyanlarını biriktirip tek adımda uygular; 2.048’lik bir batch’te sık bir kelime yüz kez görünebilir. Kırpma olmadan bu koşu, 0,05 öğrenme oranıyla yarım epoch içinde nan’a ıraksadı. Kırpma, katkılar toplanmadan önce koordinat başına [−1, 1] aralığına uygulanır: tek katkıları sınırlar, birikmiş satır güncellemesini doğrudan sınırlamaz. Seçenekler: bütün yığının gradyanını yığın büyüklüğüne bölmek ya da her satırın birikmiş gradyanını o indeksin katkı sayısına bölmek; ikisi de ardışık SGD’yi birebir üretmez. Kırpma bir optimizasyon tercihidir ve öğrenilen vektörleri etkileyebilir.

Sayma ile tahmin arasındaki bağ

Levy ve Goldberg (2014): negatif örneklemeli skip-gram’ın matris çarpanlaştırmayla ilişkisi.

\[\mathbf{v}_w \cdot \mathbf{u}_c = \mathrm{PMI}(w, c) - \log K\]

• Koşullar: negatifler bağlam marjinalinden çekilir ve her iç çarpım bağımsız seçilebilir; o zaman pozitif sayımlı çiftlerde optimum hedef budur
• Bütün word2vec sürümleri PPMI–SVD ile özdeş değildir: ortak düşük boyutlu vektörler bütün optimumları karşılayamayabilir, 0,75 üssü de hedefi değiştirir
• Açık bir matris için: SPPMI \(= \max(\mathrm{PMI} - \log K,\ 0)\)

Levy vd. (2015): hiperparametreler eşitlenince, inceledikleri görevlerde performans farkı büyük ölçüde kapanır.

Baroni vd. 2014 · Levy & Goldberg 2014 · Levy, Goldberg & Dagan 2015

Sayma (LSA, PPMI+SVD) ve tahmin etme (word2vec) bir süre rakip yaklaşımlar olarak görüldü; Baroni, Dinu ve Kruszewski (2014) ikisini karşılaştırıp tahmine dayalı yöntemlerin daha iyi sonuç verdiğini bildirdi. Ardından Levy ve Goldberg ilişkiyi gösterdi.

Gözlenmeyen çiftler: pozitif sayımı sıfır olan bir çift negatif olarak yine örneklenebilir; serbest skoru için lojistik optimum z → −∞ sınırındadır. Gerçek model sonlu parametreler, ortak düşük boyutlu vektörler ve sonlu sayıda güncellemeyle çalıştığından bu sınırları tam olarak gerçekleştirmez.

−log K terimi: K arttığında, diğer dağılımlar sabitken serbest iç çarpım hedefleri aynı sabit kadar aşağı kayar. Bu, bütün kelime vektörlerine aynı vektörü eklemekle genel olarak eşdeğer değildir. Hedef matrise sabit eklemek rankı en fazla bir artırır; ek bir koordinatla temsil edilebilir, ama sabit d boyutta aynı uyum korunamayabilir. K’nin görevdeki etkisi deneyle değerlendirilmelidir.

Bölümdeki şeklin altyazısı: PPMI–SVD yolu ayrıca sıfıra kırpma ve karesel kayıp kullanır; düşük rankta aynı vektörleri vermesi beklenmez.

Takip makalesindeki hiperparametreler: altörnekleme, bağlam dağılımı düzleştirmesi, dinamik pencereler. Ders genelleniyor: yeni bir yöntem eskisini yendiğinde, iyileşmenin bir kısmı yöntemden, bir kısmı ayardan gelir ve bu ayrım nadiren raporlanır.

−log K nereden geliyor

Tek bir çifti sabitleyin; \(z = \mathbf{v}_w \cdot \mathbf{u}_c\)’yi serbest bir sayı olarak ele alın. Negatifler bağlam marjinali \(P(c)\)’den çekiliyorsa çiftin maksimize edilecek amaca katkısı:

\[P(w,c)\,\log \sigma(z) \;+\; K\,P(w)P(c)\,\log \sigma(-z)\]

Türevi sıfıra eşitleyin, \(P(w,c)\bigl(1 - \sigma(z)\bigr) = K\,P(w)P(c)\,\sigma(z)\), ve çözün:

\[z = \log \frac{P(w,c)}{K\,P(w)P(c)} = \mathrm{PMI}(w,c) - \log K\]

Türetme, negatiflerin \(P(c)\)’den çekildiğini ve \(z\)’nin her çift için bağımsız seçilebildiğini varsayar. Gerçek modelde iç çarpımlar ortak vektörlerle kurulur; SGNS örnekleme ağırlıklı lojistik kaybı, PPMI–SVD ise kırpılmış bir matrisin karesel hatasını küçültür. Kayıplar da hedefler de farklı olabilir.

Kullanılan türevler: d/dz log σ(z) = 1 − σ(z) ve d/dz log σ(−z) = −σ(z). σ(z) için çözdükten sonra z = log(σ/(1 − σ)) üzerinden geri dönün. Aynı ifadenin negatifi minimize edilecek kayıptır.

Negatiflerin ham unigram dağılımından çekildiği varsayımı kodla örtüşmez: word2vec f(c)^0,75’ten çeker; bu da düzleştirilmiş bir bağlam dağılımına karşı hesaplanmış PMI verir. Levy, Goldberg ve Dagan (2015) buna bağlam dağılımı düzleştirmesi diyor ve PPMI+SVD’ye de taşındığını gösteriyor. Demek ki 0,75 üssü, algoritmanın hangi matrisi çarpanlarına ayırdığını değiştiriyor.

İstatistiksel fark. Kesik SVD Frobenius normunda en iyi rank-d yaklaşımını verir (Eckart–Young–Mirsky): PPMI matrisinin her hücresindeki karesel hataya eşit katsayı verir. PPMI’daki sıfırlar yalnızca hiç gözlenmeyen çiftleri değil, PMI’sı sıfır ya da negatif olan gözlenmiş çiftleri de kapsar. Sıfırların çokluğu tek başına hatanın ya da kapasitenin çoğunun onlara ayrıldığını göstermez. SGNS pozitif çift sıklıkları ve negatif örnekleme dağılımıyla belirlenen ağırlıklar altında lojistik kayıp kullanır; GloVe da sayımlara bağlı ayrı bir ağırlıklandırma seçer. Bu farklar davranışı etkiler; herhangi birinin nadir kelimelerde koşulsuz üstünlüğünü kanıtlamaz.

Seçimde derlem büyüklüğü, güncelleme gereksinimi, bellek, incelenebilirlik ve hedef görev birlikte değerlendirilir.

Ders ikiye bölünecekse yer burası.

GloVe: sayma, ama kayıp fonksiyonuyla

\[\mathcal{L} = \sum_{(w,c)\,:\,X_{wc} > 0} f(X_{wc}) \left(\mathbf{v}_w \cdot \mathbf{u}_c + b_w + b_c - \log X_{wc}\right)^2\]

• Eş-oluşum sayımlarını açıkça biriktirir; vektörleri ve bias terimlerini sayıma bağlı ağırlıklı karesel hatayla öğrenir
• Neden \(\log X\)? Sayımlar çok geniş bir aralığa yayılır; logaritma çarpımsal oranları toplamsal farklara çevirir
• Neden bias’lar? Kelime ve bağlamın genel kullanım eğilimlerinin bir bölümünü modelleyebilirler; iç çarpımlar tam olarak PMI diye yorumlanamaz
• Neden \(f\)? Nadir çiftlerin ağırlığını azaltır ve \(x \geq 100\) için 1’de kalır; sıfır sayımlı hücreler toplamın dışındadır

\(x < x_{\max} = 100\) iken \(f(x) = (x/x_{\max})^{3/4}\), aksi hâlde 1

\(X_{wc}\)	\(f(X_{wc})\)
1	0,03
10	0,18
100	1,00
100.000	1,00

Pennington vd. 2014

GloVe, eş-oluşum sayımlarını açıkça biriktirir ve vektörleri bu sayımlar üzerinde tanımlanan ağırlıklı bir kayıp fonksiyonuyla öğrenir; sayıma dayalı temsil ile gradyan tabanlı öğrenmeyi birleştirir.

Girdi: kelime–bağlam eş-oluşum tablosu. Bölüm başındaki C matrisi pencere içindeki her çifte bir ekliyordu. Özgün GloVe uygulamasında uzak bağlamlar daha düşük ağırlıkla sayılabilir; X hücrelerinin tamsayı olması gerekmez.

Kayıp: v·u + b_w + b_c toplamının, pozitif eş-oluşum sayımının logaritmasına yakın olması istenir (ağırlıklı en küçük kareler). İki vektör tablosu birlikte öğrenildiğinden bu, sıradan doğrusal regresyonla aynı optimizasyon problemi değildir.

Yaygın yanlış sezgiyi düzeltin: GloVe “küresel istatistik” kullanır, ama o tablo word2vec’in gördüğü aynı yerel pencerelerden toplanır. Fark, öğrenmenin ne zaman olduğunda: word2vec örnekleri tek tek görür; GloVe önce sayıp toplar, sonra toplamları optimize eder.

Bias terimleri: PMI’nın marjinal sıklıkları hesaba katmasına benzer bir sezgi taşır; ama GloVe bu terimleri veriden birlikte öğrenir, log satır ve sütun toplamlarına eşit olmaları zorunlu değildir.

f: ağırlık sayım arttıkça sınırsız büyümez; ama karesel artık ve gradyan hâlâ büyük olabilir. Sık çiftlerin etkisini denetleme amacı bakımından altörneklemeyle ilişkilidir; aynı işlem değildir. İki yöntemdeki 0,75 üssü de farklı işler görür.

Bir kelime artık ne demek

Ön eğitimli GloVe: 400.000 vektör, 100 boyut; Wikipedia 2014 + Gigaword 5 (6 milyar token) üzerinde eğitilmiş.

sorgu	en yakın komşular	ne gösteriyor
king	prince 0,77; queen 0,75; son 0,70	—
pump	pumps 0,84; pumping 0,77; pumped 0,71	pumps artık dik bir eksen değil, bir komşu
turkey	ankara 0,75; turkish 0,72; greece 0,71	ülkeyle ilgili kelimeler öne çıkıyor
python	monty 0,69; php 0,59; perl 0,58; flipper 0,51	farklı kullanımlardan komşular birlikte
bank	banks 0,81; banking 0,75; credit 0,70	finansla ilgili kelimeler öne çıkıyor

Statik bir embedding’in belirleyici sınırı: bağlam ne olursa olsun, kelime biçimi başına tek bir vektör. Bu sınırlılık, 7. bölümdeki bağlama göre değişen token temsillerinin önemli gerekçelerinden biri.

Bölümün geri kalanında, erişimi kolay bir statik temsil örneği olarak GloVe’un ön eğitimli vektörlerini kullanıyoruz. Vektörler İngilizce metinlerden öğrenildiği için örnek kelimeler de İngilizce.

king −0,323; −0,876; 0,22; 0,253; … diye başlıyor ve normu 6,118. Bu koordinatlara önceden “krallık” ya da “cinsiyet” gibi etiketler atanmamıştır. Bazı koordinatlar belirli özelliklerle ilişkili çıkabilir; ama bu yorumlar seçilen temsile bağlıdır ve koordinat sistemi değişince genellikle korunmaz.

python için komedi grubuna (monty, cleese) ve programlama dillerine (php, perl) ilişkin komşular birlikte görülüyor. flipper sonucunun hangi kullanımdan kaynaklandığını yalnızca bu listeden belirleyemeyiz. Listeler, tek bir vektörün farklı kullanımların etkisini birlikte taşıyabildiğini gösterir; bütün anlamların dökümü değildir.

Türkçe örnek: yüz insanın yüzünü, 100 sayısını ya da “yüzmek” emrini gösterebilir. Statik tablo bu biçime tek vektör verir; farklı kullanımlar öğrenmeyi etkiler, ama sonuç bu anlamların açıkça hesaplanmış ortalaması değildir. Vektörü tek başına sorgulayarak o cümlede hangi anlamın kullanıldığını seçemeyiz; onu çevredeki kelimelerle birlikte işleyen bir model ise bağlamdan yararlanabilir.

king − man + woman ≈ queen?

Girdiler adaylardan çıkarılınca

kelime	kosinüs
queen	0,7699
monarch	0,6843
throne	0,6756
daughter	0,6595
princess	0,6521

Aynı puanlar, filtresiz

kelime	kosinüs
king	0,8361
queen	0,7699
monarch	0,6843
throne	0,6756
daughter	0,6595

gensim girdileri birimleştirir ve üç girdi kelimesini adaylardan çıkarır. Puanlar sabitken filtresiz en yakın komşu king; queen ancak girdilerin çıkarıldığı aday kümesinde birinci. Aday kümesi görevin tanımının parçasıdır.

Embedding’leri NLP dışında meşhur eden sonuç. Sonuç, bazı ilişkilerin benzer vektör farklarıyla temsil edilebildiğine işaret eder. Tam bir paralelkenar, aritmetiğin queen vektörünü birebir üretmesi için yeterlidir; en yakın komşu olarak seçilmesi için gerekli değildir. Farkların yalnızca tek bir toplumsal cinsiyet yönünden oluştuğunu da bu örnekten çıkaramayız.

Karşılaştırmanın kuralı: yalnızca filtrenin etkisini görmek için puanları sabit tutun. Kod most_similar(..., topn=None) ile bütün sözlüğün puanlarını alıp iki aday kümesiyle sıralıyor. Filtresiz king sonucu, sınırsız komşu aramasının sonucudur; analojinin beklenen yanıtının king olduğunu göstermez.

Girdileri birimleştirmeden toplarsanız puanlar biraz değişir (king 0,8552, queen 0,7834); sıralamanın başı aynı kalır.

Analojileri değerlendirirken

• Puanlamanın adı 3CosAdd: adayın üç girdiyle kosinüslerini iki artı, bir eksi işaretle birleştirir. Girdileri dışlamak ayrı bir değerlendirme kuralıdır. 3CosMul (Levy ve Goldberg 2014) bazı değerlendirmelerde daha iyi sonuç verir
• Linzen (2016): ilişkiyi hiç kullanmayan en yakın komşu temel yöntemi, bazı kategorilerde bildirilen doğruluğun büyük kısmına ulaşıyor
• Kitaptaki sekiz seçilmiş örneğin beşinde filtresiz en yakın aday bir girdi; bu oran genel analoji başarısını ölçmez
• mice − mouse + goose: beklenen geese filtresiz listede üçüncü, girdiler çıkarılınca cows’un ardından ikinci
• madrid − spain + germany: munich, berlin’in önünde. Beklenen yanıt birinci değil; bu, modelin başkent ilişkisine dair hiçbir bilgi taşımadığını kanıtlamaz

Puanlama yöntemi ile aday filtresi ayrı ayrı raporlanmalı.

Linzen’in noktası: manşetteki analoji sayısı, bir ilişkiyi ölçtüğü kadar komşuluk yapısını da ölçüyor. Bu örnekte temel yöntem yanılırdı — king’in en yakın komşusu prince (0,77) — ama queen daha hiçbir aritmetik yapılmadan ikinci en yakın komşu (0,75). Nissim, van Noord ve van der Goot (2020), girdi kelimelerini dışlamanın yanlılık analojilerinin yorumunu da etkileyebildiğini gösterir; sonucun hangi model, normalleştirme ve aday kümesiyle elde edildiği birlikte belirtilmelidir.

Kitaptaki etkileşimli aracın sekiz analojisi (gerçek GloVe sonuçları; puanlar yukarıdaki kodla aynı biçimde hesaplandı): king − man + woman, paris − france + italy, walking − walk + swim, bigger − big + small, madrid − spain + germany, windows − microsoft + google, mice − mouse + goose, einstein − physics + biology. Filtresiz ilk sonuçlar: walking − walk + swim → swim 0,8385; windows − microsoft + google → windows 0,8330; einstein − physics + biology → einstein 0,7982. paris − france + italy rome 0,8190 veriyor.

Bölüm otuz kelimeyi de iki boyuta izdüşürüyor. Dikkatle okuyun: bunlar 400.000 vektörün değil, o otuz vektörün ilk iki temel bileşeni ve varyansın yalnızca %37,5’ini koruyorlar. Bu kısımdaki GloVe benzerlikleri özgün 100 boyutlu vektörlerle hesaplandı; izdüşüm yalnızca görselleştirme için.

Türkçe iki kattan fazla kelime biçimi üretiyor

Karşılaştırılabilir büyüklükte iki Wikipedia örneklemi:

	Türkçe	İngilizce
token	1.458.213	1.828.840
farklı kelime biçimi	138.578	78.140
1 milyon token sonra görülen biçim	112.644	52.347
tam bir kez görülen biçim (hapax)	%50,0	%46,7
eğitim sözlüğü dışında kalan test token’ı	%7,33	%4,72

ev, evim, evimde, evimdeki, evlerimizdekiler beş ayrı sözlük girdisi. Ayrılmış Türkçe test kesiminde yaklaşık her on dört token’dan biri eğitim sözlüğü dışında. Sayılar tek bir örnekleme ve tokenleştirme tercihine ait.

Sözlük dışı (out-of-vocabulary, OOV): modelin kelime sözlüğünde yer almayan biçim. Eğitimde hiç görülmemiş olabilir ya da sıklık eşiği gibi bir nedenle sözlükten çıkarılmış olabilir. Tabloda bulunmayan bir biçim için doğrudan satır getiremeyiz; burada kullanılan gensim sorgusu KeyError üretir, başka sistemler özel bir bilinmeyen-birim temsili kullanabilir.

Sözlük büyümesi: Türkçe 250 binde 45.688, 500 binde 73.435, 750 binde 97.412, 1 milyonda 112.644, 1,25 milyonda 126.389; İngilizce 22.869, 34.016, 42.854, 52.347, 60.178. Gösterilen aralıkta yeni biçimler eklenmeye devam ediyor.

Hapax: Türkçede 138.578 tipin 69.296’sı; İngilizcede 78.140’ın 36.503’ü. Tiplerin yarısının bir kez geçmesi, vektörlerin yarısının tek örnekle öğrenildiği anlamına gelmez: sıklık filtresi bu tipleri dışarıda bırakabilir ve tek bir token birden fazla bağlam çifti üretir.

Sözlük dışı oranı (%90 ile eğit, son %10 ile test et): Türkçede token’ların %7,33’ü ve tiplerin %28,99’u; İngilizcede %4,72 ve %23,29. Bu oran test kesiminin nasıl seçildiğine de bağlı; başka bir örneklemde değişir.

fastText: kelime, parçalarından kurulur

\[\mathbf{v}_w = \mathbf{1}_{\{w \in \mathcal{V}\}}\,\mathbf{z}_w + \sum_{g \in G(w)} \mathbf{z}_g\]

• Bağımsız tam kelime bileşeni yalnızca sözlükteki kelimeler için vardır; sözlük dışı kelime alt kelime (subword) bileşenlerinden kurulur
• Paylaşılan karakter n-gram’ları farklı kelimelerdeki örneklerden güncelleme alır: <pu; pump, pumps, pumped, pumping, punch … içinde. Her parça bol veriyle öğrenilmiş değildir; n-gram’lar sabit sayıda karma (hash) yuvasına eşlenir

pumps, eğitimde görülmüş: <pu pum ump mps ps> <pumps>

pumpage, hiç görülmemiş: <pu pum ump mpa pag age ge> — word2vec: KeyError

Okunabilir kalsın diye 3-gram’larla çizildi; fastText’in varsayılanı 3’ten 6’ya kadar her uzunluktaki n-gram, yani gerçek bir pumpage 7 değil 22 parçaya ayrışır.

fastText (Bojanowski vd. 2017) kelimeyi bölünmez saymaz: kelimeyi karakter n-gram’larının toplamı, sözlükteyse ayrıca kelimenin bütünü için bir vektörle temsil eder. V tam kelime sözlüğü, G(w) seçilen karakter n-gram’larının çoklu kümesi.

Kalın parçalar ortak. pumpage’in tam kelime vektörü yok; onu yalnızca n-gram’lar taşıyor. Sözlük dışı bir kelime için vektör üretilebilmesi, o vektörün anlamca güvenilir olduğunu tek başına göstermez.

Toplam ve ortalama: makaledeki toplam ile fastText ve gensim’in yaptığı ortalama, sıfır olmayan bir kelime vektörü için aynı yönü verir; kelime–kelime kosinüsleri aynıdır. Bunu eğitimde toplam ve ortalamanın ya da belge vektöründe birleştirmenin her koşulda eşdeğer olduğu biçiminde yorumlamayın.

Açılı ayraçlar kelime başını ve sonunu işaretler; aynı harf dizisinin sınırdaki ve içteki biçimini ayırır. Bu işlem tek başına kök ya da ek çözümlemesi yapmaz. Kitaptaki araçta varsayılan örnek kitaplarımızdaki ile kitaplar.

Ödünleşim: paylaşılan n-gram vektörleri benzer yazılan kelimelerin temsillerini birbirine bağlar. Bu biçimbilimsel genelleme sağlayabileceği gibi ilgisiz kelimelerde istenmeyen yakınlık da yaratabilir. Sözlükteki kelimenin tam kelime bileşeni bu etkiden ayrı bilgi öğrenebilir.

Alt kelimelerin kazandırdıkları

Sözlük dışı (out-of-vocabulary, OOV) kelimeler: Türkçe Wikipedia örnekleminin hiç içermediği iki Türkçe biçim, ardından iki yazım hatası. word2vec KeyError üretiyor; fastText yine de vektör veriyor:

kelime	fastText’in en yakın komşuları
kitaplarımızdaki	kitapları 0,91; kitapların 0,91; kitaplıkları 0,90
bilgisayarcılık	bilgisayara 0,96; bilgisayarlı 0,96; bilgisayar 0,96
philosphy	philosophy 0,96; philosophie 0,95; philosophies 0,94
governmentt	government 0,98; governments 0,94; governmental 0,93

Paylaşılan karakter parçaları bazı yazım hatalarında da yararlı: bu örneklerde sözlük dışı biçimler beklenen kelimelere yakın vektörler veriyor. Bu sonuç bütün yazım hataları için garanti değildir.

İki Türkçe satır, aynı Türkçe Wikipedia örneklemi üzerinde eğitilmiş word2vec ve fastText’ten geliyor: iki kelime de iki modelin sözlüğünde yok ve word2vec ikisinde de KeyError üretiyor. Son iki satır yazım hatası; onlar da sözlükte yok.

Tamamlamak için dördüncü komşular: kitaplarımızdaki → kitaplarda 0,90; bilgisayarcılık → bilgisayarı 0,96; philosphy → philology 0,94; governmentt → governs 0,91.

Alt kelimelerin bedeli

sorgu	fastText	word2vec
kitap	kitapta 0,96; kitaba 0,95; kitab 0,94	eseri 0,81; makale 0,80; eseriyle 0,80
yaz (mevsim; ayrıca “yazmak” emri)	yao 0,78; yağ 0,77; yağdı 0,77	kış 0,86; olimpiyatları 0,84; aylarında 0,83
kitap–kitle kosinüsü	0,667	0,446

• kitap: çekimler mi, anlamsal komşular mı? Görevinize bağlı. yaz: fastText’te yazılışı benzeyen biçimler öne çıkıyor
• 0,667 ile 0,446’nın oranı “bir buçuk kat daha benzer” diye okunamaz: iki uzayın kosinüs dağılımları farklı olabilir

fastText, sözlük dışı biçimler ve çekim çeşitliliği önemliyse güçlü bir aday. Karakter paylaşımı istenmeyen yakınlık da yaratabilir: kapsama ve görev başarısıyla değerlendirin.

Karakter n-gram’ları, bazı kök ve ek örüntülerini açık bir biçimbilim çözümleyicisi olmadan paylaşmayı sağlar. Karşılığında, yazılışı benzeyen ama anlamı farklı kelimelerin temsilleri de birbirine yaklaşabilir.

kitap için word2vec eseri ve makale gibi anlamsal komşular döndürüyor. yaz için word2vec komşuları mevsimsel kullanımı daha fazla yansıtıyor (kış, olimpiyatları, gündönümü); fastText yao, yağ, yayoi, yay döndürüyor.

Kural: yöntemi kelime uzunluğuna göre koşulsuz kabul ya da reddetmeyin. İlgisiz ya da zor negatif çiftlerdeki puan dağılımlarını da karşılaştırın. BPE (8. bölüm) ile ortak fikir, nadir bütünlerden parçalar yoluyla yararlanmak; mekanizma farklı: BPE tokenleştirme birimlerini belirler, fastText örtüşen karakter n-gram vektörlerini birleştirerek kelime vektörü oluşturur.

Belgeler vektör olarak

Yine 2. bölümün dört 20 Newsgroups kategorisi, aynı bölünme, üstte aynı lojistik regresyon:

temsil	doğruluk	boyut
TF-IDF (2. bölüm baseline’ı)	0,853	32.014
ortalama GloVe	0,820	100
idf ağırlıklı ortalama GloVe	0,822	100
doc2vec (PV-DBOW, 40 epoch)	0,839	100
ortalama GloVe + doc2vec	0,845	200

Bu bölünmede en yüksek doğruluk TF-IDF’te. Eşleştirilmiş testte TF-IDF – ortalama GloVe farkı rastlantıyla açıklanması zor: 135’e 84 belge, p = 0,0007.

Tek bir doğruluğun standart hatası (≈ 0,010), iki modelin farkının standart hatası değildir. İki GloVe ortalaması: 66’ya 63 (p = 0,86). doc2vec satırlarında bu hesap yok: tahminler birebir yeniden üretilemiyor.

Düz ortalama: belgedeki kelime vektörlerinin ortalaması. Fonksiyon token listesi bekler; sözlük dışı token’lar atlanır, hiç vektörü olmayan belge sıfır satırı kalır (2.327 eğitim belgesinin 79’u, 1.550 test belgesinin 65’i). IDF ağırlıklı ortalamada IDF yalnızca eğitim belgelerinden hesaplanır.

doc2vec (Le ve Mikolov 2014) belge kimliğine de öğrenilebilir bir vektör atar; negatif örnekleme ya da hiyerarşik softmax kullanılabilir. PV-DM belge vektörü ile bağlam kelimelerinden hedef kelimeyi, PV-DBOW yalnızca belge vektöründen belgeden örneklenen kelimeleri tahmin eder. Lau ve Baldwin (2016) inceledikleri görevlerde PV-DBOW’un da güçlü ve hesap açısından elverişli olabildiğini buldu; gensim’de dm=1 (varsayılan) PV-DM, dm=0 PV-DBOW. Tekrarlanabilirlik: Mesnil vd.’nin son sürümü (v7), özgün makaledeki %92,58 IMDB doğruluğuna karşılık yalnızca paragraf vektörleriyle %88,73 bildirir ve %92,6’nın ancak veri karıştırılmadığında ortaya çıktığını söyler. Bu, belirli bir tekrar deneyinin sonucudur.

Yeni belge: modelin kelime ve çıktı parametreleri sabit tutulur, yeni belge vektörü birkaç optimizasyon adımıyla kestirilir; bunun için eğitilmiş model gerekir.

McNemar testi, bir modelin doğru diğerinin yanlış tahmin ettiği belgelerin iki yöndeki sayımlarını karşılaştırır. Üç karşılaştırma için Bonferroni eşiği 0,017. infer_vector başlangıç vektörünü her Python oturumunda değişen bir karma değerinden türettiği için tablodaki doc2vec tahminleri birebir yeniden üretilemiyor; notebook sabit bir karma ile 0,830–0,836 buluyor.

Koordinat sayısındaki azalma aynı oranda bellek kazancı demek değildir; seyrek saklama, çalışma süresi ve arama yöntemi de ölçülmelidir.

SIF (Arora, Liang ve Ma 2017): kelime sıklığına bağlı a/(a + p(w)) ağırlıkları ve ortak baskın bileşenin çıkarılması. IDF ağırlıklı ortalamayla aynı yöntem değil; cümle benzerliği gibi görevlerde karşılaştırılabilecek ayrı bir temel yöntem.

Ortalama almanın yok ettikleri

• Kapsama (coverage): GloVe token’ların %98,6’sını, tiplerin %84,5’ini kapsıyor; kapsanmayan biçimler token kütlesinin %1,4’ü ve ortalama onları dışarıda bırakıyor

a = "the pump failed and the valve is fine"
b = "the valve failed and the pump is fine"

• İki ortalama vektörün kosinüsü: 1,0000. Aynı token’lar aynı sayıda geçtiği için sırasız ortalama matematiksel olarak aynı vektör
• Kayan noktada toplama sırası küçük farklar üretir: np.allclose True, bit düzeyinde karşılaştırma False (en büyük fark \(1{,}2 \times 10^{-7}\))

Ortalama alma, hangi parçanın arızalandığını belirleyen kelime sırasını korumaz: 2. bölümün bag-of-words problemi, artık 100 boyutta. Kelime sırası, diziyi okuyan bir model gerektirir (6. ve 7. bölüm).

Cevabı açmadan önce sınıfa kosinüsü sorun (tek tık).

Kapsama sayıyla: 27.681 tipin 23.395’i.

Bölümdeki kod, bölünmüş cümlelerin GloVe vektörlerinin np.mean ile ortalamasını alıp kosinüsü yazdırıyor: 1,0000 ve “identical: True”. Buradaki “identical” np.allclose sonucu; bit düzeyinde eşitlik her uygulamada garanti değil.

Kelime sırası 6. bölümün (Dil Modelleri) ve 7. bölümün (Transformer’lar ve Attention) konusu.

Bu uzayda kosinüs, benzerlikten çok ilişkililiği yansıtır

çift	kosinüs
good – bad	0,770
hot – cold	0,725
increase – decrease	0,881
cat – dog	0,880
cat – car	0,311
teacher – student	0,808

• Zıt anlamlı çift de yüksek kosinüs alıyor — zıt anlamlı (antonym) problemi; 0,881 ile 0,880 arasındaki fark anlamlı bir sıralama değil
• Model kelimenin çevresini görür: hot ve cold aynı kelimelerin yanında geçer
• Bu uzayda kosinüs büyük ölçüde ilişkililiği (relatedness) yansıtır

Statik vektörlerin ham kosinüsünü doğrudan duygu ya da kutupluluk ölçüsü olarak yorumlamayın.

Geometri kısmının yol haritası: dağılımsal ilişkililik, yönlerin dağılımı ve frekans etkisi; ardından koordinat sisteminin keyfîliği ve farklı eğitimlerin ne ölçüde tutarlı olduğu.

Zıt anlamlı probleminin pratikteki bedeli: “sıcak” diye arayan bir sistem, “soğuk” içeren belgeleri en benzer sonuçlar arasında getirebilir. Çelişki ya da eş anlamlılık gibi göreve özgü etiketler ayrımı öğrenmeye yardımcı olabilir ve eğitimde doğrudan görülmeyen çiftlere de genellenebilir; başarı veri kapsamına ve öğrenme amacına bağlıdır.

Steck, Ekanadham ve Kallus (2024): belirli doğrusal matris çarpanlaştırma modellerinde eğitim tahminleri korunurken kosinüsler değişebilir. Kosinüs, öğrenilmiş temsilden bağımsız bir anlam ölçeği değildir. Rastgele çiftlerin dağılımı yararlı bir karşılaştırma zemini sağlar; görev açısından benzerliği değerlendirmek için ayrıca etiketli örnekler gerekir. İki modeldeki 0,8 değerlerini eşdeğer saymayın.

Değerlendirme verileri de farklı ilişkileri ölçer: WordSim-353 (Finkelstein vd. 2002) geniş anlamsal ilişkililiği de yansıtan yargılar içerir; daha sonra geliştirilen SimLex-999 (Hill vd. 2015) benzerliği ilişkililikten ayırmayı hedefler.

Uzay izotropik değil

En sık 50.000 GloVe kelimesinden 4.000 birim vektör

istatistik	değer
rastgele çiftlerde ortalama kosinüs	0,029
standart sapma	0,119
kosinüsü > 0 olan çiftler	%56,9
ortalama vektörün normu	0,171
merkezlemeden sonra ortalama kosinüs	−0,000

• İzotropik = her yönde aynı. Anizotropik = vektör dağılımı bütün yönlerde aynı değil; ortak bir yöne kayma bunun bir biçimi, ama şart değil
• Ortalama kosinüs ile ortalama vektörün normu bağımsız iki kanıt değil: \(\bar{c} = (n\lVert\bar{v}\rVert^2 - 1)/(n-1) \approx 0{,}029\)
• Rastgele çiftlerin dağılımı bir puanın ne kadar sıra dışı olduğunu gösterir; 0,3 gibi sabit bir değer kendiliğinden anlamsal ilişki demek değildir
• Merkezleme ortalama yönü kaldırır; bütün anizotropiyi gidermez. All-but-the-top (Mu, Bhat ve Viswanath 2018): etkisini görevde ölçün

Önce kelimeyi açıklayın. Her vektörü ortak bir merkezden çıkan bir ok olarak düşündürün: izotropik uzayda oklar her yöne eşit dağılır. Anizotropi için ortak bir yöne kayma şart değildir: vektörler bir eksenin iki karşıt yönünde yoğunlaşıp yine sıfır ortalamaya sahip olabilir.

Sıfır hipotezi: d boyutta düzgün dağılmış bağımsız birim vektörlerde açılar 90° çevresinde yoğunlaşır; ortalama kosinüs 0, varyans 1/d. %56,9 tek başına pek bir şey kanıtlamaz: 8 milyon çift 4.000 vektörden geliyor, bağımsız gözlem değiller.

Bu örneklemdeki değerler ortak bir ortalama yönle uyumlu; tek başlarına bütün uzayın dar bir koniye sıkıştığını göstermez. Merkezleme sonrası ortalama kosinüsün tam sıfır olması genel bir özdeşlik değildir. Sonuçlar ilk 50.000 kelimeden seçilen örnekleme ait. Merkezleme kovaryansı küresel de yapmaz.

Ethayarajh (2019), incelediği bağlamsal modellerin belirli katmanlarında güçlü anizotropi gözlemler; bu sonucu bütün bağlamsal temsil yöntemleri için değişmez bir sıralama olarak okumayın.

Kitaptaki histogram: bu örneklemde merkezleme ortalama kosinüsü sıfıra yaklaştırıyor.

Frekans sızıyor; alanınız kuyrukta yaşıyor

Sık kelimelerin vektörleri ortalamada daha uzun: ilk 100 kelimede ortalama norm 6,19; 100.000–400.000. sıralarda 3,62.

terim	sıra	en yakın komşular
water	430	natural 0,70; dry 0,68; salt 0,68
turbine	15.747	turbines 0,80; compressor 0,78; generator 0,72
cavitation	109.044	aliasing 0,56; barotrauma 0,54; attenuation 0,54
impeller	124.835	armature 0,62; evaporator 0,61; nozzle 0,60
eutectic	159.022	azeotrope 0,61; azeotropic 0,55; tiwai 0,54

Alan terimlerini ayrıca değerlendirin. Komşu listeleri iyi bir ilk kontrol; yöntem seçimini ise ön eğitimli, alana uyarlanmış ve alt kelime temsillerini görev ölçütleriyle karşılaştırarak yapın.

Norm ve yön. Tablo normun sıklıkla ilişkili olabildiğini gösterir; kosinüsün her görev için en iyi ölçüt olduğunu göstermez. Kosinüs normu dışarıda bırakıp yönü karşılaştırır; Öklid uzaklığı hem yön hem uzunluktan etkilenir. Birim normlu vektörlerde ‖a − b‖² = 2 − 2cos(a, b) olduğundan iki ölçüt aynı sıralamayı verir. Normu korumanın mı kaldırmanın mı yararlı olduğu görevde değerlendirilir.

Frekans sırasına göre ortalama norm: 0–100: 6,19; 100–1.000: 5,85; 1.000–10.000: 5,45; 10.000–100.000: 4,99; 100.000–400.000: 3,62. İlk 100 bin kelimede Spearman(log sıra, norm): −0,313. Bu, kovaların ortalamalarının eğilimi.

Ham iç çarpım ve Öklid uzaklığı norm farklarından etkilenebilir; normalleştirilmemiş vektörleri alan bir model bu bilgiden yararlanabilir, ne ölçüde kullandığı modelin amacına ve parametrelerine bağlıdır.

Komşu listeleri: turbine komşuları ekipman ve enerji sistemleriyle ilişkili görünüyor. cavitation ve eutectic listelerinde hangi ilişkilerin görev için yararlı olduğunu alan bilgisiyle değerlendirmek gerekir; aynı fiziksel süreçte ilişkili olmak eş anlamlı olmak değildir. Bu kısa listelerden genel kalite sıralaması çıkarılamaz.

Keyfî koordinatlar, değişken eğitimler

Aynı derlem, aynı ayarlar, iki seed (text8, 6.794.527 token)

ölçüm	değer
aynı kelime, ham koordinatlar: ort. kosinüs	−0,016
dik hizalamadan (Procrustes) sonra	+0,951
ilk 10 komşu örtüşmesi, en sık 1.000	%62,2
ilk 10 komşu örtüşmesi, en nadir 1.000	%46,6
dik dönüşümde en büyük kosinüs değişimi	5,5 × 10⁻⁷

• İki tabloyu aynı dik \(R\) ile çarpın: \((WR)(UR)^\top = WU^\top\) — her koordinat değişir, hiçbir iç çarpım değişmez
• Bir koordinatın bir eğitimdeki anlamı, koordinat dönüşümünde korunmayabilir
• +0,951: koordinat seçimi farkın çoğunu açıklıyor, hepsini değil — komşu örtüşmeleri yerel farkların sürdüğünü gösteriyor

Aynı derlem + farklı seed → geometrik olarak farklı, işlevsel olarak benzer uzaylar. Tek bir eğitimin tek bir komşu listesine argüman kurmayın.

Sayılar bölümün ölçümü: word2vec’i aynı text8 diliminde, aynı ayarlarla, yalnızca seed’i değiştirerek iki kez eğittik (gensim 4.4, sözlük 18.677). workers=1 iş parçacığı sırasından kaynaklanan değişkenliği azaltır; tam yeniden üretim için veri sırası, PYTHONHASHSEED, kütüphane sürümleri ve ortam da sabitlenmelidir.

Dönüşüm: bütün vektörleri aynı rastgele dik matrisle çarpın; king’in bütün koordinatları değişir, king–queen kosinüsü 0,6826’da kalır. Ortogonal Procrustes hizalaması yansıma da içerebilir; “yalnızca döndürme” demeyin.

Farklı zaman ya da derlemleri karşılaştırırken ortak ve olabildiğince kararlı dayanak kelimelerle hizalayın; incelenecek değişimi hizalamanın içine soğurmamaya dikkat edin.

Kararlılık: en sık kelimelerde bile on komşunun yaklaşık dördü iki eğitim arasında farklı; en nadir kelimelerde yarıdan fazlası. Bir komşuluk önemliyse birkaç seed ile eğitip hangi komşuların her seferinde geldiğine bakın.

Yanlılık veride; geometri onu kaydediyor

woman − man üzerine izdüşüm

kelime	izdüşüm
homemaker	+0,363
nurse	+0,329
receptionist	+0,281
teacher	+0,152
doctor	+0,109
scientist	−0,046
programmer	−0,083
engineer	−0,123

İşaret, seçtiğimiz fark yönündeki izdüşümün yönünü gösterir; toplumsal yanlılığın bütün boyutlarını ölçmez.

1. Çoğu zaman bir eğitim hatası değil — eğitim verisindeki sistematik çağrışımlar geometriye taşınabiliyor; ölçtüğünüz şey derlem, model ve seçtiğiniz eksenin birlikte ürettiği bir izdüşüm
2. Kararlara yansıyabilir — etki sonraki modelin amacına, diğer girdilere ve karar kuralına bağlı; uygulamanın çıktılarını da değerlendirin
3. Tek bir müdahale bütün göstergeleri kaldırmaz — müdahaleden sonra komşuluk ve sınıflandırma yapısında cinsiyetle ilişkili bilgi kalabiliyor (Gonen & Goldberg 2019)

Bolukbasi vd. 2016 · Caliskan vd. 2017 · Gonen & Goldberg 2019

Bölüm kelimeleri farklı bir sırayla veriyor (doctor, nurse, engineer, teacher, programmer, homemaker, scientist, receptionist); slayt onları izdüşüme göre sıralıyor. Pozitif, woman tarafı demek.

Bolukbasi vd. (2016) tek bir çift yerine birden çok tanımlayıcı kelime çiftinden bir yön ya da altuzay kestirir; buradaki tek çiftli hesap yöntemin öğretici bir sadeleştirmesi. Yöntemleri, seçilen kelimeler için nötrleştirme ve eşitleme adımları içerir. Caliskan, Bryson ve Narayanan (2017) WEAT ile, inceledikleri kelime kümelerinde çeşitli insan çağrışım örüntülerine benzer ilişkiler bulur. İnsanlardaki tepki süreleriyle vektör ilişkileri farklı ölçümlerdir; etki büyüklüklerini aynı nicelik gibi yorumlamayın.

Gonen ve Goldberg’in gösterdiği: seçilen ölçütün düşmesi, bütün ilgili yapının silindiğini göstermez.

Sınıfa bölümün sezgi kontrolünü sorun: bu testte yanlılık göstermeyen bir model yansız mıdır? Hayır. Test, tek bir kelime çiftinin tanımladığı tek bir yönü ölçüyor. Tek bir adalet metriğini geçmek, yalnızca o metriğin yakalayabildiği yanlılık türü hakkında kanıt sağlar.

Bir embedding iyi mi, nasıl anlarsınız?

• İçsel (intrinsic): uzay insan yargılarıyla örtüşüyor mu — benzerlik puanları, analojiler? Hızlı; gerçek bir görev gerektirmez
• Dışsal (extrinsic): önemsediğiniz şeyi iyileştiriyor mu? Yavaş, ama katkıyı doğrudan ölçen değerlendirme
• Aynı GloVe vektörleri: WordSim-353 Spearman 0,533; SimLex-999 0,296. Kümelerin kapsamı ve yargı türleri de farklı; fark yalnızca zıt anlamlılıkla açıklanamaz
• İçsel puanlar özellikleri karşılaştırmak ve aday elemek için yararlı; uygulama seçiminde hedef görevdeki başarı ve maliyet belirleyici (Schnabel vd. 2015)

Google analojileri: toplamda 0,633

kategori	doğruluk
capital-common-countries	0,939
capital-world	0,889
nationality-adjective	0,879
family	0,816
city-in-state	0,308
opposite	0,201
currency	0,152

İçsel ve dışsal değerlendirme, temsilin farklı yönlerini ölçer.

Google analoji kümesi: 14 kategoride 19.544 soru. Kategori kırılımı toplam puanın gizlediği farkları gösteriyor. Bu farklar derlem kapsamı, ilişki türü ve puanlama yönteminden etkilenebilir; tek başına hangi nedenin baskın olduğunu kanıtlamaz. Toplam doğruluğu kategori puanları, kapsama ve basit temel yöntemlerle birlikte raporlayın. Düşük kategorilerdeki skorlar bile 300.000 adaylık bir kümeden rastgele seçimin çok üstünde.

Diğer kategoriler: gram1-adjective-to-adverb 0,244; gram3-comparative 0,791; gram4-superlative 0,543; gram5-present-participle 0,695; gram7-past-tense 0,554; gram8-plural 0,720; gram9-plural-verbs 0,584. Slayttaki kategori adlarında “gram6-”/“gram2-” önekleri atıldı.

Bir gensim ayrıntısı: varsayılan restrict_vocab = 300.000. Kelime çifti değerlendirmesinde bu sınırın dışındaki kelimeleri içeren çiftler atlanır; aday cevap araması yapılmaz. Analojide hem soru kapsamı hem aday sözlüğü sınırlanır.

Aynı veri kümesi, farklı değerlendirilen örnekler

	GloVe · 6 milyar token	sıfırdan · 6,8 milyon token
WordSim-353	0,533 · %0,0 atlandı	0,627 · %11,9 atlandı
ortak 311 çift	0,549	0,627
Analoji, puanlanan sorular	0,633 · 19.486 soru	0,200 · 9.282 soru
Analoji, tüm 19.544 soru	0,631	0,095

• WordSim: ortak çiftlerde de küçük model önde — burada kapsama farkı aradaki farkı kapatmıyor. Analoji: atlanan sorular yanlış sayılınca (dummy4unknown=True) küçük modelin puanı yarıya iniyor
• GloVe’un atladığı 58 sorunun hepsi denar içeriyor: sözlükte var (sıra 394.434), varsayılan 300.000 sınırının dışında

Puanla birlikte kapsamayı ve puanlanan örnek sayısını verin. Atlanan örneklerin etkisinin yönü, hangi örneklerin atlandığına bağlıdır.

Aynı veri kümesi adı, aynı değerlendirilen örnekler demek değildir.

WordSim-353: küçük modelin sözlüğü 18.677 kelime; çiftlerin %11,9’u atlanıyor. İki modelin de kapsadığı 311 çiftte (%88,1) GloVe 0,549, NumPy modeli 0,627. Küçük modelin atladığı 42 çiftte GloVe’un korelasyonu 0,473; yani bu çiftler GloVe için ortalamadan biraz daha zor, ama fark kapanmıyor. Tek bir ilişkililik kümesindeki bu sonuç küçük modelin genel olarak daha iyi olduğunu göstermez; analoji sayıları tersini söylüyor.

Analoji: varsayılan dummy4unknown=False kapsam dışı kelime içeren soruları atlar. dummy4unknown=True atlanan soruları yanlış sayar; modele bilinmeyen kelimeler için vektör kazandırmaz. GloVe 19.544 sorunun 12.334’ünü, NumPy modeli 1.852’sini doğru biliyor. Aday sözlüğü, harf duyarlılığı ve girdi filtresi de aynı biçimde raporlanmalı.

Kural: farklı örnek alt kümelerinden hesaplanan skorları aynı kapsamdaymış gibi karşılaştırmayın.

Aralarında seçim yapmak

yöntem	şu durumda tercih edin	dikkat edilecekler
PPMI + SVD	hesap adımlarını incelemek ya da mütevazı bir sözlükte sayıma dayalı bir temel yöntem kurmak için	seyrek sayım matrisi, düşük ranklı faktörler ve çözücü belleği; sözlük dışı biçimler için satır yok
word2vec	alan derleminden kelime vektörleri öğrenmek için; fastText’e karşı ölçerek	başarı örnekleme, ayarlar ve kapsama bağlı; yalnızca son vektörler eğitime devam için yetmez
GloVe	uygun dil ve alanı kapsayan hazır vektörlerle hızlı bir başlangıç için	eğitim için eş-oluşum verisi hazırlanmalı; hazır sözlüğün kapsamı dil ve alana göre değişir
fastText	yüksek OOV, çekim çeşitliliği ya da yazım değişkenliği varsa	alt kelime tablosu ek bellek ister; yazılış benzerliği istenmeyen yakınlık yaratabilir (kitap/kitle 0,667)

Kapsama kazancını görev başarısı ve zor negatifler üzerinde değerlendirin (4. bölümdeki ölçüm). Belgelerde: bu deneyin tek bölünmesinde yoğun yöntemlerin hiçbiri TF-IDF satırını geçmedi; bu bulgu bütün sınıflandırma ya da erişim görevlerini kapsamaz.

Dört yöntem; hepsi kelime başına yoğun bir vektör üretiyor, hepsi kosinüsle karşılaştırılabiliyor. Farklar yalnızca belirli koşullarda önem kazanıyor.

Sayma ile tahmin, mühendislik açısından. Bellek: büyük derlemlerde seyrek eş-oluşum matrisi, düşük ranklı vektörler ve çözücünün çalışma belleği gerekir; akış tabanlı bir SGNS uygulamasında iki tablo O(Vd) yer kaplar, örnekleyici ve tamponlar da bellek ister. Bölümün NumPy örneği bütün çiftleri sakladığı için belleği derlem büyüklüğüne de bağlıdır. Tekrarlanabilirlik: SVD’de çözücü, ortam ve (rastgeleleştirilmişse) seed sabitlenir; tekil vektörlerin işaretleri ve eşit tekil değerli altuzayların taban seçimi tekil değildir. SGNS’de seed, veri sırası, iş parçacığı sayısı ve ortam denetlenir. Yeni veri: sayımlar artımlı güncellenebilir; SGNS’de iki tablo, sözlük ve eğitim durumu korunmuşsa eğitime devam edilebilir.

Belgeler: ortalaması alınmış kelime vektörleri ek belge temsili eğitimi gerektirmez; kelime sırasını ve sözdizimsel ilişkileri kaybeder, olumsuzluk kapsamını güvenilir biçimde korumaz. doc2vec bu deneyde ortalama GloVe’dan yüksek doğruluk verdi (0,839’a karşı 0,820); farkın belirsizliği eşleştirilmiş değerlendirmeyle ölçülmeli. 4. bölüm (Metin Temsillerini Karşılaştırmak) karşılaştırmayı farklı dil, alan ve veri miktarıyla, bir öğrenme eğrisi boyunca yapıyor.

Üretim sistemlerindeki uygulamalar

• Airbnb arama sıralaması — tıklama oturumları üzerinde skip-gram ile ilan embedding’leri: oturum = cümle, ilan = kelime, rezerve edilen ilan global bağlam (Grbovic & Cheng 2018)
• YouTube önerileri — izlenen videoların ve arama token’larının embedding’leri ayrı ayrı ortalanır, diğer kullanıcı bilgileriyle birlikte derin aday üretim ağına verilir; ağın çıktısı kullanıcı temsilidir (Covington vd. 2016)
• Item2vec — skip-gram benzeri amaçlar alışveriş sepetleri gibi öğe birlikteliklerine de uygulanabilir; her *2vec aynı amacı kullanmaz (Barkan & Koenigstein 2016)
• Sınıflandırma için fastText — kelime ve kelime n-gram özelliklerinin vektörleri, üstte doğrusal bir çıktı katmanı (Joulin vd. 2017); karakter n-gram’larıyla aynı birim değil
• Vektörle erişim — 19. ve 20. bölümdeki sistemlerin bir kısmı metinleri vektörlerle temsil eder; RAG sözlüksel ya da hibrit erişimle de kurulabilir

Embedding katmanı, ayrık kimlikleri öğrenilebilir sürekli vektörlere eşler. Türevi alınan şey kimliğin kendisi değil, ona karşılık gelen vektör parametreleridir.

word2vec’in mirası “kelime” değil; herhangi bir ayrık varlık için eş-oluşumdan embedding öğrenme fikri.

Airbnb: üretimdeki aramaya alındı ve rezervasyonlarda kayda değer bir artış raporlandı. Sınıflandırma için fastText: hız ve doğruluk dengesi bakımından sınanabilecek bir temel yöntem; eğitim süresi ve başarı veri ile ayarlara bağlı.

Standart bir tabloda her kimliğin ayrı satırı vardır; ortak eğitim amacı bu satırların ilişkili bir uzayda öğrenilmesini sağlar. fastText gibi yapılarda alt parçalar üzerinden gerçek parametre paylaşımı da bulunur. Elde edilen vektörler, uygun girdi boyutuna ve yapıya sahip sonraki modellerde kullanılabilir.

Statik embedding’lerin yapamadıkları

kısıt	bu bölümdeki kanıt	yaygın ele alma / azaltma yöntemi
Biçim başına tek statik vektör	python: farklı kullanımlardan komşular	bağlama göre hesaplanan temsiller (7. bölüm)
Sırasız birleştirme	aynı token’lar, farklı sıra → aynı ortalama	dizi modelleri (6. bölüm)
Sözlük kapsamı	KeyError; Türkçe örneklemde OOV %7,3	alt kelime temsilleri
Benzerlik–zıtlık karışması	increase/decrease 0,881	göreve uygun etiketlerle değerlendirme
Yön dağılımında eşitsizlik	ortalama kosinüs 0,029 (ilk 50.000 örneklemi)	merkezlemeyi görevde sınama
Nadir / alan dışı kelimeler	bazı alan terimlerinin komşuları	alan değerlendirmesi, uyarlama
Toplumsal çağrışımlar	homemaker +0,363	birden çok ölçüt; müdahaleleri sınama

Statik bir embedding tip düzeyinde bir arama tablosudur: kelime biçimi → tek vektör. Bağlamsal model, token’ın temsilini erişebildiği çevreye göre hesaplar.

Statik tablo kelime biçimini aynı vektöre eşler; farklı kullanımlar bu vektörü etkileyebilir, ama her yeni cümlede anlam seçimi yapmaz. Bağlamsal modelde çevre, modelin dikkat düzenine bağlıdır: çift yönlü modeller iki tarafı, nedensel modeller yalnızca izin verilen önceki token’ları kullanır.

İkinci satır farklı bir problem: kelime sırası, tek tek vektörlerin değil, onları cümle ya da belge vektöründe birleştirme biçiminin sorunu.

ELMo (Peters vd. 2018), çift yönlü dil modelinin iç durumlarını bağlama göre değişen kelime temsilleri olarak kullanarak bu yaklaşımın yaygınlaşmasında önemli bir dönüm noktası oldu. Bağlamsal temsil fikri daha önce de vardı; ELMo bu fikirden genel amaçlı, aktarılabilir temsiller üretmenin etkili bir örneği.

Sezgi kontrolü 1 / 6

Embedding’inizin 300 boyutu var. Neden 300, neden 30 ya da 3.000 değil?

• 300 için evrensel bir optimum yok
• Boyut azalınca temsil kapasitesi sınırlanabilir; artınca bellek ve hesap maliyeti yükselir, az veriden öğrenilen ayrıntıların genellenebilirliği ayrıca değerlendirilir
• Düşük boyut ilgisiz kelimeleri aynı noktaya zorlamaz; yüksek boyut da zorunlu olarak gürültü üretmez
• GloVe 50 → 100 boyut: WordSim 0,503 → 0,533; SimLex 0,263 → 0,296; analoji 0,464 → 0,633
• Gerçek görevde boyut seçeneklerini başarı, bellek ve gecikme açısından karşılaştırın

Cevabı açmadan önce öğrencilere bir dakika verin (tek tık).

GloVe makalesindeki boyut taramaları (Pennington vd. 2014), belirli deneylerde boyut arttıkça kazancın yavaşlayabildiğini gösterir. Bu, birkaç yüz boyutu iyi bir başlangıç aralığı yapabilir; evrensel bir varsayılanın kanıtı değildir.

Sezgi kontrolü 2 / 6

Sözlük üzerinde softmax yerine neden negatif örnekleme?

• Puanlama maliyeti: tam softmax çift başına yaklaşık \(O(Vd)\), \(K\) negatifle \(O((K+1)d)\). Örnekleyicinin de maliyeti var: buradaki ikili arama örnek başına \(O(\log V)\)
• Yalnızca daha hızlı bir hesap değil: eğitim amacı değişir
• \(q = P(c)\) ve serbest iç çarpımlar altında hedef kaydırılmış PMI olur (Levy ve Goldberg 2014)
• Hiyerarşik softmax: ağaç yolundaki kararlarla normalize olasılık; dengeli ağaçta yaklaşık \(O(d \log V)\)

Hiyerarşik softmax modern büyük dil modellerinde standart değil; klasik word2vec eğitiminde bir seçenek olarak karşınıza çıkabilir.

Sezgi kontrolü 3 / 6

Elinizde Türkçe 50.000 destek talebi var. word2vec mi, fastText mi?

• Önce ölçün: taleplerin token sayısı, tip sayısı ve eğitim/test bölünmesindeki OOV oranı
• Türkçedeki çekim çeşitliliği fastText’i güçlü bir aday yapar; ama Wikipedia’daki %7,3 OOV oranı destek talepleri için alt sınır değildir — dar ve tekrar eden bir alanın sözlüğü daha küçük de olabilir
• İkisini aynı ön işleme ve değerlendirme koşullarında karşılaştırın
• Kapsama kazancını istenmeyen yazılış yakınlıklarıyla (kitap/kitle) birlikte değerlendirin

Bu sorunun iyi cevabı bir yöntem adı değil, bir ölçüm planı.

Sezgi kontrolü 4 / 6

İki belgenin ortalama vektörleri arasındaki kosinüs 0,95. Aynı şeyden mi bahsediyorlar?

• Yalnızca 0,95’ten bu sonuç çıkmaz. Ortalama alma sırayı kaybeder; aynı kelimelerle zıt ilişkiler kurulabilir
• Ölçtük: bölümün 2.248 Newsgroups belgesinde rastgele çiftlerin ortalama kosinüsü 0,944, ortancası 0,961; çiftlerin %65,6’sı 0,95’in üzerinde
• Farklı haber gruplarından gelen çiftlerde bile %63,8
• Karar eşiğini benzer, ilgisiz ve zor negatif olarak etiketlenmiş çiftlerle değerlendirin; yüzdelik dilim tek başına anlamsal eşdeğerlik olasılığı değildir

Ortak bileşen ortalama alınırken büyümek zorunda değildir: bağımsız değişken katkılar azalırken ortak yönün göreli etkisi artabilir. Bu derlemde 0,95, rastgele bir çiftin aldığı tipik değerin altında kalıyor.

Sezgi kontrolü 5 / 6

Ön eğitimli embedding’leri kendi derleminizde fine-tune mı etmeli, yoksa sıfırdan mı eğitmeli?

• İki eksene bakın: alan derleminizin büyüklüğü ve ön eğitimli sözlüğün terimlerinizi ne kadar kapsadığı
• Küçük derlem, yüksek kapsama: ön eğitimli vektörleri kullanın. Küçük derlem, düşük kapsama: alt kelime modeli ya da bağlamsal bir encoder
• Orta–büyük derlem: ön eğitimliden devam etmeyi test edin; kapsama düşükse alana uyarlamalı ya da sıfırdan eğitimi değerlendirin
• İki işlemi ayırın: hazır vektörleri sonraki modele başlangıç olarak vermek ile özgün embedding eğitimini sürdürmek. İkincisi yalnızca KeyedVectors değil, çıktı parametrelerini ve eğitim durumunu da gerektirebilir

Veri miktarının yanında alan kayması ve kapsama önemlidir. Alan terimlerinin komşularını incelemek bir ilk kontrol; seçim hedef görevle doğrulanmalı.

Sezgi kontrolü 6 / 6

“Embedding’ler TF-IDF’in yerini aldı.” Doğru mu, yanlış mı?

• Göreve bağlı. Buradaki tek bölünmede TF-IDF en yüksek doğruluğu aldı (0,853); ortalama GloVe ile farkı eşleştirilmiş testte rastlantıyla açıklamak zor
• Sözlüksel erişim (örneğin BM25) tam terim eşleşmesinde, yoğun erişim farklı ifadeler arasındaki ilişkilerde yararlı olabilir
• Hibrit erişim iki bilgi türünü birleştirir; başarısı değerlendirilmelidir
• Embedding vektörleri TF-IDF’in ya da one-hot kodlamanın bütün kullanımlarını ortadan kaldırmaz: embedding satırı seçimi, one-hot vektörle matris çarpımı olarak yazılabilir

doc2vec satırlarıyla farkı ölçemedik: tahminler birebir yeniden üretilemiyor.

Mülakat tarzı tartışma soruları

Bölümdeki on iki sorudan üçü: biri amaç fonksiyonu, biri geometri, biri sistem tasarımı üzerine.

1. word2vec’i, regresyon bilen ama yapay sinir ağı bilmeyen birine anlatın.
2. İlgisiz iki kelimenin kosinüsü 0,3. Bu yüksek mi, düşük mü?
3. Elinizde 100.000 ürün ve tıklama kayıtları var. Bir ürün embedding’i tasarlayın.

Genel hazırlık kaynakları: Huyen 2021 ve AIMLInterviews deposu

Kaynak gösterimi: bu sorular bölümün kavramlarını ve uygulama kararlarını çalışmak için hazırlandı; belirli şirketlerde soruldukları iddia edilmiyor. Genel hazırlık için Chip Huyen’in Introduction to Machine Learning Interviews kitabı ve GitHub’daki AIMLInterviews deposu incelenebilir.

Bölümdeki diğer sorular, ödev olarak: skip-gram ile CBOW ve hangisi ne zaman; 0,75 üssü neden; altörnekleme hızı ve temsil kalitesini nasıl etkileyebilir; king − man + woman demosunda nelere dikkat edilmeli; anlamsal arama neden zıt anlamlıları döndürüyor ve ne yapılır; 100 ms altında 50 milyon belge için belge vektörleri; kendi derlemde eğitilen embedding’in ön eğitimliden kötü çıkması; üretimdeki bir embedding’in bayatladığını tespit etmek; PPMI+SVD, word2vec ve GloVe arasındaki bağlantı.

Önerilen biçim: ikili gruplar, her gruba bir soru, iki dakika; sonra bir sonraki slayt.

Güçlü bir cevap neleri söyler

1. Negatif örneklemeli skip-gram — gözlenen çiftler pozitif, gürültü örnekleyicisinden gelenler negatif. Puan iki vektörün iç çarpımı, olasılık \(\sigma(v \cdot u)\), tek terimin türevi \(\sigma(v \cdot u) - y\). Kayıp biçimi lojistik regresyonla ortak; iki tablo birlikte öğrenildiği için problem dışbükey değil. Koşullarıyla birlikte \(\mathrm{PMI} - \log K\) bağlantısı
2. Bir referans dağılım — ilk 50.000 GloVe kelimesinden alınan örneklemde ortalama 0,029, standart sapma 0,119; 0,3 yaklaşık 2,3 standart sapma yukarıda. Bu örnekleme göre yüksek; normal dağılım, p-değeri ya da anlamsal ilişki garantisi vermez. Kendi verinizin yüzdeliklerine ve etiketli çiftlere bakın
3. Oturumlar üzerinde skip-gram — oturum = ürün dizisi. Airbnb: rezerve edilen ilan ek pozitif bağlam; genel negatiflere ek olarak pazar içi negatifler (Grbovic & Cheng 2018). Oturum sınırları, negatif tanımı ve zaman ayrımı açık kurulmalı. Soğuk başlangıç: başlık, kategori gibi içerik özellikleri

Bölümdeki daha uzun cevaplar.

1. Gerçek düşük ranklı model ile PPMI–SVD farklı kayıplar ve hedef dönüşümleri kullanır; aynı sonucu vermek zorunda değildir.
2. Merkezleme ortak ortalamayı kaldırır (Mu, Bhat ve Viswanath 2018); bütün anizotropiyi ortadan kaldırmaz.
3. Keyfî ürün kimliklerini karakter parçalarına bölmenin anlam taşıdığı varsayılmamalı.

Alıştırmalar

1. Küçük örneği pencere 1 ve 4 için karşılaştırın; diğer ayarlar sabit. Hangi komşuluklar değişiyor? Beklenen eğilim görünmüyorsa bunu da raporlayın
2. Analojilerin sınırları: beklenen yanıtı veren üç, vermeyen üç örnek. Normalleştirmeyi ve aday filtresini sabit tutun; en yakın komşu temel yöntemiyle karşılaştırın
3. Kendi alanınızı denetleyin: modelin dilinde yirmi terim; ölçütü baştan belirleyin; iyi / makul / zayıf puanlarıyla frekans sırası arasındaki Spearman korelasyonu
4. Sözlük kapsamı: Türkçe ve İngilizcede sabit test kümeleriyle OOV öğrenme eğrileri

5. Ortalama almanın sınırı: aynı token’ları aynı sayıda içeren, sırası farklı iki cümle; hangi ilişki kayboluyor?
6. TF-IDF ile yoğun temsiller: ayarları doğrulama kümesinde seçin, testi yalnızca sonda kullanın; kazanç yoksa bunu da tartışın
7. CBOW’u kendiniz uygulayın: NumPy örneğini genişletin; aynı veri ve eğitim bütçesiyle, sıklık gruplarına göre karşılaştırın
8. Bir çağrışım yönünü keşfedin: çiftleri ve terimleri önceden belirleyin; yönü kaldırdıktan sonra komşuluk ve kümeleme yapısını karşılaştırın

Bölümün sekiz alıştırması, kısaltılmış. Okunmaya değer ayrıntılar:

3. Listeleri tercihen frekans sırasını görmeden puanlayın; sözlük dışı terimleri ayrıca sayın. Yirmi terimlik sonuç keşif amaçlıdır.
4. Konu, dönem ve ön işleme bakımından olabildiğince benzer iki derlem seçin. Yalnızca tip/token ve hapax oranından kesin token gereksinimi çıkarmayın.
5. Seçenekler: doc2vec ayarları, farklı boyutlar, SIF gibi ağırlıklı temsiller (Arora vd. 2017) ya da birleşimler.
6. Deneyden önce beklediğiniz farkı yazın. CS224N ödevleri yıllara göre değişir; ek ödev kullanacaksanız yılı ve doğrudan bağlantıyı belirtin.
7. Grup etiketlerini işlemin sonucuna bakarak üretmeyin. Küçük deneyinizi Gonen ve Goldberg’in çalışmasının tekrarı olarak değil, ondan esinlenen bir keşif olarak sunun.

Beklenen gözlemler bir çözüm anahtarı değil, kontrol noktaları: örneğin hiçbir adayın TF-IDF’i geçmemesi mümkündür; CBOW ve skip-gram sıralaması veri ve eğitim bütçesine bağlıdır.

Daha derine inmek için

kaynak	neden
Mikolov vd. 2013a, 2013b	skip-gram ve CBOW; sonra negatif örnekleme ve altörnekleme — ikincisini bölümdeki kodla karşılaştırarak okuyun
Rong 2014 · Goldberg & Levy 2014	gradyanların adım adım türetimi; negatif örnekleme amacının mantığı
Levy & Goldberg 2014 · Levy vd. 2015	SGNS–PMI ilişkisi ve hiperparametrelerin etkisi
Bolukbasi vd. 2016, ardından Gonen & Goldberg 2019	birlikte okuyun: önerilen işlemler, sonra kalan yapının incelenmesi
Jurafsky & Martin, 5. bölüm	19 Ağustos 2026 taslağında kelime temsilleri; PPMI için Ek J; ücretsiz
Stanford CS224N	kelime vektörleri dersinin notları; ödevler yıllara göre değişir
Elena Voita, NLP Course For You	skip-gram ve negatif örnekleme, görsellerle
fastText pretrained vectors	Türkçe dahil 157 dil için hazır vektörler

Bölümün listesinden.

Makaleler, okuma sırasıyla, hepsi ücretsiz: Mikolov vd.’nin “Efficient Estimation of Word Representations in Vector Space” ve ardından “Distributed Representations of Words and Phrases”; Xin Rong’un “word2vec Parameter Learning Explained” makalesi — CBOW, skip-gram ve ilgili çıktı amaçlarının gradyanlarını adım adım türetir — yanında Goldberg ve Levy’nin “word2vec Explained”i; Levy ve Goldberg’in “Neural Word Embedding as Implicit Matrix Factorization” ve Levy, Goldberg ve Dagan’ın “Improving Distributional Similarity with Lessons Learned” makaleleri; GloVe (Pennington vd. 2014) ve “Enriching Word Vectors with Subword Information” (Bojanowski vd. 2017); Bolukbasi vd. ve ardından “Lipstick on a Pig”.

CS224N: Winter 2026 sayfasında ilk ödev kelime vektörlerine giriş, ikinci ödev sinir ağı temelleri, tensör türevleri ve bağımlılık çözümlemesi üzerine.

İzlemek için: CS224N 1. ders, word2vec tahtada türetiliyor; Google’ın “Visualizing High-Dimensional Space” videosu.

Uygulamalı: gensim ve word2vec öğreticisi; Jay Alammar’ın “The Illustrated Word2vec”i (görsel açıklamalar) ve Sebastian Ruder’ın “On Word Embeddings”i (tarihsel ve yöntemsel gelişim); TensorFlow Projector — kendi alan terimlerinizi arayın.