22 LLM Sistemlerini Değerlendirmek

Bölüm durumu: çevrildi. Kaynak metin: İngilizce 22. bölüm. Hakem denetimi 60 XL-Sum Türkçe haberi üzerinde ollama 0.24.0 aracılığıyla qwen3.5:9b ve gemma3:27b çalıştırıyor. Boyutlandırma (sample-size planning: örneklem büyüklüğünü planlama) tabloları benzetimle değil, kesin olarak hesaplanıyor; kullanılan testler Bölüm 22.2’de açıklanıyor. Yazılım: NumPy 2.5.2, scipy 1.18.1, ollama 0.24.0, Python 3.14.5.

Öğrenme hedefleri. Bu bölümün sonunda:

model benchmark’larını (kıyaslama) sistem değerlendirmesinden ayırt edebilir ve hangisine ihtiyacınız olduğunu bilirsiniz;
bir değerlendirme kümesinin büyüklüğünü, makul görünen bir sayıya göre değil, saptamanız gereken farka göre belirleyebilirsiniz;
bir LLM hakemine (LLM-as-judge) inanmadan önce onu, doğru cevapları bilinen kontrollerle denetleyebilirsiniz;
sonuçları belirsizlikle raporlayabilir ve eşleştirilmiş tasarımı gerçekten işe yaradığında seçebilirsiniz.

İstatistik eğitiminiz tam da bu bölüm için yapılmış gibidir: uygulamalı LLM değerlendirmesi, özünde, dağılım kayması altında ölçüm tasarımıdır. Aşağıdakilerin çoğu yeni istatistik değil; istatistiğin nadiren uygulandığı bir alana uygulanmış sıradan istatistik. Kullanılan araçların (Wilson aralığı, McNemar testi, güç hesabı) kısa bir hatırlatması Bölüm B.3’te.

22.1 Benchmark’lar sizin değerlendirmeniz değildir

Açık bir benchmark şu soruyu cevaplar: bu model, başkasının seçtiği bir görevde diğer modellerle nasıl karşılaştırılır. Sizin değerlendirmeniz ise şunu cevaplar: bu sistem işimi yayına alınacak kadar iyi yapıyor mu. Bunlar farklı sorulardır ve birincinin cevabı ikincisi hakkında ancak ara sıra kanıt sunar.

Bir benchmark puanının sizin sorunuzu cevaplamamasının üç somut nedeni var; karşınıza çıkış sırasıyla:

Bulaşma. Bir model eğitilmeden önce yayımlanmış bir benchmark, o modelin eğitim verisinin içinde olabilir ve bunu öğrenmek için eğitim kümesini açıp bakamazsınız (Sainz vd. 2023).

Benchmark contamination (benchmark bulaşması) — bir benchmark’ın bir modelin eğitim verisinde de bulunan test maddeleri; böylece puan yetenek yerine ezberi yansıtabilir. Kapalı bir modelin eğitim kümesini inceleyemezsiniz ama bu, bulaşmayı ölçülemez yapmaz: Oren vd. (2024) onu bir API üzerinden çalıştırabileceğiniz bir hipotez testine dönüştürüyor. ↩︎

Bu kitap etkiyi daha küçük ölçekte Bölüm 13’te ölçtü: WikiANN’in Türkçe test kümesinin %13,06’sı bir eğitim cümlesiyle bayt bazında birebir aynı ve o sızıntının ürettiği puan bonusu, bir sistem ne kadar az ezberliyorsa o kadar küçüktü (monoton biçimde azaldı): bir varlık sözlüğü (gazetteer) için +26,50 span F1, bir CRF için +16,25, fine-tuning (ince ayar) ile eğitilmiş bir encoder (kodlayıcı) için +7,65. Bunun olması için kimsenin kasıtlı olarak yanıltıcı davranması gerekmedi.

Bundan iki şey çıkıyor. Birincisi, bulaşma içini açamadığınız bir modelde bile test edilebilir: Oren vd. (2024) bir benchmark’ın maddelerinin sırasını karıştırıp (permütasyon) modelin yayımlanmış (kanonik) sıraya daha yüksek olabilirlik verip vermediğine bakıyor — bu, bir API üzerinden çalıştırabileceğiniz gerçek bir hipotez testi. Yeter ki API token’ların log-olasılıklarını döndürsün: test bunlara ihtiyaç duyar ve her kapalı API bunları sunmaz. Bölüm 5 ve Bölüm 8 ikisi de bu teste işaret ediyor; kendi üretmediğiniz bir benchmark sayısını aktarmadan önce testi gerçekten çalıştıracağınız bölüm ise burası; konunun bir uyarı notuyla geçiştirilmeyip ayrı bir kesimde işlenmesinin nedeni de bu. İkincisi, 2024’ten beri yapısal bir cevap da var: maddelerini modellerin eğitilme hızından daha hızlı yenileyen benchmark’lar. White vd. (2025) sorularının yaklaşık altıda birini her ay değiştiriyor. Böylece zaman içindeki karşılaştırılabilirlikten ödün verip bulaşmaya karşı bir güvence kazanıyor. Bu iki çözümden hiçbiri sizin değerlendirme kümenizin yerini tutmaz; ama ikisi de sıralama tablosundaki bir sayıyı söylenti olmaktan biraz daha uzaklaştırır.

Doyum. En iyi modeller bir benchmark’ın tavanına yaklaştığında, aralarında fark çıkacak pek yer kalmaz; bu durumda benchmark’a doymuş denir. Listenin tepesindeki modeller 88, 89 ve 90’dayken bir puanlık fark, o ölçekte değişen her şeyle yarışır: benchmark’ın kendi etiket hataları, muğlak maddeleri ve her laboratuvarın kullandığı prompt (istem). Yakın puanlar, küçük ama gerçek bir farkı ölçüm belirsizliğinden tek başına ayırmaz — modeller gerçekten bir puan farklı olabilir. Sıralamaya bir anlam yüklemeden önce benchmark’ın belirsizliğini ve geçerliliğini değerlendirin.

Yapı uyumsuzluğu (construct mismatch: ölçülen şeyin asıl hedefle uyuşmaması). Benchmark bir görevi ölçer; sizde ise bir sistem vardır — bir prompt, bir erişim adımı, bir ayrıştırıcı, bir yedek yol (fallback) ve bir model. Bir benchmark puanı size JSON ayrıştırıcınızın yanıtların %2’sini kaybettiğini söyleyemez — Bölüm 18, biçim hatalarının akıl yürütme hatası olarak sayıldığı bir durumu ölçtü ve çıktı biçimini zorlamak, modelde hiçbir değişiklik yapmadan doğruluğu %70,7’den %88,0’a çıkardı.

Açık benchmark’ların asıl işe yaradığı yer elemedir: apaçık uygunsuz modelleri ucuza elerler ve genel olarak neyin mümkün olduğunu gösterirler. Bir sıralama tablosunu üç aday seçmenin yolu olarak görün, asla birini seçmenin yolu olarak değil — ve bir sıranın, arkasında bir örnekleme süreci olan bir istatistik olduğunu unutmayın. Singh vd. (2025), Chatbot Arena’da açıklanmamış özel test uygulamalarını belgeliyor: bir sağlayıcı çok sayıda varyantı deneyip yalnızca en iyisini yayımlayabiliyor — bir sürümden önce bunlardan 27’si denenmiş. Bu büyüklükte bir seçilim etkisinin bir sıralamayı oynatması için kimsenin hile yapması gerekmiyor. Liang vd. (2023) ise tam tersi bir nedenle okunmalı: örnekleme süreci açıkça yazıya döküldüğünde bunun neye benzediğini gösteriyor.

Neye bakacağız. Önce boyutlandırma sorusu: nadiren hesaplanan kesin bir cevabı var ve bu cevap, çoğu ekibin elindeki değerlendirme kümesini baştan eliyor. Sonra böyle bir kümeyi nasıl kuracağınız — nereden örnekleneceği, etiketleme sırasının neden önemli olduğu ve çökmek yerine makul bir sayı raporlayan değerlendirme düzeneği (evaluation harness) hataları. Sonra bir LLM hakeminin, doğru cevapları önceden bilinen probe’lara (belirli bir davranışı sınayan kontrol girdilerine) karşı denetimi; burada herkesin aklına gelen kontrol, iki hakemi en az ayıran kontrol çıkıyor. Son olarak da üzerine karar verilebilecek bir sonucun nasıl raporlanacağı; bu da çoğunlukla, bir sayıyı neyi saptayamayacağını söylemeden asla aktarmamak demektir.

22.2 Değerlendirme kümeniz ne kadar büyük olmalı?

Neredeyse her LLM projesinin sezgiyle cevapladığı bir soru var; oysa bu sorunun kesin bir cevabı mevcut. Yaklaşık %80 doğrulukla çalışan bir sistem verildiğinde, d puanlık bir iyileşmeyi %80 istatistiksel güç ve alışıldık %5 anlamlılık düzeyinde saptamak için bir değerlendirme kümesi ne kadar büyük olmalıdır?

İstatistiksel güç (statistical power) — değerlendirmenizin belirli büyüklükte gerçek bir farkı saptama olasılığı (1 − II. tip hata olasılığı). Gücü düşük bir değerlendirme esas olarak yanlış negatif üretir — gerçek bir iyileşme “fark yok” diye raporlanır — ve bir de daha sinsi bir kusuru vardır: anlamlı çıkan karşılaştırmalarda etkiler sistematik olarak abartılıdır, çünkü oraya yalnızca şans eseri büyük çıkanlar ulaşır. Yani düşük güç size hem kaçırdığınız iyileşmelere hem de bulduklarınızın büyüklüğüne mal olur. ↩︎

Aşağıdaki çıktı, %80 doğrulukla çalışan mevcut sisteme, yani baseline’a (karşılaştırma tabanı) karşı, iki yönlü \(\alpha = 0{,}05\) ve %80 güçle saptanabilecek en küçük farkı veriyor. Madde sayısı sistem başınadır: 100, iki sistemin her birinin 100 maddede puanlandığı anlamına gelir. Bu maddelerin aynı 100 madde olup olmadığı eşleştirme sorusudur; onu bir sonraki tablo cevaplıyor. Tablonun ve aşağıdaki aracın arkasındaki iki oranlı örneklem büyüklüğü formülü Bölüm B.3’te.

smallest difference detectable at 80% power (two independent proportions,
baseline 80%, two-sided alpha = 0.05). The count is per system: 100 means
each of the two systems is scored on 100 items. Whether those are the same
100 items is the paired question, and the table below answers it.

     items      smallest detectable difference
        30            none — see below
        50                    17.5 points
       100                    13.4 points
       200                    10.0 points
       500                     6.6 points
     1,000                     4.8 points
     2,000                     3.4 points

viewof evalBase = Inputs.range([0.50, 0.95], {step: 0.01, value: 0.80,
  label: "mevcut doğruluk"})

viewof evalDiff = Inputs.range([1, 20], {step: 1, value: 5,
  label: "saptamanız gereken fark (puan)"})

viewof evalPower = Inputs.radio(new Map([["%80", 0.80], ["%90", 0.90]]),
  {value: 0.80, label: "güç"})

// Abramowitz–Stegun 26.2.23 ters normal, ~4.5e-4 hassasiyetinde — burası için fazlasıyla yeterli
evalZ = p => {
  const t = Math.sqrt(-2 * Math.log(p < 0.5 ? p : 1 - p));
  const x = t - (2.515517 + 0.802853 * t + 0.010328 * t * t) /
            (1 + 1.432788 * t + 0.189269 * t * t + 0.001308 * t * t * t);
  return p < 0.5 ? -x : x;
}

evalN = {
  const d = evalDiff / 100, pa = evalBase, pb = Math.min(pa + d, 0.999);
  const za = evalZ(0.975), zb = evalZ(evalPower);
  const pbar = (pa + pb) / 2;
  const n = Math.pow(za * Math.sqrt(2 * pbar * (1 - pbar)) +
                     zb * Math.sqrt(pa * (1 - pa) + pb * (1 - pb)), 2) / (d * d);
  return Math.ceil(n);
}

md`Mevcut doğruluk %${(evalBase * 100).toFixed(0)} iken **${evalDiff} puanlık** bir
iyileşmeyi %${(evalPower * 100).toFixed(0)} güçle saptamak için sistem başına yaklaşık
**${evalN.toLocaleString("tr-TR")} maddeye** ihtiyacınız var — ${evalN > 500
  ? "çoğu ekibin etiketlediğinden fazla; bunu karşılaştırmadan sonra değil önce öğrenmek işe yarar"
  : "gerçekçi olarak etiketleyebileceğiniz bir büyüklük"}.
Eşleştirilmiş bir tasarım, iki sistem çoğu maddede aynı sonucu veriyorsa daha az madde
ister; ne kadar çok uyuşurlarsa o kadar az. Aşağıdaki tabloya bakın.${evalBase + evalDiff / 100 > 0.97
  ? " **Yaklaşık %97'nin üstünde bu sayı güvenilir olmaktan çıkar**, çünkü hedef 1,00'e yaklaştıkça normal yaklaşımın varyans terimi çöker. O aralıkta kesin bir test kullanın — `scipy.stats.fisher_exact` ya da `binomtest`."
  : ""}`

Otuz maddede bu sorunun cevabı yok: hiçbir fark yeterince büyük değil. %80 doğrulukla çalışan bir sisteme karşı kusursuz bir yenisi bile (her maddede doğru cevap veren bir sistem) otuz maddede yalnızca %57 güce ulaşır. Bu rakam kesin bir testten (exact test) geliyor ve burada aktarılması gereken test de o: bu kesimin geri kalanında kullanılan normal yaklaşım %75 diyor, ama p = 1,00’de varyans terimi tam olarak sıfır ve yaklaşıklanacak bir şey kalmıyor. İki kesin yol da aynı sonucu veriyor: kol başına otuz maddeyle Fisher’ın kesin testi de, otuz eşleştirilmiş maddeyle McNemar’ın kesin testi de 0,5725 buluyor. Sistem başına yüz madde 13,4 puanlık bir farkı saptar. Gerçek iyileşmelerin çoğu ise iki ile beş puan arasındadır.

Bunun üzerinde durmak gerekiyor, çünkü otuz madde, pratikte çok sık görülen bir değerlendirme kümesi büyüklüğü.

Bu, küçük değerlendirme kümelerinin işe yaramaz olduğu anlamına gelmez. Farklı bir soruyu cevapladıkları anlamına gelir ve bu ayrım, bu bölümün pratikte en işe yarar bilgisidir:

Üç farklı iş, üç farklı büyüklük
küme büyüklüğü	gerçekte ne işe yarar
20–50 madde	kusur biçimlerini bulmak. Her çıktıyı elle okuyun. Bir sayı değil, yanlışlık kategorileri arıyorsunuz ve otuz madde bunları iyi ortaya çıkarır — bu gerçek bir iştir ve büyüklük bu işe uygundur
100–300 madde	büyük regresyonları yakalamak — bozulmuş bir ayrıştırıcı, çalışmayı bırakmış bir prompt, kötü sonuçlanan bir model değişikliği
500+ madde	gerçekten yakın olan iki sistemi karşılaştırmak; bir şeyi düzeltmek yerine küçük ayarlar yaptığınız her durum budur

Prompt mühendisliğinin bu kadar büyük bir kısmının folklordan ibaret olmasının nedeni, bu üç işin birbirinden ayrılmamasıdır. Otuz örnek denendi, bir prompt daha iyi göründü ve aradaki fark, gürültü tabanından bir büyüklük mertebesi küçüktü.

22.2.1 Eşleştirme ne kazandırır, ne zaman kazandırmaz

Bölüm 17, en iyi ve en kötü prompt arasındaki 14,67 puanlık farka McNemar testini (McNemar 1947) uyguladı; örtüşen güven aralıkları bu farkı sonuçsuz sayardı. Ham \(p = 0{,}0009\) çıktı; uç çiftin 66 çift arasından seçildiği hesaba katılarak düzeltildiğinde 0,062. Oradaki karşılaştırma eşleştirilmişti — aynı 150 yorum her prompt’tan geçti — ve eşleştirme standart tavsiyedir.

Tavsiye doğru ama koşulsuz değil, çünkü McNemar testi iki sistemin aynı sonucu verdiği her maddeyi çöpe atar. Her maddeyi iki sistemin sonucuna göre dört hücreden birine koyun:

Eşleştirilmiş iki sistemin 2×2 tablosu; McNemar yalnızca \(b\) ve \(c\) hücrelerine bakar
	B doğru	B yanlış
A doğru	ikisi de doğru	\(b\): yalnız A doğru
A yanlış	\(c\): yalnız B doğru	ikisi de yanlış

McNemar yalnızca \(b\) ve \(c\) hücrelerine, yani iki sistemden tam olarak birinin doğru bildiği maddelere (uyumsuz çiftlere, discordant pairs) bakar ve bunların, hiçbir sistem daha iyi değilse beklendiği gibi, iki sistem arasında yarı yarıya bölünüp bölünmediğini sorar. Bu iki hücrenin maddeler içindeki payı, \(\delta = (b + c)/n\), iki sistemin ayrışma oranıdır. Yani eşleştirmenin kazandırdığı şey, iki sistemin ne sıklıkla ayrıştığına bağlıdır ve bu da sizin sistemlerinizin ampirik bir özelliğidir:

power to detect a 5-point difference: 80% baseline against 85%,
two-sided alpha = 0.05

            unpaired,     McNemar on n paired items, by how often
   items    n per arm     the two systems disagree
            (2n items)      10%      20%      30%      35%
       30       0.07        0.01     0.03     0.04     0.04
       50       0.10        0.06     0.07     0.06     0.06
      100       0.15        0.24     0.14     0.11     0.10
      200       0.26        0.54     0.30     0.21     0.19
      500       0.55        0.94     0.68     0.50     0.44
    1,000       0.84        1.00     0.94     0.81     0.75

The table stops at 35% because two systems at 80% and 85% cannot disagree
more than that: delta_max = 2(1 - p_B) + (p_B - p_A) = 0.35. Past it the
"both wrong" cell of the 2x2 table would have to hold a negative
probability. Note the item counts: the unpaired column is a study with n
items in each arm, so 2n items in total, while the paired columns run the
same n items through both systems. Note also the tests: the unpaired column
is the normal-approximation z-test, the paired columns are exact McNemar.
Fisher's exact test on the unpaired side would give 0.04, 0.06, 0.11, 0.22
and 0.52 for the first five rows.

Çıktının altındaki notu özetleyelim. Tablo %35’te duruyor, çünkü %80 ve %85 doğruluktaki iki sistem bundan fazla ayrışamaz: \(\delta_{\max} = 2(1 - p_B) + (p_B - p_A) = 0{,}35\); bunun ötesinde 2×2 tablonun “ikisi de yanlış” hücresi negatif bir olasılık taşımak zorunda kalırdı. Madde sayılarına dikkat edin: eşleştirilmemiş sütun her kolda n, toplamda 2n madde kullanan bir çalışmadır; eşleştirilmiş sütunlar ise aynı n maddeyi iki sistemden de geçirir. Testlere de dikkat edin: eşleştirilmemiş sütun normal yaklaşıma dayanan z-testidir, eşleştirilmiş sütunlar ise kesin McNemar testi. Eşleştirilmemiş tarafta Fisher’ın kesin testi kullanılsaydı ilk beş satır 0,04, 0,06, 0,11, 0,22 ve 0,52 olurdu.

Eşleştirme, iki sistem ne kadar çok uyuşursa o kadar çok kazandırır ve eşik hesaplanabilir. Gerçek doğruluk farkına \(\Delta = p_B - p_A\), ortalama doğruluğa \(\bar{p} = (p_A + p_B)/2\) ve \(\bar{q} = 1 - \bar{p}\) diyelim. Gerçek bir fark varken (H₁ altında) McNemar’ın asimptotik istatistiğinin beklenen değeri yaklaşık olarak \(\sqrt{n}\,\Delta/\sqrt{\delta}\) olur; burada \(\delta\) ayrışma oranıdır. İki kollu eşleştirilmemiş (bağımsız örneklem) istatistiğin beklenen değeri ise yaklaşık \(\sqrt{n}\,\Delta/\sqrt{2\bar{p}\bar{q}}\) olur. Yani bu yaklaşıklıkla eşleştirme \(\delta < 2\bar{p}\bar{q}\) olduğunda kazanır; %80’lik bir sistemi %85’lik bir sistemle karşılaştırırken bu eşik %28,9’dur — ve eşleştirme bunu maddelerin yarısını kullanarak kazanır. Bu sayı keyfi de değil: iki bağımsız sistemin göstereceği ayrışma oranına neredeyse tam olarak eşit, \(p_A(1-p_B) + (1-p_A)p_B = 0{,}80 \times 0{,}15 + 0{,}20 \times 0{,}85 = 0{,}29\) (ikisi arasındaki fark \(\Delta^2/2\), burada 0,00125). Ayrışma bu değerin altındaysa sistemleriniz pozitif korelasyonludur ve eşleştirme bu korelasyondan yararlanır. Üstündeyse negatif korelasyonludurlar; aynı sistemin iki sürümü arasında bu nadirdir. Aynı yaklaşıklık eşleştirilmiş tasarım için bir örneklem büyüklüğü formülü de verir (Connor yaklaşımı):

\[n \approx \frac{\bigl(z_{1-\alpha/2}\sqrt{\delta} + z_{1-\beta}\sqrt{\delta - \Delta^2}\bigr)^2}{\Delta^2}\]

%10 ayrışmada 5 puanlık bir fark için bu, %80 güçte yaklaşık 310 eşleştirilmiş madde eder; tablodaki 200 maddede 0,54 ve 500 maddede 0,94 güç de bununla uyumlu.

Tabloyu satır satır okuyunca pratik kural kendiliğinden ortaya çıkıyor. %10 ayrışmada 200 eşleştirilmiş madde 0,54 güce ulaşırken, iki kolun her birinde 200 madde — iki katı etiketleme — 0,26’da kalıyor. %30’da ise n maddelik eşleştirilmiş tasarım, 2n maddelik eşleştirilmemiş tasarımın gerisine düşüyor. Yani iki prompt’u, iki checkpoint’i (kaydedilmiş model ağırlıkları) ya da iki kod çözme (decoding) ayarını karşılaştırırken — sistemlerin çoğu maddede aynı sonucu verdiği durumlar — eşleştirin ve cevabı etiketlemenin yarısıyla alın. Sürekli ayrışan, gerçekten farklı iki mimariyi karşılaştırırken ise eşleştirme az şey kazandırır; doğru hamle daha akıllıca bir test değil, daha büyük bir değerlendirme kümesidir.

Buna karşılık, elinizde zaten olan veride eşleştirmenin size hiçbir bedeli yoktur. Bir LLM değerlendirmesi, iki sistemi de aynı maddelerden geçirdiğiniz sürece eşleştirilmiştir. Olağan tasarım budur, ama bunu varsaymak yerine kontrol edin: başka birinin çalıştırmasından gelen bir sayıyla ya da farklı bir örneklemle yapılan karşılaştırma eşleştirilmiş değildir ve öyleymiş gibi analiz edilemez. Maddeler gerçekten ortaksa, onları iki bağımsız örneklem gibi analiz etmek bağımsızlık noktasının ötesinde daha güçlü görünür — ama yalnızca test artık iddia ettiği I. tip hata oranını korumadığı için. Kesin hesapla bakalım: n = 500’de, gerçekte fark olmayan (%80’e karşı %80) bir sıfır hipotezi altında bağımsızlık %32 ayrışmaya karşılık gelir. Eşleştirilmemiş analiz sıfır hipotezini %10 ayrışmada vakaların %0,05’inde, %32’de %5,0’ında ve %36’da %6,4’ünde reddediyor; yani fazladan gücü yanlış pozitiflerle satın alıyor. McNemar’ın kesin testi aynı aralıkta %3,7 ile %4,2 arasında kalıyor; bu, kesikli bir istatistiğe uygulanan kesin bir testten beklenen tutuculuktur. Sabit bir değerlendirme kümesinde eşleştirilmiş test asla yanlış seçim değildir; yalnızca her zaman büyük bir kazanç sağlamaz.

// Observable Plot bir CSS değişkenini çözemiyor, temayı burada bir kez oku.
evalFigColor = name => getComputedStyle(document.documentElement)
  .getPropertyValue(`--fig-${name}`).trim() || "currentColor"

// n = 500'de McNemar kesin testinin gücü, %80 tabana karşı %85, iki yönlü α = 0,05;
// uyumsuz çiftlerin ortak dağılımı üzerinden toplanmış.
pairCurve = [
  {d: 5.0, pw: 1.000}, {d: 7.5, pw: 0.987}, {d: 10.0, pw: 0.941},
  {d: 12.5, pw: 0.874}, {d: 15.0, pw: 0.802}, {d: 17.5, pw: 0.735},
  {d: 20.0, pw: 0.676}, {d: 22.5, pw: 0.623}, {d: 25.0, pw: 0.577},
  {d: 27.5, pw: 0.538}, {d: 28.9, pw: 0.518}, {d: 30.0, pw: 0.502},
  {d: 32.5, pw: 0.471}, {d: 35.0, pw: 0.443}
]

Plot.plot({
  width: 700, height: 340, marginLeft: 58, marginBottom: 46, marginRight: 24,
  x: {label: "iki sistem ne sıklıkla ayrışıyor (%)", domain: [3, 42],
      ticks: [5, 10, 15, 20, 25, 30, 35, 40], grid: true},
  y: {label: "n = 500'de güç", domain: [0, 1], grid: true,
      tickFormat: d => d.toFixed(1)},
  marks: [
    Plot.rectY([{x1: 35, x2: 42}], {x1: "x1", x2: "x2", y1: 0, y2: 1,
      fill: evalFigColor("wash"), fillOpacity: 0.9}),
    Plot.text([{x: 38.5, y: 0.5}], {x: "x", y: "y", rotate: -90,
      text: () => "bu doğruluklarda imkânsız", fontSize: 11,
      fill: evalFigColor("muted")}),
    Plot.ruleX([28.9], {stroke: evalFigColor("muted"), strokeDasharray: "4,3"}),
    Plot.text([{x: 28.9, y: 0.96}], {x: "x", y: "y", dx: -6, textAnchor: "end",
      text: () => "bağımsızlık, %28,9", fontSize: 11,
      fill: evalFigColor("muted")}),
    Plot.ruleY([0.548], {stroke: evalFigColor("navy"), strokeDasharray: "2,3"}),
    Plot.text([{x: 6, y: 0.548}], {x: "x", y: "y", dy: -9, textAnchor: "start",
      text: () => "eşleştirilmemiş, kol başına 500 madde — 0,55", fontSize: 11,
      fill: evalFigColor("navy")}),
    Plot.line(pairCurve, {x: "d", y: "pw", stroke: evalFigColor("rose"),
      strokeWidth: 2}),
    Plot.dot(pairCurve, {x: "d", y: "pw", fill: evalFigColor("rose"), r: 3}),
    Plot.ruleY([0])
  ]
})

md`Eşleştirilmiş eğri 500 madde kullanıyor; yatay eşleştirilmemiş çizgi ise **iki kolun her
birinde** 500, toplam 1.000 madde. İki çizgi bağımsızlık noktasının yakınında kesişiyor;
kuralın bütün içeriği de bu. Kesişme bu noktanın biraz öncesinde, yaklaşık %27'de oluyor,
çünkü eşleştirilmiş eğri biraz tutucu olan kesin McNemar testi, yatay çizgi ise normal
yaklaşım. Eşleştirilmemiş tarafa Fisher'ın kesin testini koyarsanız (kol başına 500'de
0,52) kesişme %28,9'a oturur. Taralı bant, bu doğruluklarda imkânsız olan
ayrışma aralığı: %80'e karşı %85'te iki sistem maddelerin %35'inden fazlasında
ayrışamaz ve grafik bunu, bir sayı tablosunun gösteremediği biçimde apaçık ortaya koyuyor.`

Bunda iki kez yanıldım. Önce ayrışma oranını Bölüm 17’deki %30,7’de sabitledim, eşleştirmenin hiçbir şey kazandırmadığını buldum ve kısa bir süre bir ders kitabı sonucunu çürüttüğümü sandım. Aslında bulduğum şey, %30,7’nin %28,9’un hemen üstünde olduğuydu. %28,9, bu doğruluklardaki iki bağımsız sistemin göstereceği ayrışma oranı; yani yararlanılacak korelasyon kalmamıştı. Bu, McNemar hakkında değil, seçtiğim girdi hakkında bir olgu. Üstelik girdi de yanlıştı. %30,7, iki prompt’un ne sıklıkla ayrıştığı değil; on iki varyantın hepsinin aynı cevabı vermediği yorumların oranı. İki varyantın ayrıştığı yorumların oranı ortancada %12, en fazla %28,7 idi; en iyi ve en kötü prompt ise 150 yorumun 42’sinde (%28,0) ayrışıyordu. Sonra bunu düzeltirken benzetimi %40 ayrışmaya kadar çalıştırdım ve bu marjinal oranlarda var olamayacak bir sütun yayımladım. Betikteki kapalı biçimli kontrol ikisini de yakalamadı, çünkü yalnızca eşleştirilmemiş tarafı kapsıyordu. Yukarıdaki tablo artık kesin olarak hesaplanıyor ve genel ders ucuz: eşleştirilmiş bir tasarım yardım etmeyi bıraktığında \(p_A(1-p_B) + (1-p_A)p_B\) değerini hesaplayın ve basitçe bağımsızlık noktasına varıp varmadığınıza bakın.

22.3 Bir değerlendirme kümesi kurmak

Bir değerlendirme kümesi bir örneklemdir ve istatistik eğitiminizin örneklemler hakkında söylediği her şey geçerlidir. İşin neredeyse tamamını üç karar belirler.

Hayalden değil gerçek trafikten örnekleyin. Uydurulmuş test durumları sistematik olarak kullanıcıların gönderdiklerinden daha temiz, yazımı daha düzgün ve daha tipiktir. Henüz trafiğiniz yoksa en yakın olanı kullanın — destek talepleri (ticket), arama log’ları, bir meslektaşınızın gerçek soruları — ve aradaki farkı açıkça belirtin. Yüz gerçek madde bin uydurulmuş maddeden iyidir ve bu, bölümdeki en değerli karardır.

Bilerek tabakalayın, sonra ne yaptığınızı söyleyin. Gerçek trafikte kolay durumlar ağır basar; dolayısıyla basit rastgele bir örneklem, maddelerinin çoğunu kolay durumların hâlâ çalıştığını doğrulamaya harcar. Zor dilimlerden, nadir ama pahalıya patlayan kategorilerden ve gerçekten hizmet verdiğiniz dillerden fazladan örnekleyin (oversampling) — sonra bir manşet sayı raporlarken ya trafik dağılımına göre yeniden ağırlıklandırın ya da sayının tabakalı bir örneklemden geldiğini açıkça söyleyin. İkisi de olur; sessiz kalmak olmaz.

İyi bir cevabı olmayan durumları da katın. Sisteminizin reddetmesi gereken sorular, kapsam dışı girdiler, cevabı içermeyen belgeler. Bölüm 20 bunun neredeyse hiç çalıştırılmayan test olduğunu buldu; Bölüm 21 ise olmayan bir şey sorulduğunda 90 denemenin 90’ında reddeden bir model buldu — yalnızca sorarak öğrenebileceğiniz bir sonuç.

22.3.1 Model çıktısına bakmadan önce veriyi etiketleyin

Sıra, göründüğünden daha önemlidir. Bir sistemin cevapları görüldükten sonra yazılan etiketler o cevaplara doğru kayar ve bu kayma sonradan fark edilmez. Rubriği yazın, ona göre bir örneklem etiketleyin, iki etiketleyicinin ne sıklıkla aynı etiketi verdiğini ölçün ve bir şey çalıştırmayı ancak ondan sonra yapın. Bu etiketleyiciler arası uyumu ham yüzde olarak değil Cohen kappa’sı (\(\kappa\)) olarak (Cohen 1960) raporlayın, çünkü ham yüzde, iki kişinin maddeleri okumadan da ulaşacağı uyumu içerir: iki etiketleyicinin de maddelerin %80’ine “doğru” dediği bir değerlendirme kümesinde, bu oranlarla birbirinden bağımsız etiket dağıtan iki kişi zaten vakaların %68’inde uyuşur (\(0{,}8^2 + 0{,}2^2\)); yani ham %70’lik uyum \(\kappa \approx 0{,}06\) demektir — bu şans tabanının ötesinde neredeyse hiç uyum yok. Yanına karışıklık matrisini de koyun, çünkü çok çarpık bir kümede kappa dikkatli etiketleyiciler için bile düşük ve oynak çıkar (Bölüm 5 iki etkiyi de gösteriyor). İkiden fazla etiketleyici ya da sıralı (ordinal) bir rubrik için Krippendorff’un alfa katsayısını (\(\alpha\)) kullanın (Krippendorff 2018). İnsanlar arası uyum sistem puanları için katı bir tavan değildir — uzlaştırılmış referans etiketlere karşı ölçülen bir sistem tek bir etiketleyiciyi geçebilir — ama etiketleyicilerin çok üstünde puan alan bir sistem genellikle görevi değil, onların ortak alışkanlıklarını öğreniyordur. Gerisi için gereken araçlar Bölüm 5’te.

22.3.2 Değerlendirmeyi kod gibi sürümleyin

Değerlendirme kümesi raporladığınız her sayının bir bağımlılığıdır, dolayısıyla depoda, bir dosyada, incelemeye tabi ve bir değişiklik kaydıyla birlikte bulunur. Kendini fazlasıyla amorti eden iki kural:

Bir maddeyi asla yerinde düzenlemeyin. Yeni bir tane ekleyin ve eskisini emekliye ayırın; böylece marttaki bir puan hazirandaki bir puanla karşılaştırılabilir kalır ve testin değişmesi nedeniyle oynayan bir puan, sistemin değişmesi nedeniyle oynayandan ayırt edilebilir olur.
Nadiren baktığınız ayrılmış bir dilim tutun. Her gün ona bakarak ayar yaptığınız bir değerlendirme kümesi aslında bir eğitim kümesidir. Bu, Bölüm 12’deki veri ayırma disiplininin bir üst düzeydeki aynısıdır.

22.3.3 İyi sayılar üreten değerlendirme düzeneği hataları

Bozuk bir değerlendirme düzeneği genellikle çökmez. Makul bir şey raporlar ve bunu tehlikeli kılan bir asimetri vardır: kötü bir sayı soruşturulur, iyi bir sayı yayımlanır. Bu kitabın kendi çalışmasından, ikisi de geç yakalanmış iki hata:

Bir akıl yürütme modeline (Bölüm 10) 24 token’lık üretim bütçesi verildi. ollama düşünce zincirini ayrı bir thinking alanında döndürür, dolayısıyla bütün bütçe oraya gitti, cevap alanı boş kaldı, hiçbir yanıt ayrıştırılamadı ve ayrıştırılamayan her yanıt varsayılan olarak çoğunluk sınıfına atandı. Çalıştırma %93,75 doğruluk raporladı — bu da tam olarak çoğunluk sınıfı baseline’ıydı.
Ayarlanmış bir eşik, olasılığın yanlış tarafına uygulandı ve bir model 80,23 yerine 51,50 macro-F1 ile puanlandı.

Hiçbiri hata vermedi. Onları yakalayacak korumalar ucuz: çalıştırma başına ayrıştırma oranını kaydedin ve %50’nin altında çalıştırmayı durdurun, bir gecelik kuyruğa almadan önce her model×koşul birleşimini iki düzine maddede duman testinden (smoke test) geçirin ve madde başına süreyi ortalama olarak değil ortanca olarak verin — bu kitabın kendi çalıştırmalarında makine takılmaları bir ortalamayı ortancasının dokuz katına çıkardı.

22.4 Hakem olarak LLM ve hakemin denetimi

O korumalar size yalan söyleyen bir değerlendirme düzeneğini yakalar. Size yalan söyleyen bir ölçüm aletini yakalamazlar — ve 2026’da en yaygın ölçüm aleti başka bir modeldir.

Bir modelin çıktısını derecelendirmek için başka bir model kullanmak, tam eşleşmeyle puanlanamayan her şey için artık varsayılan yöntem. Makul bir fikir, ama aynı zamanda kalibre etmediğiniz bir ölçüm aleti. O yüzden onu kalibre edin: doğru cevabını zaten bildiğiniz probe’larla. Böylece hakeme körü körüne güvenmek yerine onu puanlayabilirsiniz.

Aşağıda dört probe var; hepsi 60 Türkçe haber üzerinde özetleri karşılaştırıyor. Buradaki “profesyonel özet”, XL-Sum’ın her haberle birlikte verdiği, BBC Türkçe muhabirlerince yazılmış tek cümlelik özettir; yani veri kümesinin referans özeti (Bölüm 14). Probe’lardan üçü bu bölüm için çalıştırıldı:

Birebir aynı. A ile B aynı metin. Tek doğru hüküm beraberliktir. Bu, Bölüm 14’ün kopyalanmış metin kontrolünün metriklerden tercihlere taşınmış hâlidir.
Konum. Gerçek bir karşılaştırma — profesyonel özete karşı haberin ilk cümlesi — iki sırayla da çalıştırılır. Konum yanlılığı (Wang vd. 2024) olmayan bir hakem iki seferde de aynı kazananı döndürür.
Uzunluk. Aynı özet, içeriksiz dolguyla şişirilmiş. Hiçbir bilgi eklenmiyor, dolayısıyla şişirilmiş sürümü tercih etmek uzunluğu tercih etmektir.
Kendini kayırma. Her aday modele aynı 60 haberi özetletin, sonra her hakemden kendi ailesinin çıktısını diğerininkiyle, iki sırada da karşılaştırmasını isteyin. Kendini kayırmayan bir hakem, iki sıranın ortalaması alındığında 50/50 bölünür. Bu bölümde çalıştırılmayan probe budur ve hakemle sistem aynı laboratuvardan geldiğinde en çok önem taşıyan da bu: Panickssery vd. (2024) yanlılığın gücünün, modelin kendi yazısını tanıma becerisiyle birlikte arttığını buldu; bu da modeller kendilerini tanımakta ustalaştıkça yanlılığın azalmak yerine artabileceğini düşündürüyor. Buradaki kurulumla — ikisi de özetleme yapabilen iki model — bu probe bir öğleden sonrada çalıştırılabilir.

Konum yanlılığı (position bias) — bir hakemin, içerikten bağımsız olarak belirli bir konumdaki adayı (modele göre ilkini ya da ikincisini) tercih etmesi. Aynı karşılaştırmayı iki sırayla çalıştırıp hükmün ne sıklıkla değiştiğini sayarak doğrudan ölçülür. ↩︎

Sonuçlar aşağıda. Köşeli parantezler %95’lik Wilson aralıkları (küçük \(n\)’de ve %0 ya da %100’de de makul kalan, bir oran için güven aralığı; Bölüm 22.5). “60x2” satırları her haberin iki sıradaki hükmünü birlikte sayıyor; bu iki hüküm birbirinden bağımsız olmadığı için bu satırların aralıkları olması gerekenden dar. “slot A” satırı, hakemin o an A yuvasında (ilk sırada) duran adayı seçme oranı. Fisher sütunu ise iki hakemi bağımsız örneklemler gibi ele alıyor; oysa ikisi de aynı 60 haberi okudu.

                                      n     qwen3.5:9b     gemma3:27b   Fisher p

 1. identical texts → called a tie    60       100.0%         100.0%          —
                                           [94.0, 100]    [94.0, 100]

 2. same winner in both orders        60        61.7%          85.0%    0.00674
                                          [49.0, 72.9]   [73.9, 91.9]
    picked whichever was in slot A   60x2       57.5%          54.2%          —
    preferred the professional
    summary, both orders pooled      60x2       51.7%          74.2%    0.00048
                                          [42.8, 60.4]   [65.7, 81.2]

 3. preferred the padded copy         60        28.3%           0.0%    <0.0001
                                          [18.5, 40.8]     [0.0, 6.0]

Intervals are Wilson at 95%. The rows marked 60x2 pool two judgments per
article -- the same comparison in both orders -- and those two judgments are
not independent observations, so the intervals printed for them are narrower
than they should be. Computed on the 60 articles instead, the 51.7% becomes
[39.3, 63.8] -- itself approximate, since a per-article score of 0, 1/2 or 1 is
not a Bernoulli trial. The Fisher column treats the two judges as independent
samples, which they are not: both read the same 60 articles.

22.4.1 İki hakem de herkesin çalıştırdığı testi geçiyor

Birebir aynı metin kontrolü, dikkatli bir ekibin çalıştırmayı akıl edeceği sağlama kontrolüdür (sanity check) ve iki model de %100 alıyor. Bayt bazında birebir aynı altmış çift, altmış beraberlik, istisna yok. Bu bölümün kendi kuralı gereği bu bile bir aralığı hak ediyor: 60/60’ın Wilson aralığı [94,0, 100]; yani bu probe, on yedi karşılaştırmada birini kaçıran bir hakemle de bağdaşıyor. Bu bir taban testi, bir sertifika değil. Denetiminizin tamamı bu olsaydı iki sağlam hakeminiz olduğu sonucuna varır ve fiyata göre seçerdiniz.

Sonra ayırt eden probe’lar geliyor.

Küçük hakem, sırayı değiştirdiğinizde maddelerin %38’inde cevabını değiştiriyor. Aynı iki metin, aynı soru, farklı hüküm. Bu, karşılaştırmanın zorluğundan kaynaklanmıyor; aletin bir özelliği ve hükümlerinin üçte birinden fazlasının özetler hakkında hiçbir bilgi taşımadığı anlamına geliyor.

Ayrıca profesyonel BBC özetini, haberin açılış cümlesine karşı yalnızca %51,7 oranında tercih etti. Bunu bir doğruluk değil bir tercih oranı olarak okuyun: %50’ye “şans” demek, profesyonel özetin doğru cevap olduğunu varsayar ve bu çalıştırmada bunu kuran hiçbir insan hükmü yok. Aralık, 120 hükmü sayarsanız [42,8, 60,4]; 60 haberi sayarsanız [39,3, 63,8] — ve ikisi de tam doğru değil: bir haberin iki sırası iki bağımsız olgu değildir; onları haber başına 0, ½ ya da 1’e ortalamak da bir Bernoulli denemesi üretmez. Doğru aralığı haber düzeyinde bir bootstrap verir; ama bu çalıştırma bunun için gereken veriyi saklamadı. Aralığın her sürümü rahatça 50’yi içeriyor; sonucun ihtiyaç duyduğu tek şey de bu.

Modele hakkını verelim: karşılaştırma önemsiz değil; haberin açılış cümlesi, aynı muhabirin yazdığı akıcı ve konuya uygun bir metin. Ama bu derlemde güçlü bir özet değil — Bölüm 14 burada ilk cümle (lead) yanlılığını zayıf buldu: ilk cümle ROUGE-1’de 12,75 alırken en iyi tek cümle 24,89 alıyor ve referansa en çok benzeyen cümle vakaların yalnızca %15,8’inde ilk cümle. Yani en azından ROUGE bu ikisini yakın görmüyor. Bir insan rubriği o ikisinden hangisinin kazanması gerektiğini söyleyene kadar, aralarındaki tercihi yazı turadan ayırt edilemeyen bir hakem, sizin sisteminizin çıktılarını sıralayabildiğini de göstermiş değildir.

Büyük hakem her probe’da daha iyi görünüyor: %85,0 sıra tutarlılığı, profesyonel özete %74,2 tercih ve dolguya bir kez bile kanmadı. Ama her farkın ne kadar sağlam olduğu, p değeri sütununun ima ettiğinden daha belirsiz; çünkü o p değerleri yanlış testten geliyor (sonraki paragrafa bakın) ve marjinal oranlar tek başına doğru testi hesaplamaya yetmiyor. Dolgu farkı, maddeler nasıl eşleşirse eşleşsin güvende: büyük hakem dolgulu kopyayı hiç tercih etmedi, dolayısıyla 17 uyumsuz çiftin hepsi aynı yöne gidiyor ve kesin McNemar testi \(p = 2 \times 2^{-17} \approx 1{,}5 \times 10^{-5}\) veriyor. Sıra tutarlılığı farkı ise güvende değil: 60’ta 37’ye karşı 60’ta 51, hepsi aynı yöne giden 14 uyumsuz çiftten (\(p = 0{,}00012\)) 23’e karşı 9’a (\(p = 0{,}020\); her p değerini test sayısıyla çarpan Bonferroni düzeltmesiyle, üç test üzerinden 0,060) kadar her şeyle bağdaşıyor. Dolayısıyla bu bölüm, üç farkın da çoklu karşılaştırma düzeltmesinden sonra anlamlı kaldığını iddia etmiyor. Hiçbir şeyi değiştirmiyor gibi görünse bile kaç test yaptığınızı söyleyin: \(\alpha = 0{,}05\)’te beş karşılaştırma, bağımsızlarsa, hiçbir şeyin farklı olmadığı bir çalıştırmada yaklaşık dörtte bir olasılıkla bir şeyi anlamlı diye işaretler.

O tablodaki p değerlerinin varsaydığı ve varsaymaması gereken şey. Fisher’ın kesin testi iki bağımsız örneklemi karşılaştırır. Bu iki hakem aynı 60 haberi okudu; dolayısıyla tasarım eşleştirilmiş ve doğru test McNemar’ınki — bu bölümün bütün bir kesim boyunca önerdiği test. Onu çalıştırmak için iki hakemin madde düzeyindeki uyumu gerekiyor; bu çalıştırma yalnızca marjinal oranları sakladı, dolayısıyla eklenecek ilk şey bu. Düzeltmenin yönü de belli değil: eşleştirme, korelasyonlu iki değerlendiricinin karşılaştırmasını normalde keskinleştirir; ama havuzlanmış iki satır her haberi iki kez sayıyor ve bu ters yönde etki ediyor. Madde düzeyinde tablo olmadan ayakta kalan şey sıralama ve dolgu sonucu; ayakta kalmayan şey ise iki küçük p değerinin kesinliği.

Bölüm 22.2 üzerine kaba bir iç kontrol: boyutlandırma tablosu sistem başına 50 maddenin 17,5 puan saptadığını söylüyor; buradaki hakem farkı ise sıra tutarlılığında 23,3 puan — %85,0’a karşı %61,7 — ve 60 haber üzerinde. Kaba, çünkü tablonun satırları eşleştirilmemiş ve kol başına; bu karşılaştırma ise iki hakemin de okuduğu 60 haber, yani ikisi aynı tasarım değil. Sonuç bu kabalığa iki yönden de dayanıklı: deney bulduğu fark için yeterli güçteydi ve 5 puanlık bir fark için fena hâlde yetersiz güçte olurdu. Tasarımın hiç gücü olmadığı A yuvası sayılarına (%57,5’e karşı %54,2) bir anlam yüklemeden önce bunu hatırlayın.

Dört ölçüm ve yalnızca üçü hakemleri birbirinden ayırıyor

Dikkatli bir ekibin çalıştırmayı akıl ettiği kontrol düz olanıdır: iki hakem de aynı noktaya iniyor. Onları birbirinden ayıran her şey alttaki üç satırda — her hakemi sağlam gösteren tek bir probe yerine, doğru cevaplarını zaten bildiğiniz probe’ları çalıştırmanın gerekçesi de bu.

22.4.2 Uzunluk yanlılığı yeniden üretilmedi

Hakemlerin uzun cevapları tercih ettiği ölçülmüştür (Zheng vd. 2023). Bu ikisi etmedi: qwen3.5:9b şişirilmiş kopyayı vakaların %28,3’ünde tercih etti [18,5, 40,8], gemma3:27b ise hiç etmedi. 0/60’ın Wilson aralığı [0,0, 6,0] olduğundan, o hücreden çıkarılabilecek iddia apaçık dolguya kanma oranının sıfır olduğu değil, kabaca on altıda birin altında olduğudur. Geri kalanını da Bölüm 20’deki “samanlıkta iğne” sonucu kadar dar kapsamlı ifade etmek gerekiyor: buradaki dolgu apaçık içeriksiz kalıp metindi — “durum yukarıda anlatıldığı gibidir” türünden üç cümle — ve bunu saptamak, gerçekten daha ayrıntılı, daha iyi düzenlenmiş, daha uzun bir cevaba direnmekten çok daha kolay bir görevdir.

“Yeniden üretilmedi”, hiçbir hakemin uzun kopyayı çoğunlukla (vakaların yarısından fazlasında) tercih etmediği anlamına geliyor. qwen3.5:9b’nin bu probe’u iyi geçtiği anlamına gelmiyor: kesinlikle daha kötü olan kopyayı dört seferden birinden fazla seçmek yine de bir hata oranıdır; yalnızca bir uzunluk yanlılığı değildir. Ölçülen şey, iki hakemin de apaçık dolguyu çoğunlukla reddettiğidir. Ölçülmeyen şey ise gerçek bir yapı ekleyen ama doğruluğa katkı yapmayan ayrıntılandırmaya nasıl tepki verdikleridir; folklorun asıl konusu da budur.

22.4.3 Bu konuda ne yapmalı

Beş değişiklik var ve birincisinin sayıları topladıktan sonra değil, önce yapılması gerekiyor.

Probe’ları değerlendirmeden önce çalıştırın. Burada çalıştırılan üçü toplamda bir öğleden sonra sürer, dördüncüsü de aşağı yukarı o kadar; ve hangi hakemi kullanacağınızı değiştirirler.
Sırayı rastgeleleştirin ya da sıralar üzerinden ortalama alın. Her çifti iki sırada da sunun ve yalnızca iki hükmün uyuştuğu maddeleri sayın; ya da rastgeleleştirin ve ek varyansı kabul edin. Sırayla değişen maddeleri dışarıda bırakırsanız kaç madde kaldığını da raporlayın. Sırayla değişen bir hüküm bir çekimserliktir ve aşağıdaki kapsam kuralı ona da uygulanır. Sıra değişince hükmünü %38 oranında değiştiren bir hakemden tek sıralı bir ikili karşılaştırma sonucu raporlamak, sistemleri değil yazı turayı raporlamaktır.
Mutlak puanlama yerine ikili karşılaştırmayı tercih edin, ama bedelini bilin. “Hangisi daha iyi” diye sormak, 1–5 derecelendirme istemekten daha güvenilirdir, çünkü bir derecelendirme ölçeği çağrılar arasında kayar ve çıpası yoktur — mutlak puanlamaya ihtiyacınız varsa, onun dikkatli sürümü için bkz. Liu vd. (2023). İlk bedel şu: konum yanlılığı tam da ikili karşılaştırmada ortaya çıkar — tek bir cevaba verilen mutlak puanın bir “A yuvası” yoktur — dolayısıyla ikili karşılaştırma ancak yukarıdaki iki sıra kuralına da uyarsanız kazandırır. İkinci bedel, ikili karşılaştırmaların ek bir yapı olmadan tek bir puanda toplanamamasıdır; o yapının da bir adı var: Bradley–Terry modeli (Bradley ve Terry 1952). Model, kazanma matrisinden sistem başına tek bir gizil güç kestirir; Elo tabanlı sıralama tablolarının arka planda yaptığı da budur. Sıralama değil de mutlak bir sayı gerekiyorsa, denenmeye değer alternatif bir rubriktir: evet/hayır diye puanlanan, maddeye özgü bir kontrol listesi. 1–5 ölçeğinde eksik olan çıpayı sağlar ve yine de toplanabilir.
Bir altörneklemde insan etiketlerine göre kalibre edin. Elle etiketlenmiş elli madde, hakemin gerçekten önemsediğiniz şeyle uyum oranını söyler — etiketleyiciler arası uyum gibi \(\kappa\) olarak. Onu insan–insan \(\kappa\) değerinin yanında okuyun: sizinle ikinci bir kişi kadar uyuşan bir hakem ikinci bir etiketleyici kadar iyidir; bunun çok altında kalan değildir. O sayı olmadan bir hakem puanı, birimi bilinmeyen bir ölçümdür.
Hakemin, sınanan sistemle aynı model olmasına asla izin vermeyin (Panickssery vd. 2024); ya da en azından yukarıdaki dördüncü probe’u çalıştırıp bu kurulumun davet ettiği kendini kayırmayı ölçmeden izin vermeyin.

22.5 Üzerine karar verilebilecek bir sonuç raporlamak

Her nokta kestiriminin yanında belirsizliği de raporlayın; böylece okur sonucun gerçekte neyi desteklediğini yargılayabilir. Beş kural var, hepsi ucuz:

Bir aralık raporlayın ve onu nasıl elde ettiğinizi söyleyin. Bir oran için Wilson aralığı (Wilson 1927), bu alanda gerçekten kullanılan küçük örneklem büyüklüklerinde ders kitabındaki normal yaklaşımdan daha iyidir; 0’ın altında ya da 1’in üstünde imkânsız sınırlar üretmez. Bu bölümdeki her yüzdenin yanında bir Wilson aralığı var. Oran olmayan her şey için — bir ROUGE ortalaması, ortalama bir 1–5 derecelendirmesi, madde başına maliyet — bunun yerine maddeleri yeniden örnekleyin:

import numpy as np
from scipy.stats import bootstrap
res = bootstrap((scores,), np.mean, confidence_level=0.95,
                n_resamples=10_000, method="BCa", rng=0)
print(res.confidence_interval)

Ayrıca verinin saklandığı düzeyde değil, kümelendiği düzeyde yeniden örnekleyin. Yukarıdaki hakem probe’ları haber başına iki hüküm üretiyor; 120 hükmü yeniden örneklemek aralığı olduğundan dar gösterir, 60 haberi yeniden örneklemek göstermez. Miller (2024) genel durumu — kümelenmeye dayanıklı (cluster-robust) standart hatalar, eşleştirilmiş farklar ve Bölüm 22.2’deki planlama aritmetiği — baştan sona işliyor ve bu sayfadaki en yararlı tek kaynak.

Sistemler çoğunlukla aynı sonucu verdiğinde eşleştirilmiş testi kullanın, Bölüm 22.2’de anlatıldığı gibi; ve hangi testi kullandığınızı söyleyin. Örtüşen iki marjinal güven aralığı, fark olmadığının kanıtı değildir: Bölüm 17’deki 14,67 puanlık farkın güven aralıkları örtüşüyordu, ama McNemar testi p = 0,0009 buldu — uç çiftin 66 çift arasından seçildiği hesaba katılınca 0,062; yani eşleştirme kanıtı keskinleştirdi ama meseleyi kapatmadı.

Gecikme için ortancayı ve kuyruğu verin — tek başına ortalamayı değil. Takılıp kalan tek bir istek ortalamayı tümden değiştirebilir. Bu kitabın kendi zamanlama çalıştırmaları ortancasının dokuz katı bir ortalama üretti ve eşzamanlı çalışan bir iş, bir yapılandırmayı birebir aynı olan başka bir yapılandırmadan on dokuz kat yavaş gösterdi; bu kitaptaki hiçbir bölümün, başka bir şey çalışırken toplanmış bir gecikme sayısı yayımlamamasının nedeni de budur. Kullanıcı deneyimini anlatan şey ortanca ile p95 ve p99 yüzdelikleridir. Ortalamayı doğru istatistik olduğu yerde kullanın — istek başına beklenen maliyet ve kapasite planlaması birer toplamdır ve toplam, ortalama ile adedin çarpımıdır — ama asla tipik durumun yerine koymayın.

Bir şey çekimser kalabildiğinde, ayrıştırılamadığında ya da zaman aşımına uğradığında doğrulukla birlikte kapsamı da raporlayın. Yalnızca başarılı yanıtlar üzerinden hesaplanmış bir doğruluk, doğruluk değildir — Bölüm 18’deki çekimserlik sonucu, yalnızca en zor beşte birlik kısmı cevaplamayı reddederek %86,75’i %92,50’ye çıkardı; bu da ancak soruların %80’ini cevapladığınızı da söylerseniz bir iyileşmedir.

Kaç karşılaştırma yaptığınızı söyleyin. Tek bir manşet sayı, kendisi birçok sayı arasından seçilmediği sürece düzeltme gerektirmez. Hiçbir şeyin değişmediği bir çalıştırmada \(\alpha = 0{,}05\) ile on iki dilim ortalamada 0,6 tanesini anlamlı diye işaretler; on iki test bağımsızsa da %46 olasılıkla en az bir tanesini işaretler (\(1 - 0{,}95^{12}\)); örtüşen dilimler bu ikinci rakamı değiştirir. Bunlar iki ayrı ifade ve tek bir rapora bakarken önemli olan ikincisidir. Tipik bir regresyon raporunda da bir düzine kadar dilim bulunur. Holm’un adım adım (step-down) düzeltmesi — statsmodels.stats.multitest.multipletests(p, method="holm") — hiçbir zaman Bonferroni’den daha az güçlü değildir ve Bonferroni gibi o da testlerin bağımsız olmasını gerektirmez. Yukarıdaki hakem tablosu üç test raporluyor ve düzeltmeden sonra ayakta kalan şey p değeri sütunu değil, tablonun altındaki paragraflarda verilen daha kısa liste; hangi sonucun ayakta kaldığını açıkça söylemek, bu disiplinin özüdür.

22.5.1 Regresyon testi: bütün bunların asıl amacı

Değerlendirme kümesinin asıl yararı, bir değişiklik devreye girdiğinde ortaya çıkar. Kümeyi her prompt değişikliğinde, her model sürümünde ve her bağımlılık yükseltmesinde çalıştırın ve özeti değil madde başına sonuçları saklayın; çünkü bir düşüşten sonra işe yarar soru hangi maddelerin değiştiğidir ve saklanmış bir toplam bunu cevaplayamaz.

Henüz kimsenin sonuçta bir çıkarı yokken, önceden üzerinde uzlaşılması gereken iki eşik var: bir yayını engelleyen düşüş büyüklüğü ve yalnızca bir inceleme başlatan büyüklük. Bunları yuvarlak bir sayıya göre değil, Bölüm 22.2’deki tabloya göre belirleyin; çünkü 100 maddelik bir değerlendirmede 2 puanlık düşüşte yayını engelleyen bir kural gürültü yüzünden sürekli tetiklenir ve sonra yok sayılır; bu da hiç kural olmamasından kötüdür.

Bir eşiğin gürültüyle tetiklenmesinin ikinci bir nedeni var ve bu, örneklem büyüklüğü değil. Aynı testi her birleştirmede (merge) çalıştırmak, tekrarlı anlamlılık testi yapmak demektir: her çalıştırma yeni bir rastgelelik içeriyorsa — yeni bir madde örneklemi ya da örneklemeyle üretilmiş çıktılar — hiçbir şeyi değişmemiş bir işlem hattı %5’lik bir alarmı yine de yaklaşık yirmi çalıştırmada bir tetikler; on dört çalıştırma içinde tetikleme olasılığı da yarıyı geçer (\(1 - 0{,}95^{14} = 0{,}51\)). Aynı deterministik çıktıları aynı sabit küme üzerinde yeniden puanlamak ise yeni bir hata fırsatı değildir; her seferinde aynı cevabı verir. İki ucuz çözüm var. Birincisi, alarm eşiğini değerlendirmenin kendi gürültü düzeyine göre belirleyin: %80 doğrulukta 100 maddelik bir değerlendirmede yaklaşık 11 puanlık bir oynama yirmi çalıştırmada bir kez tesadüfen görülür ve gerçek bir düşüşün güvenilir biçimde yakalanması için yaklaşık 13 puan olması gerekir; bu aralığın altındaki bir kural gürültüyle tetiklenir. İkincisi, alarmı bir hüküm değil, ikinci ve daha büyük bir çalıştırmanın tetikleyicisi sayın. Gerçekten istediğiniz şey maddeler biriktikçe sürekli izleyebileceğiniz bir eşikse, doğru araç her zaman geçerli (always-valid) bir ardışık testtir (Johari vd. 2022); sabit \(\alpha\)’lı bir teste tekrar tekrar bakarsanız test, iddia ettiği \(\alpha\) düzeyini artık korumaz.

Rastgeleliğin bir kaynağı da sistemin kendisidir. Sıcaklık 0’ın üstündeyken (çoğu zaman 0’da bile) aynı sistem aynı maddede koşudan koşuya farklı cevap verebilir; bu örnekleme varyansı, madde örnekleminin varyansının üstüne eklenir ve tek bir koşunun puanı sistemin değil, o koşunun puanıdır. Ucuz önlemler: seed (tohum) değerini ve kod çözme ayarlarını her sonuçla birlikte kaydedin (seed her ortamda birebir aynı çıktıyı garanti etmez), koşudan koşuya değişen maddeleri bulmak için madde başına birden çok örnek alın ve bir yayın kararını tek bir koşuya dayandırmayın. Aynı soruyu ajanlar için, bir işin her seferinde yapılıp yapılmadığını ölçen pass^k ile Bölüm 30 ele alıyor; bu bölümdeki regresyon eşiklerini yayındaki bir sistemin CI kapısına dönüştürmek ise Bölüm 35’in konusu.

22.6 Sezgi kontrolleri

Her birini açmadan önce cevaplayın. Altısı da bu bölümün tartışmayla değil ölçümle çözdüğü sorular.

1. Modeliniz açık bir benchmark’ta 91 alıyor. Ne öğrendiniz?

Apaçık uygunsuz olmadığını; başka pek bir şey değil. Benchmark’ın modelin eğitim verisinde olup olmadığını öğrenmediniz — Bölüm 13 bir benchmark’ın test kümesinin %13,06’sının kendi eğitim ayrımında tekrarlandığını buldu. Benchmark’ın doymuş olup olmadığını da, sizin görevinizi ölçüp ölçmediğini de öğrenmediniz. Benchmark’lar üç aday seçmek için bir elemedir. Aralarında sizin değerlendirmeniz karar verir.

2. 30 maddelik bir değerlendirme kümesi kurmaya değer mi?

Evet, doğru soru için — ama sistemleri karşılaştırmak için değil. Otuz maddede, %80 doğrulukta bir baseline’a karşı %80 güçle saptanabilir hiçbir fark yoktur: her maddede doğru cevap veren bir yenisi bile, kesin bir testte yalnızca %57 güce ulaşır. (Normal yaklaşım %75 diyor, ama varyans teriminin sıfır olduğu p = 1,00’de ona güvenilmemeli.) Otuz maddenin gerçekten iyi olduğu iş kusur biçimlerini bulmaktır: otuz çıktının hepsini elle okuyun; hiçbir toplam puanın ortaya çıkarmayacağı yanlışlık kategorileri bulacaksınız. Küçük kümeleri neyin bozulduğunu öğrenmek, büyük kümeleri neyin yayına alınacağına karar vermek için kullanın.

3. Her zaman eşleştirilmiş test mi kullanmalısınız?

Elinizde zaten olan veride evet — ama ne kazandırdığını bilerek. McNemar, sistemlerin aynı sonucu verdiği her maddeyi atar; dolayısıyla kazancı ayrışma oranına bağlıdır ve eşik hesaplanabilir: n madde üzerindeki eşleştirme, iki kolun her birinde n madde kullanan eşleştirilmemiş bir çalışmayı, kabaca ayrışma oranı \(2\bar{p}\bar{q}\) değerinin altındayken yener; %80’e karşı %85 için bu %28,9 — neredeyse tam olarak iki bağımsız sistemin göstereceği oran. Çoğu maddede aynı sonucu veren iki prompt’u karşılaştırırken eşleştirme, etiketlemenin yarısıyla kazanır. Çok farklı iki sistemi karşılaştırırken az şey kazandırır ve doğru çözüm daha büyük bir değerlendirme kümesidir. Size güç kaybettirdiği bir durum ise yoktur: eşleştirilmiş verinin eşleştirilmemiş analizi, bağımsızlık noktasının üstünde yalnızca yanlış pozitif oranı yaklaşık %6’ya kaydığı için daha güçlü görünür.

4. LLM hakeminiz birebir aynı iki metne her seferinde beraberlik veriyor. Güvenilir mi?

Mümkün olan en kolay kontrolü geçtiğini öğrendiniz, başka bir şey değil. Buradaki iki hakem de o probe’da %100 aldı ve sonra keskin biçimde ayrıştı: biri sıra değiştirildiğinde maddelerin %38’inde hükmünü değiştirdi ve profesyonel özeti %51,7 oranında tercih etti; diğeri %15’inde değiştirdi ve profesyonel özeti %74,2 oranında tercih etti. Bunlar doğruluk değil tercih oranları — hangi özetin kazanması gerektiği, bir insan rubriğinin cevaplayacağı bir soru.

5. İki prompt 100 maddelik değerlendirmenizde %84 ve %79 alıyor. Birincisi daha mı iyi?

Bu sayılardan bunu söyleyemezsiniz. 100 maddelik bir değerlendirme %80 güçle yaklaşık 13 puanlık bir farkı saptar; bu fark ise 5 puan. Eşleştirme de bunu kurtarmaz. Aynı 100 madde iki prompt’tan da geçtiyse doğru test, uyumsuz çiftler üzerinde McNemar’ın kesin testidir. Ama 5 maddelik bir fark en iyi durumda 5’e karşı 0 uyumsuz çift demektir ve iki yönlü \(p = 2 \times 0{,}5^5 = 0{,}0625\) olur. İki yönde de daha fazla uyumsuz çift p’yi yalnızca büyütür. Eşleştirilmiş olsun ya da olmasın, savunulabilir rapor “bu örneklem büyüklüğünde saptanabilir bir fark yok” olur; bu da “fark yok”tan farklı bir ifadedir.

6. Değerlendirme düzeneğiniz %93,75 doğruluk raporluyor. Önce neyi kontrol edersiniz?

Ayrıştırma oranını. Bu değer, bir akıl yürütme modelinin bütün token bütçesini bir thinking alanında harcadığı, hiçbir cevabın ayrıştırılamadığı ve ayrıştırılamayan her cevabın çoğunluk sınıfına atandığı bir çalıştırmadan geldi — yani düzenek çoğunluk sınıfı baseline’ını bir sonuç olarak raporluyordu. Şüphe uyandıracak kadar iyi bir sayı, kötü bir sayının kendiliğinden gördüğü incelemeyi hak eder.

22.7 Mülakat soruları

Kaynak konusunda — Bölüm 2’deki çekincenin aynısı. Bunlar bu kitabın kullandığı iki güvenilir açık kaynakta tekrar eder; ayrıca bu bölümün ölçümlerinin cevaplanabilir kıldığı sorular vardır.

22.7.1 Ölçümü anlayıp anlamadığınızı sınayanlar

S: Bir LLM özelliğini nasıl değerlendirirsiniz?

İki soruyu ayırarak başlayın — model yetkin mi ve sistemim çalışıyor mu — ve açık benchmark’ların yalnızca birincisini cevapladığını söyleyin. Sonra kurguyu anlatın: gerçek trafikten örneklenmiş, büyüklüğü saptamanız gereken farka göre belirlenmiş, sistemin reddetmesi gereken durumları içeren, insan etiketleri hiçbir model çıktısı görülmeden toplanmış, sürümlenmiş bir değerlendirme kümesi. Raporlamayla bitirin: güven aralıkları, sistemlerin çoğunlukla aynı sonucu verdiği yerde eşleştirilmiş testler ve doğrulukla birlikte kapsam.

S: Değerlendirme kümenizde 100 madde var ve yeni prompt 5 puan yüksek alıyor. Yayına alır mısınız?

Bu kanıtla hayır. Yüz madde %80 güçle yaklaşık 13 puanlık bir farkı saptar, dolayısıyla 5 puan gürültünün içindedir. Eşleştirme burada sanıldığı kadar yardım etmez. Uyumsuz çiftler üzerinde McNemar, marjinal aralıkların bulamadığı etkileri bulabilir, ama bunu bulamaz: 5 maddelik bir fark en iyi durumda 5’e karşı 0 uyumsuz çifttir ve kesin iki yönlü p o zaman 0,0625 olur. Muhakeme gücünü gösteren cevap, sonra ne yapacağınızı söylemektir: ya değerlendirmeyi büyütürsünüz ya da bir iyileşme iddia etmediğinizi açıkça belirterek düşük riskli bir değişiklik olarak yayına alırsınız.

S: GPT-4 sınıfı modelleri hakem olarak kullanmanın nesi yanlış?

Önce hakemi kalibre ettiğiniz sürece hiçbir şey. Hata, onu bir ölçüm aleti değil, bir kâhin (oracle: yanılmaz kabul edilen bir kaynak) gibi görmektir. Belirli yanlılıkları ve her birini nasıl ölçeceğinizi sayın: konum, iki sırayı da çalıştırarak — burada küçük bir hakem için %38, büyük bir hakem için %15 hüküm değiştirme oranı ölçüldü; uzunluk, bir cevabı bilgi eklemeden şişirerek; kendini kayırma, bir hakemin kendi ailesinin çıktısını kontrol etmeden derecelendirmesine asla izin vermeyerek. Bir altörneklemde insan etiketlerine göre de kalibre edin, çünkü aksi hâlde puanın birimi yoktur.

22.7.2 Bir tane yayına alıp almadığınızı sınayanlar

S: Bozuk bir değerlendirmeyi nasıl yakalarsınız?

Doğru cevapları bilinen kontrollerle, çünkü bozuk bir değerlendirme düzeneği genellikle çökmek yerine makul bir şey döndürür. Bir referansı kendisine karşı puanlayın ve kusursuz bir sonuç isteyin. Ayrıştırma oranını kaydedin ve bir eşiğin altında çalıştırmayı durdurun. Her çalıştırmada bir çoğunluk sınıfı baseline’ıyla karşılaştırın — modeliniz onunla birebir eşleşiyorsa bu genellikle bir hatadır; düzeneği de modelin ham çıktılarını da hemen inceleyin. Ve hepsini gerekli kılan şeyi söyleyin: kötü bir sayı soruşturulur, iyi bir sayı yayımlanır.

S: Üretim kaliteniz düştü ve değerlendirme oynamadı. Ne oldu?

Büyük olasılıkla değerlendirme artık trafiğe benzemiyor — girdiler kaydı, yeni bir müşteri segmenti geldi ya da değerlendirme baştan hayalî durumlardan kuruldu. Modele dokunmadan önce girdi dağılımını kontrol edin. İkinci olası neden, hatanın sistemin değerlendirmede hiç sınanmayan bir parçasında olmasıdır: bir ayrıştırıcı, bir erişim adımı, bir zaman aşımı. Madde başına sonuçların toplam yerine saklanmasının ve kapsamın doğrulukla birlikte raporlanmasının nedeni budur.

22.8 2026 alet çantası

Bu bölümdeki her şey aşağıdaki sürümlerle yerelde çalıştı.

Bu sayıların çıktığı yığın
kütüphane	kullanılan sürüm	burada ne işe yarıyor
`scipy`	1.18.1	güç hesapları, Fisher kesin testleri ve `binomtest(...).proportion_ci(method="wilson")` ile Wilson aralıkları
`numpy`	2.5.2	örnekleme
`ollama`	0.24.0	iki hakemi de yerelde sunmak

Yukarıda kullanılmayan ama bilinmesi gereken araçlar:

Daha geniş ekosistem, yazıldığı andaki sürümler
kütüphane	güncel sürüm	ne zaman kullanılır
`lm-evaluation-harness`	0.4.x	açık bir benchmark sayısını herkesin hesapladığı biçimde yeniden üretmek
`lighteval`	0.13.0	aynı iş, daha küçük ve değiştirmesi daha kolay
`promptfoo`	0.122.2 (npm, 2026-06’da kontrol edildi)	CI’da prompt’ları ve modelleri iddialara karşı taramak; bu addaki PyPI paketi ince bir sarmalayıcıdır, npm sürümünü alın
`ragas`	0.4.3	Bölüm 20.4’ün erişim/üretim ayrımı, puanlanmış
`deepeval`	4.2.0	bir test çalıştırıcısına (test runner) bağlanmış hakem tabanlı metrikler; böylece değerlendirmeler birim testler gibi başarısız olur
`statsmodels`	0.15.0	kendiniz yazmak istemiyorsanız `proportion_confint` ve `mcnemar`

22.9 Lab: bir hakemi denetleyin, sonra değerlendirmenizi boyutlandırın

Denetimi değerlendirmeden önce yapın, bu sırayla; çünkü puanlamadığınız bir hakem, sonraki her sayıyı birimi bilinmeyen bir ölçüme dönüştürür.

22.9.1 Adım 1 — gerçek trafikten 50 madde seçin

Gerçek girdiler kullanın ve sisteminizin reddetmesi gereken beş madde de ekleyin. Bir şey çalıştırmadan önce hepsini kendiniz etiketleyin.

22.9.2 Adım 2 — insanlar arası uyumu ölçün

İkinci bir kişi 25 tanesini etiketlesin, sonra ham uyumun yanında Cohen kappa’sını (\(\kappa\)) da hesaplayın (sklearn.metrics.cohen_kappa_score); çünkü çarpık bir değerlendirme kümesinde ham uyumun büyük kısmı, iki etiketleyicinin maddeleri okumadan da ulaşacağı uyumdur. 0,4’ü bir hüküm değil, kaba bir uyarı çizgisi sayın: 25 maddede kappa’nın güven aralığı geniştir ve çarpık bir kümede kappa dikkatli etiketleyiciler için bile düşük çıkar (Bölüm 5). Karışıklık matrisi gerçek anlaşmazlıklarla doluyken düşük çıkan bir kappa, sorunun sistemde değil rubrikte olduğunu söyler; üzerine bir değerlendirme kurmadan önce rubriği düzeltin.

22.9.3 Adım 3 — birebir aynı metin probe’unu çalıştırın

Hakeminizden bir çıktıyı kendisiyle karşılaştırmasını 30 kez isteyin. Beraberlik demiyorsa durun ve başka bir şey yapmadan önce prompt’u düzeltin.

22.9.4 Adım 4 — konum probe’unu çalıştırın

30 gerçek karşılaştırma alın ve her birini iki sırada da çalıştırın. Hüküm değiştirme oranını bir Wilson aralığıyla raporlayın, çünkü 30 çiftte aralık geniştir — gözlenen 6/30 [9,5, 37,3] arasına yayılır — ve çıplak bir %20 eşiğine bakmak gürültüye göre karar vermek olurdu. Bu adımı bir ölçüm değil bir tarama sayın: aralığın alt sınırı %10’u geçiyorsa, tek sıralı hükümleri kısmen yazı tura olan bir hakeminiz var demektir ve sıralar üzerinden ortalama almalısınız. Hüküm değiştirme oranının kendisini birkaç puanlık kesinlikle bilmek istiyorsanız, bunun maliyetini Bölüm 22.2’deki tablo söylüyor.

22.9.5 Adım 5 — kendi etiketlerinize göre kalibre edin

Etiketlediğiniz 50 maddede hakem sizinle ne sıklıkla uyuşuyor — yine ham yüzde olarak değil, \(\kappa\) olarak? Hakem puanlarını anlamlı bir şeye dönüştüren sayı budur. Onu Adım 2’deki insan–insan \(\kappa\) değerinin yanına koyun: hakem sizinle ikinci etiketleyiciniz kadar uyuşuyorsa yeterince iyidir.

22.9.6 Adım 6 — sonraki değerlendirmeyi boyutlandırın

Bir kararı değiştirecek en küçük farkı belirleyin. Bölüm 22.2’deki tabloyu kullanarak bu farkın gerektirdiği madde sayısını bulun. Sayı etiketleyebileceğinizden büyükse, gücü yetersiz bir karşılaştırmayı yayına alıp ona sonuç demek yerine bunu açıkça söyleyin.

22.9.7 Neyi teslim edeceksiniz

İki probe sonucunu, hakem–insan uyum oranını, insan–insan uyum oranını ve değerlendirme kümenizin gerçekte saptayabileceği en küçük farkı belirten bir cümleyi.

22.10 Alıştırmalar

Mevcut değerlendirmenizi boyutlandırın. Zaten kullandığınız bir değerlendirme kümesini alın, madde sayısını Bölüm 22.2’nin tablosunda bulun ve saptayabileceği en küçük farkı yazın. Bunu raporlamakta olduğunuz farklarla karşılaştırın.
Hakeminizi denetleyin. Şu anda kullandığınız hakemde birebir aynı metin ve konum probe’larını çalıştırın. Beraberlik oranını ve hüküm değiştirme oranını raporlayın.
İki sıra da. Zaten çalıştırdığınız bir ikili değerlendirmeyi alın ve sırayı değiştirerek yeniden çalıştırın. Kaç hüküm değişiyor? Bu, sonucunuzu nasıl etkiliyor?
Uyum tavanını bulun. İki kişi aynı 30 maddeyi bağımsız olarak etiketlesin. Ham uyumun yanı sıra Cohen kappa’sını da hesaplayın ve ikisinin birbirinden ne kadar uzak olduğuna bakın. İkisini de sisteminiz için raporladığınız doğrulukla karşılaştırın.
Cevapsız durumlar dilimini kurun. Sisteminizin reddetmesi gereken on madde ekleyin. Ne sıklıkla reddettiğini ölçün. Bu genellikle gerçek bir problem bulmanın en hızlı yoludur.
Kendi değerlendirme düzeneğinizi bozun. Bir akıl yürütme modeli için fazla küçük bir üretim bütçesi ayarlayın ve işlem hattınızın ne raporladığını görün. Sonra bunu yakalayacak ayrıştırma oranı korumasını ekleyin.
Tersinden güç. Kurumunuzda bir kararı değiştirecek en küçük iyileşmeyi seçin. Bunun gerektirdiği değerlendirme kümesi büyüklüğünü hesaplayın. Karşılayamıyorsanız bunun yerine ne yapacağınızı yazın — o cümle, çoğu değerlendirme raporundan daha işe yarar bir teslimattır.

22.11 Daha derine

Herhangi bir şey okumadan önce: mevcut değerlendirme kümenizdeki maddeleri sayın ve saptayabileceği en küçük farka bakın. Onun altındaki farkları raporluyorsanız, buradaki diğer her şey acildir.

Makalelerin ötesi
kaynak	ne olduğu
Hamel Husain — değerlendirme ve LLM hakemleri üzerine	bu konudaki en iyi uygulamalı yazı; herhangi bir makaleden önce buradan başlayın
Eugene Yan — değerlendirme üzerine	göreve özgü değerlendirmenin, kaynakları iyi gösterilmiş ve kusur durumlarını adlandıran bir turu
HELM	Stanford’un bütünsel benchmark’ı; sıralama tablosunu hiç kullanmasanız bile yöntemi için okumaya değer
`lm-evaluation-harness`	standart değerlendirme düzeneği; kendinizinkini yazmadan önce cevabı nasıl çıkardığını okuyun
`lighteval`	aynı fikirle daha hafif bir alternatif, baştan sona okuması daha kolay
`promptfoo`	aynı değerlendirmeyi prompt’lar ve modeller genelinde iddialarla çalıştırır; Bölüm 22.9’u rutin kılar
`ragas` / `deepeval`	erişim ve üretim gibi bileşenlere ayrıştırması hazır gelen hakem tabanlı metrikler
Chip Huyen’in blogu	ürün çerçevesi — bir değerlendirmenin ne için olduğu ve cevabın ne zaman bir sayı olmadığı

Birincil kaynaklar
konu	kaynak
hakem olarak bir model, insanlara karşı ölçülmüş	Zheng vd. (2023)
ve beraberinde gelen yanlılıklar	Wang vd. (2024)
bütünsel benchmarklama, bilinçli bir tasarımla	Liang vd. (2023)
benchmark bulaşmasının neden ölçülmesi gerektiği	Sainz vd. (2023)
bu bölümün sürekli kullandığı eşleştirilmiş test	McNemar (1947)
küçük n’de düzgün davranan aralık	Wilson (1927)
metin üretimi için hakem tabanlı metrikler	Liu vd. (2023)
otomatik özetleme metriklerinin kaçırdıkları	Fabbri vd. (2021)
modellerin ne bildiklerini bilip bilmedikleri	Kadavath vd. (2022)
bulaşma için kara kutu testi	Oren vd. (2024)
sıralama tablosundaki bir sıranın örnekleme süreci	Singh vd. (2025)
değerlendirmeler için hata çubukları, kümelenme ve planlama	Miller (2024)
kendi yazısını tanıyan bir hakem	Panickssery vd. (2024)

22.12 Akılda kalması gerekenler

Açık bir benchmark eler; sizin değerlendirmeniz karar verir. Bulaşma gerçektir — Bölüm 13 bir benchmark’ın test kümesinin %13,06’sının eğitim ayrımında tekrarlandığını buldu — ve kapalı bir modelde bile yalnızca şüphelenilecek değil, test edilebilecek bir şeydir (Oren vd. 2024). Doymuş bir sıralama tablosunda yakın puanlar, gerçek bir farkı ölçüm gürültüsünden tek başına ayıramaz; bir sıralama tablosundaki sıra da arkasında bir örnekleme süreci olan bir istatistiktir (Singh vd. 2025).
Değerlendirme kümesinin büyüklüğünü saptamanız gereken farka göre belirleyin. %80 doğrulukla çalışan bir sistemde 30 madde, kusursuz bir yenisi için bile %80 güce ulaşmaz — kesin bir testte %57’de kalır; sistem başına 100 madde 13,4 puanlık, 1.000 madde 4,8 puanlık bir farkı saptar. Gerçek iyileşmelerin çoğu 2–5 puandır; dolayısıyla kullanımdaki değerlendirme kümelerinin çoğu, görmek için kuruldukları şeyi göremez.
Küçük değerlendirme kümeleri kusur biçimlerini bulmak içindir, sistem karşılaştırmak için değil. Elle okunan yirmi ile elli madde size neyin bozulduğunu söyler. Hangisinin daha iyi olduğunu söylemek, çoğu değişikliğin ürettiği 2–5 puanlık farklar için yüzlerce madde gerektirir — tam sayı, etki büyüklüğüne ve tasarımın eşleştirilmiş olup olmadığına bağlı.
Eşleştirme, sistemler ne kadar çok uyuşursa o kadar çok yardım eder. %10 ayrışmada 200 eşleştirilmiş madde 0,54 güce ulaşırken iki kolun her birinde 200 madde 0,26’da kalıyor — etiketlemenin yarısıyla iki katı güç. Kazanç yaklaşık %28,9 ayrışmada sıfıra iniyor; burası, iki sistemin istatistiksel olarak bağımsız olacağı noktayla hemen hemen aynı. Elinizde zaten olan veride de kazanç asla negatife dönmüyor.
Hakemi, doğru cevapları bilinen kontrollerle denetleyin. Buradaki iki hakem de birebir aynı metin beraberliklerinde %100 aldı — 60/60, ki bu hâlâ yalnızca [94,0, 100] demek — ve sonra biri sıra değiştirildiğinde maddelerin %38’inde hükmünü değiştirdi ve profesyonel özeti %51,7 oranında tercih etti; diğeri %15’inde değiştirdi ve %74,2 oranında tercih etti — bunlar doğruluk değil, tercih oranları. Herkesin çalıştırdığı kontrol, en az ayırt edendir.
İkili karşılaştırmaları iki sırada da çalıştırın, yalnızca iki hükmün uyuştuğu maddeleri sayın ve geriye kaç madde kaldığını raporlayın. %38 hüküm değiştirme oranı olan bir hakemden alınan tek sıralı bir sonuç, sistemleri değil yazı turayı raporlar.
Uzunluk yanlılığı burada yeniden üretilmedi. qwen3.5:9b apaçık şişirilmiş kopyayı vakaların %28,3’ünde seçti, gemma3:27b hiç seçmedi; yani iki hakem de dolguyu kayırmadı. Ama bu, apaçık dolgu hakkında dar bir iddiadır; folklorun asıl konusu olan ayrıntılı ama boş cevaplar hakkında değil.
Kötü bir sayı soruşturulur; iyi bir sayı yayımlanır. Tasarımda önlem alınması gereken şey hatanın kendisi değil, bu asimetridir. Ayrıştırma oranlarını kaydedin, her çalıştırmada bir çoğunluk sınıfı baseline’ı tutun, bir referansı kendisine karşı puanlayın ve şüphe uyandıracak kadar iyi bir sonuca, kötü bir sonucun kendiliğinden gördüğü şüpheyle yaklaşın.

Bu bölümdeki sistemler tek bir cevap üretiyordu; Bölüm 23 cevabın bir araç çağrıları döngüsünün sonunda geldiği sistemlere geçiyor ve orada da güvenilirliğin adım sayısıyla nasıl bozulduğunu bir hisle değil, ölçümle göstermek gerekecek.

Bradley, Ralph Allan, ve Milton E. Terry. 1952. “Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons”. Biometrika 39 (3/4): 324-45.

Cohen, Jacob. 1960. “A Coefficient of Agreement for Nominal Scales”. Educational and Psychological Measurement 20 (1): 37-46.

Fabbri, Alexander R., Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, ve Dragomir Radev. 2021. “SummEval: Re-evaluating Summarization Evaluation”. Transactions of the Association for Computational Linguistics 9: 391-409.

Johari, Ramesh, Pete Koomen, Leonid Pekelis, ve David Walsh. 2022. “Always Valid Inference: Continuous Monitoring of A/B Tests”. Operations Research 70 (3): 1806-21. https://doi.org/10.1287/opre.2021.2135.

Kadavath, Saurav, Tom Conerly, Amanda Askell, vd. 2022. “Language Models (Mostly) Know What They Know”. arXiv preprint arXiv:2207.05221.

Krippendorff, Klaus. 2018. Content Analysis: An Introduction to Its Methodology. 4. bs. SAGE Publications.

Liang, Percy, Rishi Bommasani, Tony Lee, vd. 2023. “Holistic Evaluation of Language Models”. Transactions on Machine Learning Research.

Liu, Yang, Dan Iter, Yichong Xu, Shuohang Wang, Ruochen Zhu, ve Chenguang Zhu. 2023. “G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment”. Proceedings of EMNLP.

McNemar, Quinn. 1947. “Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages”. Psychometrika 12 (2): 153-57.

Miller, Evan. 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. https://arxiv.org/abs/2411.00640.

Oren, Yonatan, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, ve Tatsunori B. Hashimoto. 2024. “Proving Test Set Contamination in Black-Box Language Models”. International Conference on Learning Representations (ICLR).

Panickssery, Arjun, Samuel R. Bowman, ve Shi Feng. 2024. “LLM Evaluators Recognize and Favor Their Own Generations”. Advances in Neural Information Processing Systems (NeurIPS) 37. https://proceedings.neurips.cc/paper_files/paper/2024/hash/7f1f0218e45f5414c79c0679633e47bc-Abstract-Conference.html.

Sainz, Oscar, Jon Ander Campos, Iker García-Ferrero, Julen Etxaniz, Oier Lopez de Lacalle, ve Eneko Agirre. 2023. “NLP Evaluation in Trouble: On the Need to Measure LLM Data Contamination for each Benchmark”. Findings of EMNLP.

Singh, Shivalika, Yiyang Nan, Alex Wang, vd. 2025. The Leaderboard Illusion. https://arxiv.org/abs/2504.20879.

Wang, Peiyi, Lei Li, Liang Chen, vd. 2024. “Large Language Models are not Fair Evaluators”. Proceedings of ACL.

White, Colin, Samuel Dooley, Manley Roberts, vd. 2025. “LiveBench: A Challenging, Contamination-Limited LLM Benchmark”. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2406.19314.

Wilson, Edwin B. 1927. “Probable Inference, the Law of Succession, and Statistical Inference”. Journal of the American Statistical Association 22 (158): 209-12.

Zheng, Lianmin, Wei-Lin Chiang, Ying Sheng, vd. 2023. “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena”. Advances in Neural Information Processing Systems.