Veri, Etiketleme ve Referans Etiketler

5. Bölüm · Uygulamalı Doğal Dil İşleme

Dr. Batuhan Bardak

Bu dersin sonunda

• kendi verinizden bir örneklem okuyup bulduklarınızı etiket hatası, şema sorunu ve model hatası diye ayırabilir, her birine farklı tepki verebilirsiniz
• birbirinden bağımsız iki kişinin uygulayabileceği, belirsiz vakaları ve ATLA seçeneğini açıklayan bir etiketleme kılavuzu yazabilirsiniz
• etiketleyiciler arası ham uyumu ve Cohen kappa’sını hesaplayabilir; %93 gibi yüksek bir ham uyumun, sınıf dağılımı bilinmeden neden yeterli olmadığını açıklayabilirsiniz
• etiket gürültüsünü sınıf ve yön bazında ölçebilir, etkisini kontrollü bir deneyle değerlendirebilirsiniz
• bölmeler arası sızıntıları denetleyebilir ve bir sızıntı bulunduğunda ölçümün nasıl değiştiğini raporlayabilirsiniz

Bölümün beş öğrenme hedefi.

Dersin yolu: önce etiketlerin hangi adımlardan geçerek üretildiği ve rastgele yüz yorumluk bir el denetimi. Sonra etiketleyici uyumu, şemanın sınırları, etiket gürültüsü ve bölmeler arası sızıntı; her biri kendi deneyiyle. Son kısımda etiketleme bütçesi ve elle etiketlemenin alternatifleri.

Sayılar nereden geliyor: deneyler, 4. bölümdeki Türkçe ürün yorumu derlemi ve oradaki 40.000/10.000 eğitim/test bölmesi üzerinde yapıldı. İki sonuç elle denetime dayanıyor: tek bir kişi, okumaya başlamadan önce yazılmış ölçütlerle, rastgele seçilmiş 100 test yorumunu ve modelin en güçlü biçimde itiraz ettiği 40 ayrı test yorumunu okudu. Bu sayımlar o okurun yorumuna dayanır ve ikinci bir insan etiketleyiciyle doğrulanmadı. Bunu dersin başında bir kez söyleyin; dersteki el denetimi sayılarının koşulu bu.

Bölümdeki kod parçaları kısaltılmış; tam kod bölümün notebook’unda.

Bölüm iki derse bölünecekse doğal kırılma noktası “Üç ya da daha fazla etiketleyici: birleştirme” slaytından sonrası.

Şimdiye kadar güvendiğiniz sayı

• 4. bölümün 2. rauntu: kelime 1–2 gram’ları üzerindeki TF-IDF, dengelenmiş bir lojistik regresyona verildiğinde %92,57 doğruluk ve 76,21 macro-F1 almıştı. Bag-of-words (kelime torbası) 73,51, ortalaması alınmış word2vec embedding’leri 61,39 almıştı
• O sayıların her biri, modelin çıktısı sentiment adlı tek bir sütunla karşılaştırılarak hesaplandı
• Bu sütundaki etiketlere referans etiket diyoruz: değerlendirmede başvuru noktasıdır, metnin tartışmasız tek yorumu olduğu iddiası değildir. Gold standard ve ground truth terimleri de aynı işlevi anlatır
• Etiketleri kimin, hangi soruya cevap olarak ve nasıl ürettiği belgelenmemiş; önceki bölümde bunu bir kez bile sormadık
• Bu bölüm soruyor. Deneylerin bir kısmında temsil, sınıflandırıcı ve test yorumları sabit kalıyor, yalnızca eğitim ya da test etiketleri değişiyor; başka deneylerde etiketli eğitim miktarı, örnek seçimi ya da bölme düzeni de değişiyor

Her tablo hangi bileşenin sabit kaldığını belirtir; böylece bir skor değişimi yalnızca o tablonun kontrollü karşılaştırması içinde yorumlanır.

Metin Temsillerini Karşılaştırmak (4. bölüm) burada bitmişti. O bölümün sonucu şuydu: o veride ve o ayarlarda seyrek temsiller, sıfırdan eğitilmiş ortalama embedding’lerin açık farkla önündeydi ve bu fark test kümesinin örnekleme belirsizliğinden çok büyüktü. Yakın satırların sırası ise ayar bütçesine duyarlıydı: ham sayım ile TF-IDF’in sırası C doğrulamada seçilince değişti. Bu yüzden önce güçlü bir seyrek baseline (karşılaştırma modeli) denemek iyi bir başlangıçtır; yöntemler hakkında genel bir üstünlük iddiası ise yeni veri ve yeni bir belirsizlik analizi ister.

Gold standard (altın standart), bölümün tanımıyla: bir model puanlanırken doğru kabul edilen etiketler. Bu etiketler uzlaştırmayla, uzman kararıyla ya da belgelenmiş başka bir süreçle oluşturulabilir. Referans sayılmaları hatasız oldukları anlamına gelmez; kökenleri ve içerdikleri uyuşmazlıklar ayrıca incelenmelidir.

Derlem 4. bölümdekiyle aynı: 235.165 Türkçe ürün yorumu; etiketlerin yaklaşık %93,7’si olumlu. Bu dengesizlik sonuçların birçoğunu güçlü biçimde etkiliyor; şema, model ve örnekleme kararları da sonuçların birer parçası.

Üç sonuç ve her birinin kapsamı

gözlenen	geçerli olduğu kapsam
Test etiketlerindeki %2’lik bir hata oranı, tablonun birincisini 76,21’den 73,13’e indiriyor — bag-of-words rakibinin özgün etiketlerle aldığı 73,51’in altına	Test etiketleri farklı olan iki koşulun karşılaştırılması; ortak bir test kümesinde sıralamanın tersine dönmesi değil. Aynı gürültülü etiketlerde 2,69 puanlık fark ortalama 2,50’ye iniyor ve 200 çekimin hiçbirinde sıra değişmiyor
Modelin en güçlü biçimde itiraz ettiği 40 seçilmiş test yorumunun 20’si, tek bir ikili etiketle anlatılması güç metinler olarak sınıflandırıldı	Tek okuyucu, seçilmiş bir örneklem: bu oran veri kümesinin bütününe taşınamaz
1.000 temiz etiket, %10 gürültülü 40.000 etiketle başa baş gidiyor; %20 gürültüde 500 temiz etiket 40.000’in önünde	Tek model ve tek derlemde yapay gürültü; beraberlik de öndeki sonuç da onar seed’le ayrıca sınandı

Model değiştiği için değil, skorun hesaplandığı etiketler değiştiği için.

Dersin üç sonucu, baştan; her biri bölümün ona bağladığı koşulla birlikte. Sağ sütunu sesli okuyun; sol sütun tek başına sonuç değildir.

Birinci satır: karşılaştırmanın biçimine dikkat edin, çünkü doğru okuma bu. İki modeli aynı gürültülü etiketlerle puanlamak başka bir soru; bölüm onu da ölçtü.

İkinci satır: bu 40 yorum, modelin en yüksek puanla itiraz ettiği yorumlar ve tek bir kişi okudu. Bir okuma listesi; derlemin bir örneklemi değil.

Üçüncü satır: on seed’lik yeniden koşuda ilk çiftte yüz seed çiftinin 37’sinde küçük temiz küme önde, yani bu çift bir beraberlik; ikinci çiftte fark 3,9 puan ve yüz seed çiftinin hepsinde aynı yönde. İki tabloya da dersin ilerisinde geleceğiz.

Bir etiket gerçekte nereden gelir

Etiketler kendiliğinden oluşmaz. Her adımda etiketin anlamı sizin sandığınızdan uzaklaşabilir.

adım	orada ne olur	ne bozulabilir
ham metin	kazınmış ya da kaydedilmiş	seçilim — yorum yazanlar ≠ satın alanlar (%93,7 olumlu)
şema	sınıflar ne	şema boşluğu — sınıfların ifade edemediği metinler (40 yorumda 20)
kılavuz	nasıl karar verilir	belirsizlik — kılavuz burada sessiz kalıyor (insan–insan κ burada ölçülmedi)
etiketleyici	okur, tuşa basar	açık etiket hatası — olası: yorgunluk, yanlış okuma/tuş (40 yorumda 11)
saklanan etiket	tek bir sütun	çöküş — uyuşmazlık kaydı saklanmıyor (geriye 1 sütun)

Tablodaki 20/40 ve 11/40, yalnızca modelin en güçlü biçimde itiraz ettiği 40 test yorumunun tek okuyucuyla yapılan denetimine aittir; diğer aşamalardaki sorunların sıklığı bu bölümde ölçülmedi.

Bölümdeki pipeline şeklinin tablo hâli. Önce kategoriler ve karar kuralları belirlenir; sonra metinler seçilir, etiketleyiciler karar verir ve uyuşmazlıklar birleştirilir. Adımların kaydı tutulmamışsa son etiketi hangi kararın ürettiği de anlaşılamaz.

Saklanan etiket, metnin seçilmesinden uyuşmazlıkların birleştirilmesine kadar verilen kararları tek bir sütunda toplar; eğitim koşunuz, sıralama tablonuz ve üretimdeki izlemeniz yalnızca o sütunu görür.

Dikkat edilecek yer son satır. Bir veri kümesi yalnızca metin ve label sütunlarıyla dağıtıldığında, etiketleyici kararlarının geçmişi görünmez olur: uyuşmazlıklar, zor vakalar ve atlanan örnekler tek bir tam sayıya iner. Uyuşmazlıkları, zor vakaları, atlanan örnekleri ve uzlaştırma kararlarını ayrıca saklamak — ek sütunlarla, yargı dökümüyle ya da bir datasheet ile — tek bir tam sayıdan çok daha denetlenebilir bir veri kümesi üretir.

Bir veri kümesini kullanmadan önce altı soru

soru	neye bakılır
Metni kim üretti?	“İnternet” değil: hangi platform, hangi kitle, hangi zaman aralığı. Yorum yazmayı seçen insanlar, satın alan insanlarla aynı kitle değildir
Etiketleri kim, nasıl üretti?	Alan uzmanları, crowdworker’lar (kitle kaynaklı etiketleme çalışanları), bir model ya da platformun yıldız puanı. Yıldız puanından duygu sınıfı türetmek bir vekil etiketleme kararıdır
Hangi soruyu cevaplıyorlardı?	“Bu yorum olumlu mu?”, “Bu ürünü alır mıydınız?” ve “Bu müşteri memnun mu?” soruları aynı metin üzerinde farklı etiketler üretir
Lisansı ne ve sizin kullanımınızı kapsıyor mu?	“Yalnızca araştırma için” gerçek bir kısıttır. Metnin yeniden dağıtılmasına izin veren ama ondan türetilmiş modellerin dağıtılmasına izin vermeyen bir lisans da öyle
Hangi hukuki dayanak ve hangi bildirim vardı?	Bir yorumu herkesin okuyabilmesi, model eğitimine açık rıza verildiğini göstermez
Ne eksik?	Hangi metinler silindi, filtrelendi ya da hiç yazılmadı; bu hangi grupları etkiliyor?

Kaynakta bulunmayan bilgileri “belgelenmemiş” diye kaydedin ve bu belirsizliğin kullanım kararınıza etkisini ayrıca değerlendirin.

Modellemeye başlamadan önce bu altı soruyu cevaplamaya çalışın.

İkinci soru. Vekil etiket puanlama ölçeğinin kendi yanlılıklarını taşır ve yıldızın hedeflediğiniz duygu sorusuyla ne kadar örtüştüğü sınanmalıdır. Kitle kaynaklı etiketler uzman etiketlerinden kendiliğinden daha kötü değildir: Snow vd. (2008), bazı görevlerde uzman olmayan birkaç kişinin birleştirilmiş kararlarının uzman kalitesine ulaşabildiğini gösterdi. Bu sonuç her görev ve her birleştirme yöntemi için garanti değildir; görevin uzman olmayan birinin cevaplayabileceği türden olmasına bağlıdır.

Beşinci soru. Platformun kullanım koşullarını, verinin işlenme amacını ve uygulanabilecek hukuki dayanağı ayrıca inceleyin.

Altıncı soru en zoru, ama cevaplamayı denemeye en çok değen de bu. Dodge vd. (2021) bunu, alanın en çok kullanılan web derlemlerinden biri olan C4 için yaptı ve derlemi “temizlemek” için kullanılan yasaklı kelime listesinin, azınlık grupları hakkındaki ve bu grupların yazdığı metinleri orantısız biçimde dışarıda bıraktığını gösterdi. Bu tür bir seçilim, dağıtılan veriye bakarak tek başına görülemez; toplama ve filtreleme kararlarının kaydı gerekir.

Birinci alıştırma, öğrencilerden kullanabilecekleri açık bir veri kümesi için bu altı soruyu yanıtlamalarını istiyor.

Lisans ve kişisel veri: bir mühendis neye bakar

• Halka açık, serbest kullanım demek değildir. “İndirebildim” ile “üzerinde eğitim yapmama izin var” farklı iddialardır; web’den kazınmış derlemler sık sık hiçbir lisans taşımaz
• Veri lisansının modele etkisi ayrıca değerlendirilir. Otomatik bir “lisans geçişi” kuralıyla belirlenmez; hukuk düzenine ve modelin veriyi ne kadar ezberlediğine bağlı olarak değişebilir. Bu, oturmamış bir hukuk alanı
• Provenance’ı (kaynak geçmişi) belgeleyin: kaynak URL’si, erişim ve indirme tarihi, lisans metni, veri sürümü ya da dosya özeti (hash), uyguladığınız filtrelerin tam hâli, bölme kararları
• Kişisel veri ayrı bir rejimdir. Açık rıza tek hukuki dayanak değildir: KVKK’nın 5(2)(d) maddesi, ilgili kişinin kendisinin alenileştirdiği veriyi işlemeye izin verir — dar yorumlanır ve kişinin veriyi alenileştirme amacıyla sınırlıdır
• Silme talepleri — KVKK’nın 7. ve 11. maddeleri, GDPR’ın 17. maddesi: “zaten onunla eğittim” tek başına bir cevap değildir. AB Yapay Zekâ Yasası kapsamında yüksek riskli bir sistemde Yasa’nın 10. maddesini de kontrol edin

Longpre vd. 2024

Bir projeyi başlarken değil, yayına alındıktan sonra durdurabilecek bir soru: bu veriyi kullanmaya gerçekten izniniz var mı? Bir içeriğe erişebilmek, onu yeniden dağıtma ya da model eğitiminde kullanma izninin belgelendiği anlamına gelmez. Kaynağın lisansını, platformun koşullarını ve içerik üzerindeki hakları kendi kullanım amacınız için ayrıca inceleyin.

CC BY-NC-SA gibi lisanslar için: lisans metnini, kullanım biçiminizi ve ilgili hukuk düzenini somut durumunuz için inceleyin ve yayına aldığınız her şeyde temkinli davranın.

Kaynak geçmişi: Longpre vd. (2024) 1.800’den fazla popüler metin veri kümesini denetledi ve büyük bir kısmında lisans bilgisinin eksik ya da yanlış olduğunu buldu — üretimde kullanılan veri kümeleri dâhil. İndirirken kaydetmediğiniz bilgiyi sonradan yeniden kurmak güçleşir.

Kişisel veri: bir yorum yazarını doğrudan ya da dolaylı olarak tanımlanabilir kılıyorsa, telifin yanında bir kişisel veri rejimi de gündeme gelir. Diğer alıcıları bilgilendirmek için yazılmış bir yorum kendiliğinden model eğitimi malzemesine dönüşmez. Silme talepleri bu maddelerdeki koşullar ve istisnalar içinde değerlendirilir. Bir talebi yerine getirebilmek için satır kimliği–kaynak eşleşmesine ihtiyacınız olur; bu eşleşmenin kendisi de kişisel veri taşıyabileceği için onu gerektiği süre kadar ve güvenlik önlemleriyle saklayın.

AB Yapay Zekâ Yasası’nın 10. maddesi, eğitim, doğrulama ve test verisi yönetişimi üzerine: belgelenmiş kaynak geçmişi, yanlılık incelemesi ve beyan edilmiş bir veri yönetişimi süreci. Yükümlülükler ve uygulama tarihleri yönetişim bölümünde.

Yüz satır okuyun. Kendiniz.

10.000 test satırından seed 42 ile çekilen 100 satır, etiketiyle birlikte okundu. Ölçütler okumadan önce sabitlendi: hata, karara bağlanamaz, tamam.

### random 100 test rows, read by hand by one reader

errors (gold contradicts the text)          0
undecidable (binary label not determined)   7
   ... of which "not yet received"          3
arguable (post-hoc; defensible either way)  9
ok (the remaining rows)                    84
                                          ---
                                          100
positive gold labels in the sample         98

• Tartışmalı (arguable), okuma sırasında tamam’dan ayrıldı — önceden kaydedilmiş şemadan bir sapma; yani sonradan kurulmuş, daha az ağırlık taşıyan bir kategori

Bir veri projesinin başında rastgele seçilmiş bir örneklemi elle okumak, rastgele örneklem çekmek dışında kod gerektirmeyen yararlı bir denetimdir. Buna zaman ayırın: test kümenizden 100 satır çekin, her satırı etiketiyle birlikte okuyun; gördüğünüz belirsizlikleri ve açık etiket çelişkilerini ayrı ayrı kaydedin.

Çekim: np.random.default_rng(42).choice(10000, 100, replace=False).

Ölçütler. Hata: referans etiket metinle çelişiyor. Karara bağlanamaz: metin tek bir ikili etiketi belirlemiyor. Tamam: geri kalan her şey. Okuma sırasında “tamam” ikiye bölündü: referans etiketin savunulabilir olduğu ama okuyucunun öbür etiketi seçeceği satırlar tartışmalı oldu, geri kalanlar düz tamam kaldı. Bölüm bu sapmayı tam da bu yüzden kayda geçiriyor.

Üçüncü alıştırma bu denetimi öğrencinin kendi veri kümesinde, ölçütleri okumaya başlamadan önce yazarak tekrarlatıyor.

Yüz satırda sıfır hata: üç kuralı

• Hiç hata gözlenmediğinde üç kuralı (rule of three) \(3/n\)’lik yaklaşık tek yönlü %95 üst güven sınırını verir: veri %3 civarına kadar bir hata oranıyla tutarlı, altındaki hiçbir değeri de dışlamıyor
• Bu, oranın %3’ün altında olduğunun ölçülmesi değildir: 100 çekim %0,1 ile %2’yi birbirinden ayıramaz
• Tekdüze bir önsel (Beta(1,1)) seçilirse sonsal ortalama \(1/(n+2) = 1/102 \approx \%0{,}98\) olur — önsel seçimine ve tek okuyucunun “açık hata” tanımına bağlı bir değer
• Sonraki hesaplar yaklaşık %1’i yalnızca örnek bir senaryo olarak kullanır
• 100 satırın 98’i olumluydu; derlem oranı ise %93,7: azınlık sınıfını denetlemek için onu ayrıca örnekleyin

Rastgele çekilen 100 satırda tek bir açık hata yok. Sonsal ortalama, derlemdeki hata oranının %1 olarak ölçüldüğü anlamına gelmez. Karara bağlanamayan yedi ve tartışmalı dokuz satır bu açık hata sayımına dâhil değil.

Doksan sekiz olumlu satır üzerine: bu, n = 100 için sınırda da olsa örnekleme gürültüsüyle açıklanabilir (%6,3’lük olumsuz oranında 100 satırda en fazla 2 olumsuz görme olasılığı yaklaşık %4,5), ama şunu hatırlatıyor: çarpık bir derlemden çekilen 100 satırlık bir örneklem azınlık sınıfı hakkında neredeyse hiçbir şey söylemez.

Açık hata sayısı sıfır değilse üç kuralı uygulanmaz; bir binom güven aralığı (örneğin Wilson) hesaplanır. Bu da üçüncü alıştırmanın parçası.

Karara bağlanamayan yedi satır hata değil

4745 numaralı test satırının tamamı: sipariş verdim umarım tez ulaşır :). Referans etiket: olumlu.

• Metinde ürüne dair bir hüküm yok, bir gülen yüz ve bir temenni var. Diğer altısından ikisi de aynı biçimde
• Birinde ürün kullanılmış ve çizik hâlde gelmiş, ama yorumcu ürünün kendisinin iyi olduğunu söylüyor: teslimata dair hüküm, ürüne dair hükmün tam tersini gösteriyor
• Özgün sentiment etiketinin hangi soruya göre üretildiği belgelenmediği için bu satırın kaynak etiketi hakkında “hatalı” hükmü vermiyoruz

Sorun, kaynak etiketleyicinin yanlış karar vermesinden çok, hedef sorunun tanımında olabilir. Etiket hatası ile şema sorunu arasındaki bu ayrımı aklınızda tutun.

Asıl ilginç olan, karara bağlanamayan yedi satır; çünkü bunlar hata değil. Ürün hakkındaki hükmü hedefleyen, bu bölümde önerilen şema altında 4745 numaralı satır karara bağlanamaz: yorumu yazan ürünü henüz almamış.

Diğer altısı: ikisi aynı biçimde (“daha yeni sipariş verdim, yorumlara bakılırsa…”, “yarın gelir herhalde”). Birinde ürün daha önce kullanılmış ve çizik hâlde gelmiş. Kalan üçünden biri kapılarla ilgili bir atasözü, biri yalnızca bir öneri sunuyor (“sıvı formda olsa daha iyi olurdu”), biri de yalnızca seat leon st 1.6tdi metninden oluşuyor.

Ürüne ilişkin ikili bir hüküm hedeflendiğinde bu yedi satır tek bir etikete zor sığıyor. Sorunun hedef tanımında olduğunu doğrulamak için özgün şemayı ve ikinci bir okuyucunun kararlarını görmek gerekir. Bölümün geri kalanı sürekli bu ayrıma dönüyor.

Şema da etiketleyiciler kadar zarar verebilir

Bir ön eleme kuralı: ama, fakat, ancak ve lakin sözcüklerini işaretleyin. 10.000 test yorumunun 2.003’ünde (%20,03) dört bağlaçtan en az biri eşleşti.

	karşıtlık kuralı eşleşen	eşleşmeyen
test kümesindeki payı	%20,03	%79,97
referans etikette olumsuz oranı	%11,48	%5,03
model doğruluğu	84,07	94,70
model macro-F1	72,11	77,72
model F1 (olumsuz)	53,84	58,27

• Bir ayrıştırıcı değil, bir elek: precision’ı (kesinlik) ölçülmedi; %20,03 yalnızca kuralın eşleşme oranı
• Eşleşen beşte birde macro-F1 5,6 puan geride (bootstrap aralığı 2,5 ile 8,8); ölçüm şemayı, modeli ve uzunluğu ayırmıyor — kararı veren, yön düzeyinde etiketlemedir

Karşıtlık bağlacı testi bir şema sorununu teşhis etmez; yeniden okunacak yorumları seçer. Eşleşen bir yorumun gerçekten iki karşıt değerlendirme içerip içermediğini elle kontrol etmeden bilemeyiz.

Bu kısmın dayandığı çekince. Ancak aynı zamanda “yalnızca” ya da “güçlükle” anlamına da geliyor — ancak 3 günde geldi bir karşıtlık değil, teslimat süresi hakkında bir ifade — ve kural gerçi, ne var ki, buna rağmen gibi bağlaçları tümüyle kaçırıyor. Yani %20,03 ne bir üst sınır ne de bir alt sınır; yalnızca kuralın eşleşme oranı. Mekanik olarak denetlenebilen kısım denetlendi: çift anlamlı ancak 351 yorumda geçiyor ve bunların 287’si yalnızca ancak sayesinde eşleşiyor; kuraldan ancak çıkarıldığında tablonun iki grubu arasındaki fark yerinde kalıyor (macro-F1 71,29’a karşı 77,80).

Tabloyu okurken: test kümesinin bu beşte birinde olumsuz etiket oranı iki katından fazla ve model macro-F1’de 5,6, olumsuz sınıf F1’inde 4,4 puan geride. Doğruluktaki on puanlık fark bunu abartıyor: iki grubun taban oranı farklı olduğu için doğruluk farkının bir kısmı yalnızca sınıf oranından geliyor.

Olası açıklamalar: etiket şemasından iki hükmü tek bir bite sıkıştırması isteniyor olabilir; model bu cümlelerde daha çok yanılıyor olabilir; eşleşen yorumlar da belirgin biçimde daha uzun (ortanca 30 token’a karşı 16). Yön düzeyinde etiketleme (aspect-level annotation), yani ürün, teslimat ve fiyat hükümlerinin ayrı etiketlendiği bir örneklem, hangi hatanın hangi kaynaktan geldiğini sınamak için gerekli: model iki yönü de doğru çıkarıyor ve yalnızca tek bit yanlışsa, sorun şemadadır. Uyuşmazlık hedefin tanımından geliyorsa çözüm ya daha zengin bir şema ya da kılavuzda her etiketleyiciye hangi yan cümlenin kazandığını söyleyen açık bir kuraldır. Modelin bu cümleleri kötü okumasından geliyorsa, daha iyi bir temsil tam da işe yarayacak şeydir — ve buradaki hiçbir şey bunu dışlamıyor.

Annotation artifacts

• Annotation artifacts: etiketleme sürecinin, metin ile etiket arasında hedef görevin dışında bir ipucu oluşturması
• Bir kılavuz etiketleyicileri bir alışkanlığa ittiğinde, modeller görevi değil o alışkanlığı öğrenebilir ve skor çoğu zaman şişer
• Gururangan vd. (2018): iyi bilinen bir çıkarım benchmark’ı (kıyaslama), yalnızca hipotez cümlesine bakıp öncülü tamamen yok sayarak kısmen çözülebiliyor
• Bağlaç eşleşmesi başka bir şey: bir aday grubu tanımlıyor; bu veride bir artefakt ya da bir şema kusuru olduğuna tek başına kanıt değil

İki durumun ortak noktası: etiket yalnızca metni değil, etiketleme sürecini de yansıtabilir.

Akraba bir problem ve bir adı var. Çıkarım benchmark’ında hipotez cümlelerini yazan etiketleyicilerin belirgin alışkanlıkları vardı ve model bunları yakaladı.

Geva, Goldberg ve Berant (2019), örnekleri etiketleyicilerin kendilerinin yazdığı bir veri düzeninde, modellerin bir öğeyi hangi etiketleyicinin yazdığını ayırt edebildiğini ve test kümesi eğitimde görülmemiş etiketleyicilerden geldiğinde skorların düştüğünü gösterdi. Hazır ürün yorumlarının yalnızca etiketlenmek üzere dağıtıldığı düzen bundan farklıdır. Bu derlemde yazar ya da etiketleyici kimliği bulunmadığı için böyle bir etkinin büyüklüğü ölçülemiyor.

Öğrenciler için iki şeyi ayrı tutun: bir artefakt, görevin dışındaki bir ipucu üzerinden skoru şişirir; bağlaç kuralı ise yalnızca şema sorunu ve model hatası adaylarının bulunduğu bir yorum grubunu işaretler.

Kullanılabilir bir kılavuz: görev ve iki vaka

### etiketleme kılavuzu v1 — ürün yorumu duygusu

GÖREV
  Her yorumu, yorumcunun ÜRÜN HAKKINDAKİ hükmüne göre olumlu (1) ya da
  olumsuz (0) etiketle.

KARARA BAĞLANMIŞ VAKALAR  (yukarıdaki tanımı somutlaştırırlar)
  1. Teslimat, paketleme, satıcı ve iade ÜRÜN DEĞİLDİR.
     "Kargo hızlı, ürün işe yaramaz"              -> 0
     "Kargo geç geldi, ürün harika"               -> 1
  2. Fiyat şikâyeti, yorumcu ürünün değmediğini söylemedikçe olumsuz
     SAYILMAZ.
     "Pahalı ama mükemmel"                        -> 1
     "Bu paraya değmez"                           -> 0

• Sınıf tanımları yalnızca başlangıçtır: karara bağlanmış örnekler, öncelik kuralları ve bir ATLA seçeneği de gerekir; hepsi bir sürüm numarasıyla birlikte saklanır

Etiketleme kılavuzu (annotation guideline), bölümün tanımıyla: görevi, sınıfları, karara bağlanmış örnekleri ve belirsiz vakaların nasıl ele alınacağını yazılı olarak açıklayan belge. Bağımsız etiketleyicilerin kararlarını daha tutarlı ve denetlenebilir kılar; tam uyumu garanti etmez.

Bağımsız etiketleyicilerin sınır durumlarda tutarlı karar verebilmesi için karara bağlanmış örnekler, öncelik kuralları ve bir ATLA seçeneği gerekir. Kılavuzu, bu kararların sürüm numarasıyla birlikte saklayın.

Slayt, bölümdeki kılavuz v1’in ilk yarısını gösteriyor; 3–6. vakalar bir sonraki slaytta.

Kılavuzun devamı: karışık hüküm, ATLA, olumsuzlama

  3. Ürün hakkında karışık hüküm: SON yan cümle kazanır.
     "İyi kesiyor ama sapı kırıldı"               -> 0
     "Sapı kalitesiz ama çok iyi kesiyor"         -> 1
  4. Henüz teslim alınmamış / hüküm verilmemiş    -> ATLA (etiketleme)
  5. Kesilmiş metin: görünen metinde bir hüküm varsa etiketle,
     yoksa ATLA.
  6. Olumsuzlamayı bağlamında değerlendir. "fena değil" ürün için
     olumludur. "fena değil ama çabuk bozuldu" ise, son ürün hükmü
     olumsuz olduğu için 3. kurala göre 0'dır.

• Karara bağlanmış her vakanın iki taraf için de çözülmüş bir örneği var; örüntüye bakarak eşleştiren bir etiketleyici de doğru cevabı veriyor
• ATLA diye bir seçenek var: karara bağlanamaz öğelerde ikili seçim yapmaya zorlamak uyuşmazlık üretebilir — ya da görünürde yüksek ama anlamsız bir uyum
• “Son yan cümle kazanır” seçimi keyfî. İyi uyum, yanlış hedefe verilmiş ortak bir cevabı doğru yapmaz

Bunu kullanılabilir kılan iki özellik var. Birincisi, karara bağlanmış her vakanın iki taraf için de çözülmüş bir örneği var; böylece örüntüye bakarak eşleştiren bir etiketleyici, ilkeyi anlamadan da doğru cevabı veriyor. İkincisi, ATLA diye bir seçenek var. Karara bağlanamaz öğelerde ikili seçim yapmaya zorlamak, sonradan etiketleyicilere yükleyeceğiniz bir uyuşmazlık üretebilir; etiketleyiciler aynı alışkanlıkla tahmin ediyorsa görünürde yüksek ama anlamsız bir uyum da üretebilir.

Kılavuzun son kısmı, “ne zaman atlanır”: ürün hakkında karar verilemiyorsa ATLA seçilir. Atlanan örnekler ve nedeni saklanır; kılavuzun ve şemanın geliştirilmesine yararlar. Zorla verilen bir ikili etiket, tutarlı görünse bile hedefi yanlış ölçebilir.

Üçüncü kural üzerine: seçim keyfî. Tutarlılık sağlayabilir; ama ürün memnuniyetini gerçekten temsil edip etmediği ayrıca sınanmalıdır. Önce hedef soruyu belirleyin, ardından zor vakalar için karara bağlanabilir ve tutarlı bir kural yazın: etiketleyici her zaman hangi kuralın geçerli olduğunu söyleyebilmeli ve onu her seferinde aynı şekilde uygulayabilmelidir. Tutarlı uygulanan keyfî bir kural öğrenilebilir veri üretir, tutarsız uygulanan ilkeli bir kural üretmez.

Uyum: %93 tek başına ne anlatır?

İkinci bir insan etiketleyici yoktu. A, referans sentiment sütunu; B, bir sözlük kuralı — 36 olumlu ve 37 olumsuz ifade — 10.000 test satırının hepsine uygulandı.

### A (gold, rows) vs B (lexicon rule, columns), n = 10,000

                B: olumsuz   B: olumlu
A: olumsuz            141           491
A: olumlu             167          9201

• Ham uyum \((141 + 9201)/10000 = \mathbf{\%93{,}42}\) — ama bu toplamın 9.201’i ortak olumlu karar: çoğunluk sınıfı toplam uyumu yukarı çekiyor
• B bağımsız bir ikinci görüş değil: kuralı, referans etiketleri önceden görmüş biri yazdı
• \(\kappa(\text{A}, \text{B})\), referans etiketlerle sözlük kuralının örtüşmesini özetler; insan–insan uyumunun ya da şemanın iyi tanımlanmış olmasının ölçüsü değildir

Etiketleyiciler arası uyum (inter-annotator agreement): aynı öğelere birbirinden bağımsız etiket veren kişilerin kararlarının ne ölçüde örtüştüğü. Ham oranla, sınıfa özgü uyumla ya da rastlantısal uyuma göre düzeltilmiş katsayılarla özetlenebilir. Yüksek uyum, etiketlerin hedef kavramı doğru temsil ettiğini tek başına kanıtlamaz.

Etiketlerinizin iyi olduğunu tek bir etiketleyicinin çıktısına bakarak bilemezsiniz. Aynı öğeler hakkında ikinci bir görüşe ve iki görüşün ne sıklıkla örtüştüğünü söyleyen bir sayıya ihtiyacınız var.

Koşulu sayılardan önce söyleyin, çünkü katsayının ne anlama geldiğini değiştiriyor. Bölüm kısalık için A’ya da B’ye de “etiketleyici” diyor, ama ikisi de metni bağımsız okuyan bir insan değil. Aynı formül ve aynı aritmetik — prevalans, beklenen uyum, çarpıklık — iki insanın yargı tablosuna da uygulanır; ama o deneyin örnekleme ve bağımsızlık koşullarının ayrıca kurulması gerekir.

Kural üzerine: ifadeleri sözcük sınırını denetlemeden, metnin içinde geçen bir parça olarak arar ve aynı yorumda hem olumlu hem olumsuz ifade geçtiğinde olumlu der. İfade listeleri bölümde verilmiyor; dolayısıyla 2×2 tablo oradaki koddan yeniden üretilemez, tablodan türetilen bütün katsayılar ise üretilebilir.

Olumsuz etiketlerdeki uyuşmazlığı görmek için tablonun ilk satırına ve ilk sütununa ayrıca bakmak gerekir.

Cohen kappa’sı: gözlenen uyum, beklenen uyum

\[\kappa = \frac{p_o - p_e}{1 - p_e} = \frac{0{,}9342 - 0{,}9099}{1 - 0{,}9099} = \mathbf{0{,}2698}\]

• \(p_e\), iki etiketleyicinin de kendi taban oranlarıyla bağımsız etiketlemesi durumunda beklenen uyum. A öğelerin %6,32’sine, B %3,08’ine olumsuz diyor: \(p_e = (0{,}0632)(0{,}0308) + (0{,}9368)(0{,}9692) = 0{,}9099\)
• İşe yarayan okuma bir karşılaştırma: 93,42 puanlık gözlenen uyuma karşılık bağımsızlık altında 90,99 puan — yani beklenen değerin üstünde yalnızca 2,43 puan
• Bunu “90,99 puan şans eseriydi” diye yorumlamayın: \(p_e\) bağımsızlık sıfır hipotezi altında beklenen uyuşmadır, gerçekte olan bitenin ölçülebilir bir parçası değil
• Bu kadar çarpık bir derlemde düşük bir kappa, özensiz etiketlemeyle de özenli etiketlemeyle de tutarlıdır; katsayı size hangisine sahip olduğunuzu söylemez

Cohen 1960

Cohen kappa’sı: iki etiket dizisinin gözlenen uyumunu, her biri kendi etiket oranlarıyla ve birbirinden bağımsız karar verseydi beklenecek uyumla karşılaştıran katsayı. Düşük bir kappa, tek başına etiket hatasının ya da dikkatsizliğin kanıtı değildir. Bir sözlüğe karşı düşük kappa çıkması, referans etiketlerin yanlış olduğunu da göstermez.

Aritmetik, adım adım. A öğelerin 632/10000’ine, B 308/10000’ine olumsuz diyor. İki çarpım 0,00195 ve 0,90795; beklenen uyumun neredeyse tamamı ikinci terimden geliyor. Aritmetiği yuvarlak bir sayıyla değil gerçek marjinallerle yapın: ikisi de öğelerin %90’ına olumlu diyen iki etiketleyici 0,9² + 0,1² = 0,82’ye varırdı, 0,90’a değil — beklenen uyum, marjinalin kendisi değildir.

Kappa’nın paydası olan 1 − p_e = 0,09, gerçek uyum için geriye kalan alandır; payı olan 0,0243 ise bu alanın ne kadarının gerçekten doldurulduğunu gösterir. Çarpık görevlerde kappa’nın düşük çıkmasının ve orada oynak olmasının sebebi bu: marjinaller sabit varsayılırsa gözlenen uyumdaki küçük bir değişim kappa’ya yaklaşık on bir kat büyüyerek yansır. Gerçek bir hücre değişiminde marjinaller ve p_e de oynar.

Krippendorff’s alpha aynı tabloda 0,2655 veriyor. Kappa’ya yakın çıkması bağımsız bir doğrulama değil: iki katsayı aynı etiket çiftlerinden hesaplanıyor.

0,2698 sayısı yalnızca bu referans–kural tablosuna aittir ve bir insan–insan uyum değeri olarak alıntılanmamalıdır.

Aynı referans ve sözlük kuralı, farklı örneklem

A’nın olumsuz dediği 632 yorumun tümü ve A’nın olumlu dediği yorumlardan rastgele 632’si: 1.264 satırlık yapay dengeli bir altörneklem.

                    full test set (n=10,000)   balanced (n=1,264)
raw agreement                       93.42%              60.28%
p_e                                 90.99%              50.00%
Cohen's kappa                        0.2698              0.2057
Krippendorff's alpha                 0.2655              0.0722

• A ve B’nin karar kuralları aynı; değerlendirilen metinler ve sınıf bileşimi farklı. Ham uyum etiketleyicilere ait sabit bir özellik değil; örneklemle birlikte değişiyor
• Kappa \(p_e\)’yi her etiketleyicinin kendi marjinalinden, alpha ise tek bir havuzlanmış marjinalden hesaplıyor: dengeli altörneklemde kappa alpha’nın neredeyse üç katı — hem de aynı veriden
• Kappa ile alpha’yı, marjinalleri ve örnekleme düzenini birlikte bildirin

Feinstein & Cicchetti 1990 · Cicchetti & Feinstein 1990

Dengeli altörneklem tam test dağılımındaki uyumu kestirmez; aynı A ve B’nin, farklı seçilmiş metinlerdeki davranışını gösterir.

Rastlantısal uyuma göre düzeltilmiş (chance-corrected) iki katsayı neden ayrışıyor: dengeli altörneklem bu şekilde kurulduğu için A’nın etiketlerinin %50’si olumsuz; B’de bu oran kabaca %12. Yani ikisi, azınlık etiketini seçme sıklığında büyük ölçüde ayrışıyor. Ayrışan marjinaller Cohen’in rastlantı tabanını düşürüyor (burada 0,50’ye; havuzlanmış marjinalle bu değer 0,57), dolayısıyla aynı gözlenen uyum rastlantının daha üstünde sayılıyor. Alpha’nın havuzlanmış tabanı bu ayrışmayla düşmediği için alpha bu payı vermiyor.

Tablo, kappa’nın yorumunu etkileyen bilinen iki durumu örnekliyor. Tam kümede yüksek ham uyuma düşük bir kappa eşlik ediyor (prevalans etkisi); dengeli altörneklemde ise A ile B’nin farklı marjinalleri kappa ile alpha arasındaki farkı büyütüyor (yanlılık etkisi). Bunlar katsayının arızaları değil; katsayıların farklı sıfır modelleri kullandığının ve örneklem bileşimine duyarlı olduğunun örnekleri.

Tablodaki bir sayı ölçülmüş değil, kesin: dengeli altörneklemde p_e tam olarak 0,5000, çünkü bir etiketleyici kusursuz 50/50 bölündüğünde beklenen uyum, diğerinin oranı ne olursa olsun 0,5 çıkar.

Beşinci alıştırma, öğrencinin kendi görevi için ikinci bir etiketleyici kurmasını ve kappa’yı iki tür örneklemde de hesaplamasını istiyor.

Tek tablo, beş katsayı

### aynı 10.000 satırlık tablo, beş katsayı
ham uyum  p_o                        0,9342
Gwet's AC1                           0,9277
PABAK  (2*p_o - 1)                   0,8684
Cohen's kappa                        0,2698
Krippendorff's alpha                 0,2655

• Bunların hiçbiri yanlış değil: kappa ile alpha çarpıklığın faturasını size kesiyor; PABAK ile AC1 kesmiyor (Gwet 2008)
• Bu tablonun beş özeti 0,27 ile 0,93 arasında değişiyor: hangi katsayıyı neden kullanacağınızı sonuçlara bakmadan önce belirleyin
• Özgül uyum ayrışmanın yerini gösteriyor: olumluda %96,55, olumsuzda %30,00
• B’nin referans etikete karşı %93,42 doğruluğu, çoğunluk sınıfı baseline’ının (karşılaştırma modeli) %93,68’inin altında; macro-F1’de B için 63,27, sabit için 48,37

Katsayıyı tabloya baktıktan sonra seçmek, yorumu kaydırabilir. Aynı 2×2 tablonun beş özeti farklı soruları yanıtlıyor. Farklılar, çünkü bir sınıf baskınken “şans”ın ne demek olduğu konusunda farklı varsayımlar yapıyorlar: kappa ile alpha, etiketleyicilerin gözlenen oranlarıyla tahmin yürüttüğünü varsayıyor; PABAK ile AC1 bunu varsaymıyor. Hangisinin doğru olduğu, göreviniz için hangi sıfır hipotezinin adil karşılaştırma olduğunu düşündüğünüze bağlı; tablodan yola çıkıp etiketleyicilerin tahmin yürütüp yürütmediğini teşhis etmeye değil. Katsayılar, rastlantısal uyumun nasıl görüneceği konusundaki varsayımlarıyla ayrışıyor; hiçbiri size etiketleyicilerin ne yaptığını söyleyemez. İyi bir rapor karışıklık matrisini, sınıfa özgü uyumu ve önceden gerekçelendirilmiş bir katsayıyı birlikte verir.

Bir sınıf için özgül uyum: o sınıfta ortak karar verilen örneklerin iki katının, A’nın ve B’nin o sınıfı seçtiği toplam sayıya bölümü. Bu ikili tabloda hesap, B’nin A’ya göre sınıf F1’iyle sayısal olarak aynıdır. Eşitlik metriğin tanımından gelir; B’nin bir insan olduğu ya da A’nın hatasız olduğu sonucunu vermez. Bu iki etiket dizisi övgüde neredeyse tamamen örtüşüyor, şikâyette ise çok az.

B’nin skorlarındaki ikinci ders: elle kurulmuş, 73 özenli Türkçe ifadeden oluşan bir sözlük, doğrulukta bir sabitten kötü performans gösteriyor. Macro-F1’de tablo farklı; 4. bölümün doğruluğu tek başına bildirmeyi reddetmesinin sebebi de bu.

İkiden fazla etiketleyici ve sözel ölçek

• Cohen’s kappa tam olarak iki etiketleyici için tanımlıdır
• Fleiss’ kappa, üç ya da daha fazla etiketleyici için: Cohen’inkinin değil Scott’s pi’nin genellemesi — \(p_e\)’yi bütün etiketleyiciler üzerinden havuzlanmış tek bir marjinalden hesaplar
• Krippendorff’s alpha: \(\alpha = 1 - D_o/D_e\), gözlenen uyuşmazlığın beklenen uyuşmazlığa oranı, sizin seçtiğiniz bir uzaklık işleviyle; nominal, sıralı ve aralık ölçekli etiketleri kapsar, eksik yargıları da tolere eder
• Slight (çok zayıf), fair (zayıf), moderate (orta), substantial (güçlü), almost perfect (neredeyse kusursuz): Landis ve Koch’un eşik ölçeği; ölçülmüş eşikler olarak değil, tartışma için “açıkça keyfî” bölmeler olarak önerildi. 0,27’lik bir kappa bu ölçekte “fair” (zayıf)

Sayıyı ve aralığı raporlayın; sıfatı konuşmayı başlatacak bir etiket olarak görün, asla bir geçme notu olarak değil.

Fleiss 1971 · Krippendorff 2018 · Landis & Koch 1977

Üç ya da daha fazla etiketleyici, kitle kaynak platformu işin içine girdiğinde olağan durumdur. Fleiss’ kappa her öğeyi aynı etiketleyicilerin etiketlemesini gerektirmez; ama her öğenin aynı sayıda yargı almış olduğunu varsayar. Yorumu da, çarpıklık problemi de üç katsayı için değişmez.

“Her etiketleyicinin kendi oranı” ile “tek havuzlanmış oran” arasındaki fark sıradan bir hesap ayrıntısı değil: önceki slaytlardaki dengeli altörneklemde kappa ile alpha’yı ayıran şey buydu.

Sözel etiketler üzerine: bunların kaynağını bilmek gerekiyor, çünkü yaygın biçimde kullanılıyor ama kaynağı nadiren anılıyor.

Bölümde burada etkileşimli bir araç var: ham uyum, A’nın azınlık oranı ve B’nin oranının A’nınkine oranı için kaydırıcılar. Aynı %93,4’lük uyum bu tablonun oranlarında kappa ≈ 0,27 ediyor; daha çarpık oranlarda daha azını, dengeli oranlarda daha fazlasını ederdi. Üç kaydırıcının her ayarı var olabilecek bir 2×2 tabloyu tarif etmez. Zaman varsa kitap sayfasından gösterin.

Uzlaştırma: izlenebilecek bir döngü

1. İki etiketleyici aynı 200 öğeyi birbirinden bağımsız etiketler — her birinden bir örneklem değil, aynı öğeler
2. Karışıklık matrisini ve kappa için bir belirsizlik aralığını birlikte hesaplayın
3. Her uyuşmazlığı birlikte okuyun — kimin haklı olduğuna karar vermek için değil, neden ayrıştıklarını bulmak için
4. Her durumu, iki taraf için de örnekleriyle birlikte, karara bağlanmış bir vaka olarak kılavuza ekleyin. Asıl çıktı bu
5. Yeni 200 öğeyi bağımsız etiketleyip yeniden ölçün

Uyum ölçümü teşhistir; uzlaştırma (adjudication) ise onun ardından gelen adım. Üçüncü adımı bir oylama sanmayın.

Uzlaştırma (adjudication): uyuşmayan yargıların neden ayrıştığını inceleyip kararı ya da kalan belirsizliği kayda geçiren ek değerlendirme. Bazı uyuşmazlıklar kılavuzu iyileştirir, bazıları ise kalıcı bir yorum farkını gösterir.

Birinci adım. Azınlık vakalarını görebilmek için pilotu azınlık sınıfına doğru tabakalandırabilirsiniz (stratified sampling): bu derlemin %6,3’lük azınlık payında düz rastgele 200 öğe yaklaşık on üç azınlık öğesi içerir ve kappa’nın payı büyük ölçüde o hücrelerden gelir. Böyle bir pilottaki kappa, seçtiğiniz sınıf oranına aittir. Doğal dağılımdaki uyumu raporlamak istiyorsanız ayrı ve temsil edici bir örneklem kullanın ya da örnekleme tasarımını açıkça yazın.

Üçüncü adım. Uyuşmazlıklar çoğu zaman tekrar eden birkaç durumda toplanır. Tek tek uyuşmazlıkları çözmek pilot verisini iyileştirir. Tekrar eden uyuşmazlık türlerini kılavuza eklemek ise sonraki etiketleme turunda da işe yarayabilir; etkisini yeni ve bağımsız öğelerde ölçün.

Beşinci adım. Uyum artmadıysa uyuşmazlık örneklerini yeniden inceleyin: sebep bir kılavuz boşluğu, kılavuzun farklı uygulanması, örneklemin değişmesi ya da şemanın sınırı olabilir.

Bu döngü, bölümdeki uygulamanın küçük hâli: iki dengeli 100’lük tur, kılavuz v0, kılavuz v1.

Bu boyutta kappa aralığı isteğe bağlı değil

rng = np.random.default_rng(42)
idx = (rng.integers(0, len(a), len(a)) for _ in range(2000))
boot = [cohen_kappa_score(a[i], b[i]) for i in idx]
lo, hi = np.percentile(boot, [2.5, 97.5])

örneklem	kappa’nın standart hatası	sonucu
10.000 öğe	yaklaşık 0,02	—
düz rastgele 200 öğe	yaklaşık 0,14	0,27’lik bir nokta kestiriminin %95 aralığı kabaca \([-0{,}02,\ 0{,}54]\)
tabakalı: referans etiketi olumsuz 100 ve olumlu 100 öğe	yaklaşık 0,04	nokta kestirimi 0,21 civarına geliyor

• Pilot döngüsünü aralığın alt sınırı hedefi aştığında bitirin; hedefi içeren bir aralık tek başına hiçbir yönde kanıt değildir

Bu sayılar referans–sözlük tablosundan yeniden örneklemeyle elde edildi; iki insanla yaptığınız pilotta aralığı ayrıca hesaplayın.

Bir kappa’nın standart hatası örneklem büyüklüğü kadar marjinallere de bağlıdır; bu yüzden hazır bir formül yerine, koddaki gibi, aynı öğenin iki yargısını birlikte yeniden örnekleyen bir bootstrap kullanın (cohen_kappa_score scikit-learn’den).

Tabakalı pilotta nokta kestirimi oynuyor, çünkü kappa örneklemin sınıf bileşimine bağlı.

Hedef katsayıyı ve örneklem bileşimini sonuçlara bakmadan önce belirleyin. Bir eşiğin aşılması da şemanın hedefi doğru ölçtüğünü tek başına göstermez.

Üç ya da daha fazla etiketleyici: birleştirme

• Her öğeyi üçüncü bir kişiye göndermek büyük ölçekte pahalıdır; çoğu projede çoğunluk kararı, bir güvenilirlik modeli ve seçilmiş uyuşmazlıklarda uzman uzlaştırması birlikte kullanılır
• Çoğunluk oyu: basit bir başlangıç yöntemi. Etiketleyicilerin hata oranları belirgin biçimde farklıysa ya da hataları birbirine bağımlıysa, oyları eşit ağırlıklandırmak bilgi kaybettirebilir
• Gizli değişkenli birleştirme: her etiketleyicinin hata örüntüsünü ve gizli sınıfı ortak bir olasılık modeliyle, EM ile kestirir; referans etiket zorunlu değildir
• Oy dağılımını saklamak ve yumuşak bir hedefe karşı eğitmek: üç etiketleyiciden ikisinin olumlu dediği bir öğeye sert bir 1 yerine 2/3 verilir — tek başına, kalibre edilmiş bir olasılık değildir

Yargıları tek bir etikete nasıl indireceğiniz bir seçimdir ve ham yargıları saklamak, bu seçimi sonradan değiştirebilmenizi sağlar.

Dawid & Skene 1979 · Uma vd. 2021 · Plank 2022

Dersin başındaki pipeline tablosu çöküşü — yargılar tek etikette birleştirilirken uyuşmazlık kaydının saklanmamasını — ayrı bir sorun olarak adlandırmış, ama ne yapılacağını söylememişti. Kitle kaynaklı etiketlemede öğe başına birkaç yargınız olur.

EM, tek solukta: beklenti–enbüyütme — gerçek etiketleri tahmin et, bu tahminlerden her etiketleyicinin hata oranlarını yeniden kestir, etiketleri yeniden tahmin et ve hiçbir şey değişmeyene kadar tekrarla. Sonuç, etiketleyici yargılarının yeterince örtüşmesine ve modelin varsayımlarına bağlıdır. Snorkel tarzı zayıf denetim de kaynakların güvenilirliğini modeller; orada fonksiyonlar arasındaki bağımlılığın ve model ailesinin ayrıca belirlenmesi gerekir.

Yumuşak hedef üzerine: uyuşmazlığın görevle ilgili olup olmadığını ayrıca okumak gerekir. Bu bölümde modelin en güçlü biçimde itiraz ettiği 40 test yorumunun yarısı tek bir ikili etikete zor sığan metinler olarak sınıflandırıldı; böyle öğelerde 2–1’lik bir bölünme, sert bir etiketin sildiği bir bilgiyi taşıyabilir.

Bölüm iki derste işlenecekse durulacak yer burası.

Etiketleri ölçekte denetlemek: out-of-fold işaretler

40.000 satırın tamamını elle okumak pahalıdır. Hangi satırların önce okunacağını seçen bir yordam kurun.

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof = np.zeros(len(y))
for train_idx, val_idx in skf.split(Xtr, y):
    m = clf().fit(Xtr[train_idx], y[train_idx])
    oof[val_idx] = m.predict_proba(Xtr[val_idx])[:, 1]
# modelin karşı sınıfa verdiği puan;
# etiketin yanlış olma olasılığı değildir
wrong_conf = np.where(y == 1, 1 - oof, oof)

• Out-of-fold kestirimi (eğitimde dışarıda bırakılan parça için tahmin): her eğitim satırının, o satırın etiketini hiç görmemiş bir modelden gelen bir kestirimi olur
• Confident learning yaklaşımından esinlenen basit bir eşik kuralı; yöntemin kendisi değil: asıl yöntem her sınıfa ayrı eşik uygular

Northcutt vd. 2021

Out-of-fold kestirimi burada bir inceleme önceliği üretmek için kullanılıyor. Veriyi beş parçaya ayırın; modeli dördünde eğitip kalan parça için tahmin üretin ve bunu her parça bir kez dışarıda kalacak şekilde tekrarlayın. Modelin diğer sınıfa yüksek puan verdiği satırlar otomatik bir hata hükmü değil, elle incelenecek adaylardır.

Confident learning, modelin kendi güveninden yararlanarak hatalı etiket adaylarını bulur. Asıl yöntem tek bir küresel eşik kullanmaz: her sınıf için, o sınıfla etiketli örneklerde modelin o sınıfa verdiği ortalama olasılığı eşik alır ve bu eşiklerle etiket–tahmin sayımlarından bir matris (confident joint) kurar. Bir sonraki slayttaki tek eşik (0,90) bir kısayol; sınıflar bu kadar dengesizken sınıfa özgü eşikler tam da bunu düzeltmek için var.

Slayttaki kod bölümdekinin kısaltılmış hâli. Sesli söylenecek bir şey: bölümün koşusunda Xtr, katlardan önce, 40.000 satırın tamamıyla eğitilmiş bir vektörleştiriciden geliyor. Tam anlamıyla out-of-fold bir kestirim için vektörleştiriciyi de her katın eğitim kısmıyla eğitin; bir Pipeline bunu kendiliğinden yapar. Bunun neyi değiştirdiği bir sonraki slaytta.

Eşikler neyi işaretliyor

eşik	işaretlenen satır	pay	referans etiket olumlu	referans etiket olumsuz
> 0,50	3.026	%7,57	2.232	794
> 0,90	92	%0,23	49	43
> 0,95	34	%0,09	18	16
> 0,99	2	%0,005	2	0

• İşaretler sınıflar arasında dengeli, derlem değil. 0,90 eşiğinde 92 işaretin 43’ü (%47) referans etiketi olumsuz olan satırlarda; derlemin ise yalnızca %6,3’ü olumsuz. Olumsuz etiketlerin %1,70’i, olumlu etiketlerin %0,13’ü işaretleniyor. Bu, işaretlenme oranlarının farkı; hata oranlarının değil
• Yüksek eşik çok az satır işaretliyor ve kural, modelin kendisinin de zor bulduğu metinlerdeki hatalara kör: işaretlenmeyen satırlar temiz ilan edilemez
• İşaret bir hüküm değil, okuma çağrısıdır

Vektörleştirici de her katta yalnızca eğitim kısmıyla eğitildiğinde 0,90 eşiğini aşan 92 satır 123’e, 0,95 eşiğindeki 34 satır 47’ye çıkıyor; ilk listedeki 92 adayın 89’u yeni listede de var. Bundan sonrası 92 satırlık ilk listeye ait.

40.000 eğitim satırı üzerinde; karşı sınıf puanı eşiği aşan, elle incelenecek satırlar.

Bir olumsuz etiketin işaretlenme oranı on üç kat yüksek. Okumaya nereden başlamanız gerektiği de orası. Ama model azınlık sınıfında daha belirsiz ya da daha kötü kalibre olduğu için de bu satırları daha sık işaretliyor olabilir.

Sayının küçüklüğü üzerine: rastgele 100 test satırında sıfır açık hata görülmüştü; oradaki önsele bağlı yaklaşık %1’lik senaryo doğru olsaydı 400 dolayında hata beklenirdi, ama o değer ölçülmüş bir hata oranı değil ve burada gerçek hata sayısı gibi kullanılamaz.

Kendi denetiminizde vektörleştiriciyi katın içinde eğitin.

Modelin en güçlü itiraz ettiği 40 test yorumu

Ayrı bir denetim, bu kez test kümesinde: modelin saklanan etikete en yüksek puanla itiraz ettiği 40 yorum.

### 40 highest-confidence gold/model disagreements, test set, read by hand

hata   (referans etiket yanlış)                      11    27.5%
şema   (ikili etiket metni temsil edemiyor)          20    50.0%
model  (etiket savunulabilir, sınıflandırıcı yanlış)  9    22.5%
                                                     --
veri tarafındaki problemler                          31 / 40

şema dökümü:  karışık 12 · kesilmiş 4 · ılık (ne övgü ne yergi) 3 · hüküm yok 1

• Seçilmiş bir örneklem; okumayı kör olmayan tek bir okuyucu yaptı: derlem için ya da eğitimdeki 92 aday için bir oran kestirimi değildir
• %95 Wilson aralıkları: şema payı kabaca %35 ile %65, hata payı %16 ile %43 arasında — yalnızca sayım belirsizliğini anlatır, amaçlı seçilimi düzeltmez

Önceki slayttaki 92 aday eğitim kümesinde. Bu 40 yorum ise test kümesinde; orada yanlış bir etiketin bedeli biraz daha düşük skorlu bir model değil, yanlış bir sıralama tablosudur. Bu iki seçimin örnekleme çerçevesi farklı; birinin oranları ötekine taşınamaz.

Üç kategori: hata — referans etiket metinle açıkça çelişiyor; şema — tek bir ikili etiket metni temsil edemiyor; model — etiket savunulabilir, sınıflandırıcı yanılıyor.

Seçilmiş 40 adayın 31’i, tek okuyucuya göre, veri tarafında bir sorun gösteriyor. İki Wilson aralığı örtüşüyor. Okumayı, hipotezi yazmış olan yazar yaptı. Aynı kırk öğeyi kör çalışan ikinci bir okuyucuya okutup uyumu bildirmek gerekir; bu adım öznel sınıflamayı sınar, genelleme sorununu tek başına çözmez. Bölüm bunu birinci tekil kişiyle söylüyor: ben bunu yapmadım; siz sayıyı alıntılamadan önce yapın.

Wilson aralığı, küçük n’de de makul davranan, bir oran için güven aralığıdır.

Kırktan dördü

satır	referans	metin ne diyor	nasıl okundu
6874	olumsuz	açık övgü içeriyor, çekince görünmüyor; model p(olumlu) = 0,984	olumsuz etiketle açıkça çelişiyor
8356	olumlu	“yastıklar ince yeterli değil”; p = 0,059	açık bir çelişki daha
8006	olumlu	iade sürecini övüyor; iade gerekçesi olarak “beğenmedim” dediğini aktarıyor; p = 0,034	model hatası olarak sayıldı; kılavuz v1 altında etiket 0 olurdu ya da satır ATLA
2544	olumlu	“paketleme başarısız. ampüller fena değil”	iki ayrı yön hakkında zıt kutuplu iki hüküm

Kategori hedef tanımına bağlı: sayıları bir oran değil, bir yön olarak okuyun.

6874 numaralı satır: hatanın hangi aşamada oluştuğu bilinmiyor.

8006 numaralı satırın tamamı: “hiç bir sebeb göstermeden iade kurallarına uyarak beğenmedim dedim, iade ettim.ücret iadem anında yapıldı.kargo ücreti de dahi.” Yorum ürün hakkında olumlu bir hüküm vermiyor. Modelin karar skoruna bu örnekte en büyük olumsuz katkılar iade (−1,78), beğenmedim (−1,30) ve iade ettim (−0,65) özniteliklerinden geliyor; olumsuz katkıların yaklaşık yarısı iade içeren özniteliklerden. “Bu iyi bir deneyim miydi” hedefinde olumlu etiket savunulabilir; satır bu yüzden model hatası olarak sayıldı. Ürün hedefli kılavuz v1 altında ise iade süreci ürün sayılmaz (birinci vaka): “beğenmedim” bir ürün hükmü sayılırsa etiket 0 olurdu, sayılmazsa satır ATLA (dördüncü vaka).

2544 numaralı satır: hangi etiketin uygun olduğu, hedef ve karışık yorum kuralı belirlenmeden karara bağlanamaz.

Olumsuzlama üzerine: dokuz seçilmiş model hatasının beşinde olumsuzlama var — fena değil, özelliklerinin altında bir ürün değil ve bir tane de üçlü olumsuzlama. Kelime unigram ve bigram kullanan bir model fena değil gibi sık kalıpları ayrı bir öznitelik olarak öğrenebilir; ama uzun ya da iç içe geçmiş bir olumsuzlamanın kapsamını yapısal olarak temsil etmez. 2544 numaralı satırda fena değil bigram’ının karar skoruna katkısı yalnızca −0,06 iken, değil (−1,77) ve fena (−0,55) unigram’ları ağır basıyor. Bu örnekler bu öznitelik düzeninin sınırını gösterir; bütün n-gram modellerinin her olumsuzlamada yanılacağını değil. Kelime sırasını ve kapsamı temsil eden modeller ilerideki bölümlerin konusu.

Temizlik gerçekte ne kazandırdı

### repairs, judged on the test split used throughout the chapter

                          acc    macro-F1   F1(neg)
baseline (no repair)     92.57      76.21     56.47
drop 92  (p > 0.90)      92.37      75.72     55.61
flip 92  (p > 0.90)      92.47      75.94     55.99
drop 34  (p > 0.95)      92.39      75.83     55.83
flip 34  (p > 0.95)      92.52      76.03     56.15
drop  2  (p > 0.99)      92.54      76.15     56.37
flip  2  (p > 0.99)      92.52      76.11     56.31

Bu altı onarım koşulunun hiçbiri, kullanılan test bölmesinde baseline’ı geçmedi. En büyük fark yaklaşık yarım macro-F1 puanı (92 satırı silmek: −0,49).

Elinizde 92 şüpheli satır varken akla gelen ilk hamle, onları silmek ya da etiketlerini tersine çevirmek, sonra modeli yeniden eğitmek. İki koşul da, bölüm boyunca raporlamada kullanılan aynı test bölmesinde karşılaştırıldı. Bu keşifsel bir karşılaştırmadır; hiç görülmemiş bir test kümesindeki nihai sonuç gibi okunmamalı.

Bu farklar, denenen sabit satır kümeleri için gözlenen farklardır; yöntemin yararı için bir güven aralığı ya da büyük bir kazancı dışlayan bir üst sınır değildir. Başka deneylerin seed sapması da bu deterministik onarımların belirsizliği yerine geçmez. Doğru karşılaştırma, aynı işlemi aynı sayıda rastgele satıra uygulamaktır — bir sonraki slayt.

Etiketi çevirmek (satır kalır), 92 ve 34 satırlık eşiklerde silmeyi (satır gider) az farkla geçti, 2 satırda sıra tersine döndü; bu küçük farklar satırları tutmanın neden daha iyi olduğuna dair kanıt oluşturmaz. İki işlemden de önce satırları okuyun.

Kontrol: aynı işlem, rastgele 92 satırda

92 işaretle aynı sınıf bileşimine sahip (49 olumlu, 43 olumsuz) rastgele 92 satır, 20 ayrı çekim.

                            macro-F1     sd      min      max
drop 92 random rows  (mean)    76.15   0.13    75.91    76.45
flip 92 random rows  (mean)    75.87   0.36    75.01    76.47
drop the 92 flagged rows       75.72
flip the 92 flagged rows       75.94

• İşaretli 92 satırı silmek (75,72), rastgele 92 satırı silmenin 20 çekimdeki en düşük değerinin (75,91) de altında kalıyor. Etiketlerini çevirmek (75,94) ise rastgele 92 etiketi çevirmenin ortalamasından (75,87) ayırt edilemiyor

Bir inceleme listesi üretmek ile o listedeki satırları topluca silerek ya da çevirerek skor artırmak ayrı hedeflerdir. İşaret bir karar değil, bir okuma listesidir.

Yani model itirazına göre seçilmiş satırlar rastgele satırlardan farklı davranıyor, ama beklenen yönde — skoru yükselterek — değil. 40.000 satırın 92’si, eğitim verisinin %0,23’ü; bu kadar az satırı düzenlemenin bir modeli çok oynatması beklenmez: kontrol grubunda rastgele 92 satırı silmek ortalamada 0,06 puan oynatıyor. İşaretli satırların daha çok (0,49 puan) oynatması, karar sınırına yakın satırların sayılarının gösterdiğinden fazla etkili olabildiğini gösteriyor.

İşaretlenen satırlar aynı türden olmayabilir. Testteki seçilmiş 40 itirazın 20’si tek okuyucuya göre şema sorunuydu; eğitimdeki 92 aday için bu oran bilinmiyor, o satırlar ayrıca okunmadı.

Bu denetimin somut getirisi yeniden eğitilmiş model değil, seçilmiş 40 itirazda şema sorunlarının görünür hâle gelmesi. Bu, kılavuzu yeniden incelemek için bir gerekçe sağlar; derlemin tamamındaki karışıklığın yarısının şemadan geldiğini göstermez. Otomatik araç adayları bulur; hedef tanımını gözden geçiren, onları okuyan insandır.

Ayrı bir çalışmada Northcutt, Athalye ve Mueller (2021) en çok kullanılan on makine öğrenmesi benchmark’ının test kümelerinde etiket hataları buldu ve test etiketleri düzeltildiğinde model sıralamasının değişebildiğini gösterdi: düzeltilmiş etiketlere göre puanlandığında, ImageNet’te başlangıçta yanlış etiketlenmiş örneklerin test kümesindeki payı yalnızca %6 artınca ResNet-18, ResNet-50’nin önüne geçiyor. Bu bölümde böyle bir sıra değişimi ölçülmedi.

Etiket gürültüsünün bedeli ne ve hangi yönde

Eğitim etiketleri kontrollü oranlarda bozuldu, model yeniden eğitildi, özgün test etiketleriyle değerlendirildi. Oranlar kaynak sınıfın payıdır; “symmetric” o payı her iki sınıfta da çevirir.

### macro-F1, clean test set, model retrained at each rate

flip rate      0%     1%     2%     5%    10%    20%    30%    40%
symmetric   76.21  74.18  72.43  68.58  63.34  55.43  49.86  43.71
neg -> pos  76.21  76.14  76.29  76.27  76.42  76.85  77.12  76.47
pos -> neg  76.21  74.17  72.87  68.63  63.63  56.69  52.01  47.99

• Ortadaki satır neredeyse kıpırdamıyor: olumsuz etiketlerin %40’ı olumluya çevrildiğinde macro-F1 baseline’a yakın kalıyor. Alttaki satır aynı aralıkta 28 puan kaybediyor
• Aynı yüzde, aynı sayıda etiket demek değil: olumsuz sınıfın %40’ı yaklaşık 1.000 satır, olumlu sınıfın %40’ı yaklaşık 15.000 satır

Etiket hatasının etkisi hatanın yönüne, sınıfların büyüklüğüne ve değişen satır sayısına birlikte bağlı. Her koşul için üç seed; standart sapma hiçbir zaman 0,50 macro-F1’i aşmadı.

Ortadaki satırdaki küçük artış nereden geliyor: %30’da baseline’ın 0,91 puan üstünde. O koşulda model daha az yoruma olumsuz diyor (1.075 yerine yaklaşık 845); olumsuz sınıfta precision %44,8’den yaklaşık %50’ye çıkıyor, recall %76,3’ten %67’ye iniyor. Yani olumsuz eğitim etiketleri azaldıkça karar sınırı kayıyor ve bu test bölmesinde macro-F1 biraz yükseliyor. Bu bir etiket bozma önerisi değil.

Bölüm bu üç satırı bir çizgi grafiği olarak çiziyor; slayt sayıları koruyor. 93,7/6,3’lük sınıf dengesizliği (class imbalance) bu asimetrinin önemli bir etkeni, tek açıklaması değil.

Yalnızca yüzdeyi değil, satırları da sayın

koşul	çevrilen satır	sonrasında sınıf	macro-F1
%10’da olumsuz → olumlu	2.529 olumsuzun 253’ü	olumlu sınıf 37.724’e çıkıyor ve bunların 253’ü yanlış: %0,67 bulaşma; olumsuz sınıf 2.276’ya iniyor, geride kalan her üye doğru	76,42
%10’da olumlu → olumsuz	37.471 olumlunun 3.747’si	olumsuz sınıf 2.529 doğru artı 3.747 yanlış: %59,7’si yanlış etiketli	63,63 (−12,58)
%1’de olumlu → olumsuz	375 satır, bütün eğitim satırlarının %0,94’ü	artık olumsuz etiketli olan her şeyin %12,9’u (2.904’ün 375’i)	74,17 (−2,04)

• Belirsizliği tahminle kapatmayın: belirsiz öğeyi ATLA seçeneğine ve uzlaştırmaya yönlendirin

Etiketleme hata oranınızı sınıf başına ölçün. Her seferinde kaynak sınıfı da hedef sınıfı da adlandırın ve yüzdeyle birlikte satır sayısını verin.

Aynı kaynak sınıf yüzdesi, sınıflar dengesizken çok farklı sayıda etiketi değiştirir.

Birinci satır: daha küçük ama saf bir azınlık sınıfı hâlâ öğrenilebilir.

İkinci satır: model, üyelerinin çoğunluğu gürültü olan bir sınıfa uyum sağlamaya çalışıyor. Gerçek olumsuzlar hâlâ tutarlı bir küme oluşturduğu için model yine bir şey öğreniyor (63,63; çoğunluk baseline’ı 48,37), ama öğrenilecek sinyal gürültünün içinde sulanıyor.

Üçüncü satır: olumlu sınıfın yüzde biri, çoğu ekibin “mükemmel” diyeceği bir oran. 2,04 macro-F1 puanına mal oluyor — 4. bölümde bag-of-words ile TF-IDF unigram’ları arasındaki farkın tamamından, yani 1,56’dan fazla.

Genel bir %1 tek başına bilgi vermez: azınlık satırlarını çoğunluğa çeviren hatalar burada neredeyse hiç iz bırakmadı, çoğunluk satırlarını azınlığa çeviren hatalar ise aynı %10’luk sınıfa bağlı oranda 12,58 puana mal oldu.

İki yönde aynı sayıda çevrilmiş etiket

çevrilen etiket	olumsuz → olumlu	olumlu → olumsuz	olumsuz sınıftaki payı	olumlu sınıftaki payı
250	76,35 (sd 0,17)	74,98 (sd 0,25)	%9,9	%0,67
500	76,80 (sd 0,20)	73,64 (sd 0,20)	%19,8	%1,33
1.000	76,95 (sd 0,68)	71,11 (sd 0,27)	%39,5	%2,67
2.000	68,60 (sd 1,02)	67,91 (sd 0,15)	%79,1	%5,34

• Aynı sayıda etiket çevrildiğinde de yön fark ediyor: 1.000 olumlu etiketi olumsuza çevirmek 5,1 puan kaybettirirken, 1.000 olumsuz etiketi olumluya çevirmek skoru düşürmüyor
• Asimetrinin sınırı var: olumsuz sınıfın %79’u çevrildiğinde o yön de 7,6 puan kaybediyor

Etiket bozmaları metinden bağımsız seçildi. Gerçek hatalar zor öğelerde kümelenebilir ve aynı nominal oranın etkisi o durumda farklılaşır (Wei vd. 2022): bu sayıları bir sınır olarak okumayın.

Üç seed’in ortalama macro-F1’i. Yüzdeler iki yönde farklı sayıda satır demek olduğu için bölüm karşılaştırmayı bir de aynı sayıda etiketle yaptı.

Bölümün iki önerisinden ikincisi, belirsizliği tahminle kapatmamak üzerine. Bu deneyde çoğunluktan azınlığa yanlış geçirilen örnekler pahalıydı; ama bundan etiketleyicinin azınlık kararından sistematik olarak kaçınması gerektiği sonucu çıkmaz — bu, kaçırılan azınlık vakalarını artırır. Kaçırılan bir azınlık vakasının pahalı olduğu yerlerde — tarama, güvenlik, dolandırıcılık — hesap farklı çıkar. Spam, dolandırıcılık, tıbbi tarama ya da içerik denetiminde hangi yönün daha zararlı olduğu bu tablodan çıkmaz.

Küçük not üzerine. Frénay ve Verleysen (2014) gürültüyü üçe ayırıyor: her şeyden bağımsız gürültü, yalnızca sınıfa bağlı gürültü ve örneğe bağlı gürültü. Bu deneyin simetrik rejimi birincisine, tek yönlü iki rejimi ikincisine örnek; üçüncüsünün maliyeti burada sınanmadı. Denetimde modelin işaretlediği zor yorumlar doğrulanmış etiket hatalarının dağılımını göstermiyor; yalnızca böyle bir kümelenmenin mümkün olduğunu düşündürüyor.

Dördüncü alıştırma gürültü-yönü deneyini dengeli bir veri kümesinde tekrarlatıyor.

Test etiketleri: tek sabit model, bozulmuş etiketler

Şimdi tersi: özgün veriyle bir kez eğitilmiş tek bir model, test etiketlerinin kontrollü biçimde çevrilmiş sürümlerine göre puanlanıyor.

### one fixed model, corrupted test labels, mean of 5 seeds

test noise      acc   macro-F1   F1(neg)   sd(macro-F1)
### noise here = share of ALL test rows, flipped uniformly at random
    0%        92.57      76.21     56.47          0.00
    1%        91.73      74.68     53.90          0.23
    2%        90.85      73.13     51.31          0.12
    5%        88.31      69.41     45.36          0.17
   10%        84.19      64.79     38.66          0.24
   20%        75.48      57.00     28.82          0.36

• “Temiz” ya da “özgün” test etiketi, yapay gürültü eklenmemiş sürüm demek; bağımsız olarak doğrulanmış gerçek etiket anlamına gelmiyor

Önceki deneyler eğitim etiketlerini yapay olarak değiştirdi ve sonucu özgün test etiketlerine göre ölçtü. Burada model hiç değişmiyor; değişen, puanlamada kullanılan etiketler.

Paydanın değiştiğine dikkat edin; çünkü “gürültü” kelimesi iki deneyde farklı iş görüyor. Önceki deneyde “%1 çevirme oranı” kaynak sınıfın yüzde biri demekti. Burada ise bütün test satırlarının yüzde biri demek ve her satır, etiketi hangisiyse öbür sınıfa çevriliyor — bu derlemin dengesinde her yüz çevirmenin kabaca 94’ü olumlu, 6’sı olumsuz satır.

Tekdüze çevirme, kontrollü bir dayanıklılık testi; test etiketlerinin gerçekte nasıl bozulduğuna dair bir iddia değil: gerçek test hataları zor satırlarda kümelenir.

Farklı etiket sürümlerine göre skorlar

sistem	macro-F1
TF-IDF 1–2 gram, özgün test etiketleri	76,21
TF-IDF 1–2 gram, %1 test etiketi gürültüsü	74,68
bag of words, özgün test etiketleri	73,51
TF-IDF 1–2 gram, %2 test etiketi gürültüsü	73,13
TF-IDF unigram, özgün test etiketleri	71,95
TF-IDF char_wb 3–5, özgün test etiketleri	70,39

%2’lik yapay gürültü aynı modeli 76,21’den 73,13’e indiriyor; bag-of-words’ün özgün etiketlerle aldığı 73,51’in altına. Buradan sıralamanın tersine döndüğü sonucunu çıkarmayın: iki model ortak bir etiket sürümünde karşılaştırılmıyor.

Gürültülü satırlar, 4. bölümde özgün etiketlerle hesaplanmış sıralama tablosuyla yan yana. Satırlar ortak bir ölçüyle sıralanamaz.

Model kötüleşmedi: bayt bayt aynı model, bayt bayt aynı kestirimleri yapıyor. 73,13 bir modelin gürültülü etiketlere karşı, 73,51 öbür modelin özgün etiketlere karşı ölçümü.

Tablonun gösterdiği şey, farklı etiket sürümlerinde raporlanan skorların doğrudan karşılaştırılamadığı: %2 etiket gürültüsü olan bir test kümesinde ölçülmüş 73,13 ile başkasının özgün etiketlerle ölçtüğü 73,51 arasındaki fark ne bir model sıralamasıdır ne de istatistiksel ayırt edilemezliğin kanıtı.

Aynı gürültülü etiketlerde sıra korunur mu?

• Beklenen değerde, \(\eta < 0{,}5\) oranındaki bağımsız ve simetrik çevirmeler için evet: bir sınıflandırıcının gürültülü doğruluğu \(\eta + (1 - 2\eta)\,a_{\text{temiz}}\)’dir ve bu \(a_{\text{temiz}}\)’de artandır. Gerçekleşmiş tek bir test kümesinde ise korunmayabilir
• Bu bölümün model çifti için ölçüldü: bigram TF-IDF ile bag-of-words aynı gürültülü test etiketleriyle 200 kez puanlandı
• Aradaki 2,69 puanlık fark %2 gürültüde ortalama 2,50’ye, %20 gürültüde 1,36’ya iniyor; 200 çekimin hiçbirinde sıra tersine dönmüyor
• Bu sonuç tekdüze ve bağımsız çevirmeler için geçerli; zor satırlarda kümelenen gerçek hatalar için değil

“Hangi test kümesi, hangi etiketlerle” sorusu her karşılaştırmada yer almalı.

Gerçekleşmiş tek bir test kümesi sırayı nasıl tersine çevirebilir. A’nın yalnızca 3. öğede, B’nin ise yalnızca 1. ve 2. öğelerde yanıldığı 100 öğelik bir küme alın — özgün etiketlerle A 99, B 98 alır. Şimdi 1. ve 2. öğelerin etiketlerini çevirin ve ikisini de o etiketlere karşı puanlayın: A 97’ye düşer, B 100’e çıkar.

Çalışmalar arasında karşılaştırma yaparken değerlendirme kümesini, etiket tanımını ve belirsizlik hesabını birlikte bildirin.

Bu slayt, bir önceki slaytın yanlış okunmasına verilen cevap. Bölümün girişi de kapanışı da bunu söylüyor: bu deney ortak bir test kümesinde sıralamanın tersine döndüğünü göstermez. Gösterdiği şey, etiket sürümü bildirilmeden yapılan çalışmalar arası karşılaştırmanın riskidir.

Küçük bir fark ne anlama gelir

• Test etiketleri skorun yorumunu belirler. Her gerçek etiket bağımsız olarak %2 olasılıkla çevrilirse, gerçeğe göre kusursuz bir modelin beklenen doğruluğu %98’dir — tek bir koşunun kesin üst sınırı değil
• %1 gürültüdeki 1,53 puan, tek bir modelin skorunun sistematik kayması (seed’ler arası sapma yalnızca 0,23); aynı test kümesinde bu kayma iki modele birden uygulanır
• Küçük bir farkı kırılgan yapan şey, iki modelin ayrıştığı satırlarda kaç etiket hatası bulunduğudur
• Ölçülen en elverişsiz durum: 4. bölümdeki 1,2 puanlık farkı silmek için, iki modelin ayrıştığı 231 satırdan en etkili biçimde seçilmiş 18 etiketin değişmesi yetiyor; 2,69 puanlık fark için bu sayı 41. Rastgele dağılmış hatalarda fark ayakta kalıyor
• Ayrıştıkları satırları mümkünse kör olarak okuyun; farkı ortak bir etiket sürümünde eşleştirilmiş bootstrap ile (doğruluk için McNemar testiyle) sınayın

Test etiketlerine ayrı bir kalite bütçesi ayırın.

Recht vd. 2019 · Beyer vd. 2020

Değerlendirme tasarımı için üç sonuç.

Birincisi: etiketleyicilerin yaptığı hataları tekrar etmeyi öğrenmiş bir model daha yüksek bir skor bildirebilir. Modelinizin hata oranı etiketlerinizinkine yaklaştığında yüksek bir skor, gerçek hedefe yakınlığı tek başına göstermez; sonraki iyileşmeler de görünmez olabilir.

İkincisi: gürültülü bir benchmark’taki küçük farklar, iki modelin ayrıştığı satırlar okunmadan sonuç değildir. Akıl yürütmeyi doğru kurun. Bağımsız ve simetrik gürültüde doğruluk farkı beklenen değerde yalnızca (1 − 2η) katına, yani %1 gürültüde 0,98 katına iner; macro-F1’de ilişki doğrusal değil, ama kayma yine farkı değil düzeyi taşır. Gerçek etiket hataları, modellerin ayrıştığı zor satırlarda kümelenebilir. Bu bölümün test kümesinde tek bir satırın etiketinin değişmesi, tek bir modelin macro-F1’ini 0,02–0,045 puan oynatıyor; iki model arasındaki fark üzerindeki etki ise hangi satırlarda ayrıştıklarına ve tahminlerine bağlı, sabit bir eşik yok. 1,2 puanlık fark, ayarlanmış TF-IDF (74,71) ile ham sayım (73,51) arasındaki fark. 18 ve 41, hataların en kötü yerlere düştüğü uç durumlar. Recht vd. (2019) ve Beyer vd. (2020), bu ciddiye alındığında ünlü bir benchmark’ta ne olduğunu belgeliyor.

Üçüncüsü: özellikle modellerin ayrıştığı satırları ve azınlık sınıfındaki satırları bağımsız olarak incelemek değerlidir. Eğitim, doğrulama ve nihai test için kalite ile örnek sayısını görevinizin maliyetlerine göre planlayın; tek bir 10.000/40.000 dağılımı genel bir kural değildir.

Sızıntı: sizi iyi gösteren hatalar

• Etiket yanlışlığından ayrı bir değerlendirme riski: eğitim sırasında görülmemesi gereken bir bilgi ya da test örnekleri modele ulaşırsa, raporlanan skor hedeflenen kullanım koşulunu temsil etmeyebilir
• Label leakage (etiket sızıntısı): modelin kullanım anında erişemeyeceği hedef bilgisinin girdiye karışması. Aynı metnin hem eğitimde hem testte bulunması ise daha geniş olan veri sızıntısı (data leakage) kapsamında, bölmeler arası bir bulaşmadır
• Gürültü skoru her zaman düşürmez, sızıntı da her koşulda yükseltmez: yönü kontrollü bir karşılaştırmayla ölçmek gerekir
• Bu derlem: 235.165 satır. Metne göre birebir tekilleştirme 1.657 fazla satırı çıkarıyor (%0,70); birden fazla kez geçen 1.055 farklı metin var (toplam 2.712 satır) ve bu grupların 77’si iki etiketi birden taşıyor

Buraya kadar her şey etiketlerin yanlış olmasıyla ilgiliydi. Etiket gürültüsü de sızıntı da raporlanan skorun hedefteki performansı temsil etmesini bozabilir.

Sayımlar üzerine: 1.657, yinelenme gruplarının sayısı değil. 4. bölüm bu tekilleştirmeyi bölmeden önce yapmıştı.

Yinelemelerin bir yan faydası da var: aynı metnin farklı etiketler taşıdığı her yineleme grubu bir inceleme adayıdır. Olası nedenler açık bir hata, farklı bir hedef, eksik bağlam ya da şema belirsizliğidir; sayı tek başına bir etiket gürültüsü oranı vermez. Dokuzuncu alıştırma o 77 gruptan örnekler okutuyor.

Tekilleştirmeden önce bölmek

### split-before-dedup, the ordinary careless mistake

rows removed by exact de-duplication           1,657   (0.70%)
test rows also present in train                   45   (0.45% of test)
near-duplicates after normalisation               34   (0.34% of test)

same model, same run:
  accuracy on the 45 leaked rows                93.33
  accuracy on the 9,955 clean rows              91.90
  macro-F1 on the leaked rows                   76.76
  macro-F1 on the clean rows                    74.08

• 2,68 puanlık fark ezberlemenin nedensel kazancı olarak okunamaz: 45 satırın 42’si olumlu ve ortanca uzunlukları 2 token (kalanlarda 19)
• %0,45’lik bir bulaşma manşet sayıyı oynatmak için çok küçük
• 34 yakın yinelemenin macro-F1’i 67,62, geri kalanınki 76,23: otuz dört satırda macro-F1 neredeyse anlamsızdır

Bu tekilleştirmeyi 4. bölüm bölmeden önce yapmıştı. Yapmamış olsaydı ne olurdu: bu koşu onu gösteriyor.

Ayrıca n = 45 ile macro-F1 oynaktır. 45 satırın 5’inde eğitimdeki kopya öbür etiketi taşıyor. Buradaki 74,08, bölümün başka yerlerinde kullanılan 76,21 baseline’ıyla da doğrudan karşılaştırılamaz: bu koşu bilerek bölmeden önce tekilleştirme yapmadı, yani başka bir bölme. Bulaşmanın varlığı satır eşleşmesiyle, skora etkisi ise ortak bir değerlendirme tasarımıyla gösterilir.

Yakın yinelemeler: 4. bölümdeki gibi tekilleştirilmiş bölmede büyük-küçük harf, noktalama ve boşluk normalleştirildiğinde, normalleştirilmiş hâli eğitimde de geçen 34 test satırı bulunuyor. Bu küçük ve seçilmiş altkümede farkın nedeni, metinler tek tek incelenmeden belirlenemez. Bölümdeki yeniden sayımda (normalleştirmenin ayrıntısına göre 32 satır) bu satırların 31’i olumlu ve ortanca uzunlukları 3 token (“güzel ürün”, “tavsiye ederim”, “teşekkürler hb”); yani olumsuz sınıfın F1’ini tek bir satır belirliyor.

Sızıntının değeri, kontrollü dozlarda

eğitime kopyalanan test satırı	doğruluk	macro-F1	F1 (olumsuz)
%0	92,57	76,21	56,47
%1	92,57	76,27	56,60
%2	92,62	76,41	56,86
%5	92,65	76,53	57,08
%10	92,82	77,14	58,20
%25	93,33	78,59	60,82
%50	94,00	80,89	65,07
%100	95,62	85,89	74,17

%10’luk doz, gerçek bir modelleme iyileştirmesinden beklenecek büyüklükte bir fark veriyor. Etki bu modele, bu veri kümesine ve bu kopyalama düzenine özgü: %10 başına sabit bir kazanç ya da doğal bir sızıntının etkisinin kestirimi değil.

Etkinin dozla nasıl değiştiğini görmek için test satırlarının kontrollü bir kesri eğitim verisine kopyalanıyor; vektörleştirici de bu genişlemiş eğitim kümesiyle yeniden eğitiliyor. Bu yapay bir bulaşmadır: doğal bölme hatalarıyla aynı dağılımı ya da aynı skor etkisini üretmek zorunda değildir.

%10 koşulu macro-F1’i 76,21’den 77,14’e, %100 koşulu 85,89’a çıkarıyor (9,68 puan; 4. bölümde TF-IDF unigram’dan bigram’a geçişin getirdiği 4,3 puanın iki katından fazla). Hangi satırların kopyalandığı da sonucu oynatıyor: %10 dozu üç farklı çekimle yeniden koşturulduğunda macro-F1 76,81 ile 77,13 arasında değişti.

Kontrollü kopyalama, makul görünen bir skor artışı üretebiliyor ve bu artış yalnızca skora bakarak ayırt edilemiyor. Bu yüzden beklenmedik ölçüde iyi bir sonucu bölme, yineleme ve ön işleme denetimleriyle doğrulayın.

Kontrol etmeye değer altı sızıntı

risk	denetim
Bölmeler arası birebir yinelemeler	Bölmeden önce metne göre gruplayın; aynı metin farklı etiketler taşıyorsa önce bu çelişkiyi inceleyin (bu derlemde 77 grup), ardından belgelediğiniz bir kuralla tekilleştirin
Yakın yinelemeler	Büyük-küçük harfi, noktalamayı ve boşlukları normalleştirin, sonra karşılaştırın; daha uzun metinlerde kelime n-gram’larının (“shingle”) Jaccard benzerliği ya da MinHash
Grup sızıntısı	Aynı kullanıcı, aynı belge, aynı hasta: satıra göre değil, gruba göre bölün. Bu derlemde yorumcu kimliği yok; bu sınırlılığı raporlayın
Zamansal sızıntı	Modeliniz gelecekteki veri üzerinde çalışacaksa test kümeniz de gelecekten olmalı
Ön işleme sızıntısı	Vektörleştiriciyi, ölçekleyiciyi ve öznitelik seçiciyi yalnızca ilgili eğitim kısmıyla eğitin — her katın içinde de (bu bölümün denetiminde 92 → 123)
Benchmark bulaşması	Halka açık test metinleri, fine-tuning (ince ayar) yaptığınız ön eğitimli modelin ön eğitim verisine girmiş olabilir

Kapoor & Narayanan 2023 · Magar & Schwartz 2022 · Oren vd. 2024

Kendi verinize ve kullanım düzeninize göre bu altı riski ayrı ayrı kontrol edin.

Birebir yinelemeler: df.drop_duplicates(subset="text") her metnin ilk satırını tutar; ya da aynı grubun tek bir bölmede kalmasını sağlayın.

Yakın yinelemeler: Jaccard benzerliği, ortak shingle sayısı bölü tüm shingle’lar; MinHash onun milyonlarca belgeye ölçeklenen hızlı bir yaklaşımı.

Grup sızıntısı gözden kaçabilir, çünkü satırlar birbirinden gerçekten farklı. Zamansal sızıntı: rastgele bir bölme, modelin geçen ayı kestirirken gelecek ayı görmesine izin verir.

Ön işleme: testte yalnızca dönüştürün — 4. bölümün pipeline’ında önce vec.fit_transform(train), sonra vec.transform(test) vardı.

Benchmark bulaşması (benchmark contamination): Kapoor ve Narayanan (2023) 17 bilimsel alandaki sızıntı türlerini katalogluyor; Magar ve Schwartz (2022) kontrollü ön eğitimle bulaşmanın skora etkisini ölçüyor; Oren vd. (2024) ise belirli bir veri kümesinin kara kutu bir modelin ön eğitim verisinde bulunup bulunmadığına ilişkin istatistiksel bir test öneriyor. Böyle bir testin varsayımlarını ve hata olasılıklarını raporlayın; sonucu tek tek metinlerin kesin köken kaydı gibi okumayın. LLM değerlendirmesinde bu, merkezî problem hâline geliyor.

Yedinci alıştırma: inandığınız bir benchmark sonucunu alın ve altı sızıntı türünün hepsi için denetleyin.

Sonraki bin etiketi nereye harcamalı

• Sabit bir etiketleme bütçesinde örnek sayısı ile her etiketin üretim ve denetim maliyeti arasında seçim yaparsınız: özenli etiketler daha pahalıdır, dolayısıyla daha azını alırsınız
• Bir maliyet örneği: etiketleme hızı saatte 200 kısa yorum olursa 40.000 etiket yaklaşık 200 kişi-saat ister. Gerçek hızı, planlamadan önce küçük bir pilotta ölçün
• Ücretlendirme ve süre hedefleri çalışma koşullarını belirler ve etiketleyicinin dikkatini etkileyebilir
• Görev tasarımı bir çalışma koşuludur: ATLA seçeneği ve karara bağlanmış örnekler, etiketleyicinin belirsiz bir vakada zorla ikili karar vermesini önleyebilir
• Bazı görevlerde — içerik denetimi, güvenlik etiketleme, istismar tespiti — maruz kalmanın kendisi bir maliyettir: yalnızca etiketleyici saatini değil, rotasyonu ve desteği de bütçeleyin

Veri kümenizin datasheet’ine kimin etiketlediğini, nasıl ve ne kadar ücretlendirildiğini, bilinmeyenlerle birlikte açıkça yazın.

Gray & Suri 2019 · Sambasivan vd. 2021 · Gebru vd. 2021

Izgaraya geçmeden önce “daha pahalı”nın ne demek olduğuna bir slayt, çünkü bu maliyetin öbür ucunda bir insan var. Bunlar yalnızca etik değil, mühendislik konusu.

Gerçek etiketleme hızı kılavuza, metin uzunluğuna, molalara ve uzlaştırmaya bağlıdır.

Parça başı ya da saatlik ödeme seçiminin kaliteye etkisini bölüm ölçmedi; adil ücreti, dinlenmeyi, açık bir kılavuzu, makul sayıda kontrol örneğini (cevabı önceden bilinen sorular, dikkat testleri, etiketleyiciler arası uyumun izlenmesi) ve bir itiraz/uzlaştırma yolunu birlikte planlayın. ATLA seçeneğinin ve karara bağlanmış örneklerin hıza, yorgunluğa ve uyuma etkisini pilotta ölçün.

Etiketleyici saatini bütçeleyip rotasyonu ve desteği bütçelemeyen bir proje eksik hesaplanmıştır.

Datasheet: bir veri kümesinin kökenini, bileşimini ve kullanım koşullarını belgeleyen form; dersin sonunda ayrıca ele alınıyor.

Bütçe ızgarası: etiket sayısına karşı gürültü

Aynı model, yedi bütçe büyüklüğü ve altı gürültü seviyesinde, her biri üç seed’le; 42 hücrenin hepsi aynı özgün test etiketleriyle değerlendirildi.

### macro-F1 by budget and label noise (clean test set, 3 seeds)

                 0%      5%     10%     20%     30%     40%
    500       59.44   58.56   55.57   51.18   47.40   42.12
  1,000       63.71   60.91   57.77   52.32   46.99   42.78
  2,500       68.76   64.17   60.03   53.36   48.23   42.93
  5,000       71.69   66.00   60.21   53.17   47.86   42.42
 10,000       73.72   66.47   61.81   54.46   48.53   42.88
 20,000       74.89   66.99   62.04   55.21   49.09   43.81
 40,000       76.21   68.18   63.20   55.74   49.34   44.16

• Bir satırı soldan sağa okuyun: gürültünün bedeli. Bir sütunu yukarıdan aşağı okuyun: hacmin ne satın aldığı. Çapraz okuyun: asıl bulgu

Her hücrede eğitim satırları rastgele çekiliyor, vektörleştirici yalnızca o satırlarla eğitiliyor ve her sınıfın etiketleri aynı oranla çevriliyor. Dördüncü bölümün öğrenme eğrisinde vektörleştirici 40.000 yorumun tamamıyla eğitilmişti; iki eğri bu yüzden doğrudan karşılaştırılamaz — orada bigram TF-IDF 1.000 etikette ortalama 51,7 alıyordu.

Izgara gürültünün yönünü ayırmıyor: her sınıfı aynı oranla bozan gürültü için ayrı bir deney. Son satır önceki tablonun simetrik satırına yakın (%5’te 68,18’e karşı 68,58, %10’da 63,20’ye karşı 63,34), ama ayrı koşulardan geliyor. Aynı hücreler onar seed’le yeniden koşturulduğunda standart sapma yarım puan dolayında çıktı (%5’te 68,38 ± 0,48; %10’da 62,66 ± 0,46); yani bu farklar seed’den seed’e değişkenlik düzeyinde. Gürültünüzün yönü belliyse önceki tabloya bakın.

Kitapta bu ızgaranın etkileşimli bir hâli var: bir etiket sayısı ve bir hata oranı seçiliyor, araç en az aynı skora daha az etiketle ulaşan bir hücre olup olmadığını gösteriyor. Para maliyeti o hesapta yer almıyor. Yüksek gürültülü eğriler çok erken düzleşiyor.

Izgarayı çapraz okumak, onar seed’le

çift	ızgarada (3 seed)	onar seed’le yeniden koşu	okuma
1.000 temiz etiket ile %10 gürültülü 40.000 etiket	63,71’e karşı 63,20: fark 0,51 puan	62,24 (sd 2,24; 59,29–65,44) ve 62,66 (sd 0,46)	bir beraberlik: yüz seed çiftinin 37’sinde küçük temiz küme önde
500 temiz etiket ile %20 gürültülü 40.000 etiket	59,44’e karşı 55,74	fark 3,9 puan	yüz seed çiftinin hepsinde aynı yönde

• Küçük kümenin skoru hangi 1.000 satırın çekildiğine çok bağlı
• Hacmin getirisi etiket gürültüsüne göre değişiyor: 500’den 40.000 etikete çıkmak %0 gürültüde 16,77, %40 gürültüde 2,04 macro-F1 puanı getiriyor

Izgara kalite–miktar dengesini gösterir. Para başına getiriyi değerlendirmek için etiketleme ve kalite kontrol maliyetlerinin ayrıca bilinmesi gerekir.

En çok özen isteyen okuma bu. Üç seed’le ilk çift, 1.000 temiz etiket lehine küçük bir fark gibi görünüyor. Onar seed’le ortalamaların sırası değişiyor ve küçük kümenin standart sapması 2,24 puan. Yani bu çift bir beraberlik.

İkinci çift bir beraberlik değil: fark yüz seed çiftinin her birinde aynı yönde.

İki satırın hiçbiri kalite ile miktar hakkında genel bir kural değil. Gürültü yapay, her sınıfı aynı oranla bozuyor; model ve derlem sabit. Seçim için gerçek etiket maliyeti, hedef dağılım ve bağımsız bir test kümesinin kalitesi de gerekir. Beşinci sezgi kontrolü ve sekizinci alıştırma bu ızgaraya geri dönüyor: ızgaradan okunan başa baş oranı bir ara değerlemedir.

Her etiket aynı değerde değil

m0 = clf().fit(X_seed, y_seed)                      # rastgele 200 etiket
unc = np.abs(m0.predict_proba(X_pool)[:, 1] - 0.5)  # 0,5'e olan uzaklık
picks = pool[np.argsort(unc)[:800]]                 # 0,5'e en yakın 800 örnek

### 1,000 labels, spent two ways

                              bulunan olumsuz    acc   macro-F1   F1(neg)
rastgele çekilen 1.000                     62  93.50      65.49     34.40
200 rastgele + 800 belirsiz                248  93.59      68.80     40.99

• Belirsizlik örneklemesi (uncertainty sampling; Settles 2009): sonraki etiketleri, küçük bir başlangıç kümesiyle kurulan modelin en kararsız kaldığı örneklerden seçer
• 62’ye karşı 248 olumsuz, dört katı; 65,49’a karşı 68,80 macro-F1, gözlenen fark 3,31 puan (üç seed’in ortalaması)
• Bunu kesin bir etki büyüklüğü olarak genellemeyin: kendi kurduğumuz protokolle yeniden koşuda fark, üçer seed’lik iki grupta 5,3 ve 5,2 puan. Yön aynı; büyüklük protokole ve seed’e duyarlı

Izgara, etiketlerin rastgele çekildiğini varsaydı. Böyle olması gerekmiyor. Belirsizlik örneklemesi, aktif öğrenmenin yaygın yöntemlerinden biri: küçük bir başlangıç kümesiyle bir model kurar ve sonraki etiketleri bu modelin en kararsız kaldığı örneklerden seçer.

Kod şematik: X_seed, y_seed, X_pool ve pool önceden hazırlanmış olmalı. Tek başına çalıştırılabilir bir deney değil, iş akışının özeti. En düşük unc, modelin puanı 0,5’e en yakın olan örnekleri seçer; puanların kalibrasyonu denetlenmedi.

Olumsuzlar üzerine: dört katını bulmak azınlık sınıfının kapsanmasını artırmış olabilir; ama seçim aynı zamanda metinlerin güçlüğünü ve karar sınırına yakınlığını da değiştiriyor. Olumsuz sınıf F1’indeki 6,59 puanlık farkın ne kadarının olumsuz örnek sayısından geldiği, ayrı bir karşılaştırma olmadan söylenemez.

Yeniden koşu üzerine: başlangıç modeli 40.000 metnin vektörleştiricisini, son model seçilen 1.000 satırla eğitilen bir vektörleştiriciyi kullandı. Üçer seed’lik iki grup 63,13 → 68,46 ve 61,96 → 67,19 verdi; bulunan olumsuz sayısı gruba göre ortalama 188 ile 290 arasında değişti. İlk tabloda seed başına eşleştirilmiş farklar bildirilmiyor.

Aktif öğrenme: üç sınır

• “Belirsizlikle seçilmiş 1.000 (68,80), rastgele 2.500’e (68,76) denk” daha alıntılanabilir ama daha zayıf bir iddia: iki tablo aynı baseline’ı paylaşmıyor — rastgele 1.000 etiket ızgarada 63,71, burada 65,49
• Belirsizlikle seçilen eğitim kümesi doğal test dağılımını temsil etmez: test kümesini asla böyle seçmeyin
• Küçük bir başlangıç kümesinin ne kadar yeterli olduğu göreve ve sınıf oranına bağlıdır; burada 20 ve 200 başlangıç etiketi karşılaştırılmadı
• Seçilen küme, onu seçen modele bağlı olabilir: doğrusal bir TF-IDF sınıflandırıcısı için belirsiz diye seçilmiş bir küme, ileride fine-tune edeceğiniz transformer için iyi bir küme olmayabilir

Lowell vd. 2019

İlk satır üzerine: iki rastgele baseline arasındaki bu 1,78 puanlık fark, 1.000 etiketlik hücrenin seed’den seed’e sapmasının (on seed’de 2,24 puan) içinde; yani üç seed’lik iki ortalamanın ayrışması için ayrı bir açıklama gerekmiyor, ama 2,5 katlık “indirimi” de bir ölçüm saymayın.

Test kümesi üzerine: onu bağımsız ve uygun bir örneklemeyle kurun.

Son satır üzerine: mimari değiştiğinde böyle bir kümenin aynı boyuttaki rastgele bir örneklemden daha kötü sonuç verdiği de ölçülmüş (Lowell, Lipton ve Wallace 2019); başka bir mimariye aktarımı, eşit bütçeli rastgele örneklemeye karşı sınayın. Sınıflandırma için fine-tuning ilerideki bir bölümün konusu.

Elle yazmadığınız etiketler

yöntem	ne yaparsınız	neye dikkat edilir
Weak supervision (zayıf denetim)	kısmi ve gürültülü etiketleme fonksiyonları yazıp birleştirirsiniz; bu bölümdeki sözlük kuralı böyle bir kaynak	bağımlılık: aynı anahtar kelime listesinin beş varyasyonu beş bağımsız kanıt sayılmamalıdır
Distant supervision (uzaktan denetim)	var olan bir sinyali vekil etiket olarak kullanırsınız: yıldız puanları, bir bilgi tabanı, kullanıcı tıklamaları	vekil, hedefin kendisi değildir: 3 yıldızlı bir yorum “nötr” demek değildir
LLM ile etiketleme	büyük bir modele prompt vererek verinizi etiketletirsiniz	modelin sistematik yanlılıkları; etiketler sonradan değerlendireceğiniz bir modelden bağımsız olmayabilir

Bu yöntemler insan etiketine duyulan ihtiyacı azaltabilir, ama kalite denetiminin yerini kendiliğinden almaz. İşe yarayıp yaramadığını bilmek için yine de insan etiketli bir test kümesine ihtiyacınız var.

Ratner vd. 2017 · Gilardi vd. 2023 · Ziems vd. 2024 · Panickssery vd. 2024 · Pangakis vd. 2023

Elle etiketleme, etiketlerin tek kaynağı değil ve 235.000 satırlık bir derlemde yüksek emek ister; kapsamını bütçenize ve hedefinize göre seçin.

Weak supervision: Snorkel gibi çerçeveler birçok fonksiyonun üzerine üretici bir model kurar; bu model kaynakların doğruluğunu ve aralarındaki bağımlılıkları, seçilen model varsayımları altında, fonksiyonların uyuşma ve çatışmalarından kestirir ve referans etiket gerektirmez. Bağımsızlık varsayan bir birleştirme modeli, birbirinin benzeri fonksiyonların “uzlaşısına” gereğinden fazla güvenir. Fonksiyonların bağımlılığını ve kapsamasını, etiketi doğrulanmış küçük bir örneklemde sınayın.

Distant supervision ucuz ve bol. 3 yıldızlı bir yorum, o platformun kullanıcıları üç yıldızla ne kastediyorsa odur; bu eşleme de platformdan platforma, yıldan yıla kayar.

LLM ile etiketleme: prompt ile etiketleme, tanımı açık bazı görevlerde uzman olmayan kitle çalışanlarıyla yarışmış ya da onları geçmiştir (Gilardi vd. 2023); öznel ya da kültürel açıdan yüklü görevlerde ise fark daralıyor, kimi zaman tersine dönüyor (Ziems vd. 2024). Maliyet karşılaştırmasına model çağrısının yanında denetim ve düzeltme emeğini de katın. Akılda tutulacak üç şey var. Birincisi, LLM etiketleri modelin sistematik yanlılıklarını devralır; bu yanlılıklar daha çok satır toplamakla kendiliğinden kaybolmaz, büyüklüklerini ve yönlerini ise görevinizde ölçmeniz gerekir. İkincisi, test kümenizi aynı model ailesi etiketlediyse, değerlendirmeniz kısmen modelinizin o aileyle uyumunu ölçer; modellerin kendi çıktılarını tercih edebildiği de gösterilmiş durumda (Panickssery vd. 2024). Üçüncüsü, LLM etiketlerini doğrulanmamış bir ölçüm aleti olarak ele alın ve ayrılmış, insanların bağımsız olarak incelediği bir örneklemde doğruluğu ve uyuşmazlığı raporlayın (Pangakis vd. 2023).

Türkçe için bir uyarı daha: yukarıdaki ölçümler İngilizce veride yapıldı; yazım hataları ve eksik Türkçe karakterler içeren kullanıcı metninde sonuç farklı olabilir, o yüzden bu ölçümü kendi Türkçe verinizde yapın.

Sentetik veri ve kalite filtresi

• Bir LLM ile eğitim metni üretmek (Self-Instruct ve türevleri) yaygın bir seçenek; yararı, üretim yönteminin yanı sıra seçmeye, filtrelemeye ve gerçek veriyle karşılaştırmaya bağlıdır
• Çeşitlilik eksikliği: 10.000 olumsuz yorum isteyip az sayıda şablonun varyasyonlarını alabilirsiniz
• Dağılım uyuşmazlığı: üretilen metin akıcı, noktalaması yerinde ve yazımı doğrudur; gerçek Türkçe ürün yorumları ise bunların hiçbirine uymaz
• Özyinelemeli bulaşma: model çıktısıyla eğitilmiş modellerin çıktısıyla eğitim yapmak kuşaklar boyunca bozulmaya yol açıyor; önce dağılımın kuyrukları kayboluyor. O deneyde sentetik veri gerçek verinin yerini alıyor; gerçek veri sentetiğin yanında biriktirildiğinde çöküş büyük ölçüde ortadan kalkıyor

Ana test kümesi, hedef kullanım dağılımından bağımsız olarak seçilmiş gerçek metinlere dayanmalıdır. Sentetik örnekler ek stres testlerinde kullanılabilir; ana performans kestiriminin yerine geçmez.

Wang vd. 2023 · Shumailov vd. 2024 · Gerstgrasser vd. 2024

Adıyla bilmeye değer üç sorun türü.

Çeşitlilik eksikliği: örnekleri elle inceleyin; birbirinden farklı n-gram’ların oranı ve embedding uzayı kapsaması (3. bölümün araçlarıyla) gibi ölçütler tek başına yeterli olmasa da tekrarları görünür kılar. Bu, özyinelemeli model çöküşünden ayrı bir sorundur.

Dağılım uyuşmazlığı: sinyalin önemli bir kısmı tam da bir üreticinin törpüleyip yok ettiği o dağınıklıkta saklı. Temiz sentetik metinle eğitilip gerçek metin üzerinde yayına alınan bir model, sizin kendi elinizle yarattığınız bir dağılım kaymasını aşarak genelleme yapmak zorunda kalır.

Özyinelemeli bulaşma: Shumailov vd. (2024) buna model çöküşü diyor. Önce nadir vakalar gidiyor; yani tam da modele ihtiyaç duyduğunuz vakalar. Gerçek veri atılmak yerine sentetiğin yanında biriktirildiğinde — pratikte olan da bu — test hatası sınırlı kalıyor (Gerstgrasser vd. 2024). Buradan çıkacak temkinli uygulama kuralı, “sentetik veri tehlikelidir” demekten daha dar: yeni sentetik kuşakların gerçek verinin yerini almasının riskini izleyin. Gerçek veriyle birlikte kullanmak ve döngünün dışında sabit, bağımsız bir değerlendirme kümesi tutmak bu riski ölçmeyi kolaylaştırır. Hangi oranın ve hangi filtrelemenin yararlı olduğunu kendi görevinizde deneyin.

Yazın: datasheet’ler ve model kartları

• Bu bölümün denetimleri, belgelenmesi gereken gözlemler üretti. Örnekleme biçimleri ve sınırlarıyla birlikte yazmazsanız kaybolurlar
• Datasheet: gerekçe, bileşim, toplama, ön işleme, kullanım, dağıtım ve bakımı kapsayan yapılandırılmış bir belge
• Model kartı (model card): aynı fikrin eğitilmiş modeller için karşılığı; performansın önemli gruplara göre ayrıştırıldığı bir belge
• İkisi de resmî bir standart değil, yerleşik birer uygulama; ikisi de çoğu zaman doldurulup geçilen bir uyum evrakı muamelesi görüyor
• Belgeyi, karar verenlerin yayından önce inceleyeceği bir aşamaya bağlayın

Gebru vd. 2021 · Mitchell vd. 2019 · Sambasivan vd. 2021

Bu bölümün belgelenmesi gereken gözlemleri: test yorumlarının %20,03’ünde bir karşıtlık bağlacı var; testte modelin en yüksek puanla itiraz ettiği 40 yorumun 20’si tek okuyucuya göre şema sorunu; eğitimde olumsuz etiketli satırların işaretlenme oranı olumlularınkinin on üç katı.

Datasheet’i yalnızca doldurulan bir form olarak bırakmayın. Veri kökenini, kullanım koşullarını ve bilinen sınırları, karar verenlerin yayından önce inceleyeceği bir aşamaya bağlayın.

Sambasivan vd. (2021), 53 uygulayıcıyla yaptığı görüşmelerde veri problemlerinin yaygın, pahalı ve modellemeye kıyasla sürekli hafife alınan şeyler olduğunu buldu — “herkes model işini yapmak istiyor, veri işini değil”. Belgeyi gerçekten kullanmak bu görünmezliği azaltabilir.

Sonraki iki slayt, bölümün bu derlem için yazdığı özeti gösteriyor.

Datasheet özeti: bileşim, lisans, etiketler

### datasheet özeti — Türkçe ürün yorumları

BİLEŞİM
  235.165 yorum; birebir yinelemeler çıkarıldıktan sonra 233.508
  (1.657 fazla satır, %0,70). %93,7 olumlu. 77 metin iki etiketi
  birden taşıyor. Ürün kategorisi, tarih ve yorumcu bilgisi yok.

LİSANS VE KÖKEN
  Özgün GitHub deposunun lisans dosyası ve kartın lisans bölümü
  CC BY-SA 4.0; Hugging Face sayfasının üst lisans alanı "unknown"
  (10 Ekim 2026'da kontrol edildi). Toplandığı site ve tarih
  belgelenmemiş.

ETİKETLER
  Kaynağı bilinmiyor; türetilme yolu belgelenmemiş (yıldız puanlarından
  türetilmiş olabilir). Ortada bir kılavuz belgesi yok. Etiketleyiciler
  arası uyumun ölçülüp ölçülmediği bildirilmemiş.

Bu bölümün derlemi için gerçekçi bir özet. Biçimine dikkat edin: bu taslak, ölçülen sayıları ve belgelenmemiş alanları aynı yerde görünür kılıyor.

ETİKETLER kısmını dersin başındaki altı soruyla birlikte okuyun: ikinci ve üçüncü sorunun — etiketleri kimin, nasıl ürettiği ve hangi soruyu cevapladıkları — buradaki cevabı “belgelenmemiş”.

Datasheet özeti: bilinen sınırlılıklar

BİLİNEN SINIRLILIKLAR
  - Test yorumlarının %20,03'ünde ama/fakat/ancak/lakin bağlaçlarından
    biri geçiyor; bu tek başına karışık duygu ya da ikili şema sorunu
    göstermez. Bu altkümede model macro-F1'i 72,11, kalanında 77,72.
  - Testte modelin en yüksek puanla itiraz ettiği 40 yorum tek okuyucu
    tarafından incelendi: 11 açık etiket çelişkisi, 20 şema sorunu.
    Bu oranlar derlemin tamamına genellenemez.
  - Rastgele seçilmiş 100 test satırında aynı okuyucu 0 açık çelişki ve
    karara bağlanamayan 7 satır buldu. Sıfır gözlem için yaklaşık %3'lük
    "üç kuralı" üst sınırı, bağımsız örnekleme ve aynı hata tanımı
    koşuluyla geçerlidir.
  - Seçilim yanlılığı: yorumcular kendi kendini seçiyor. Yorum
    yazmayanlar veride yok. (Ölçülmedi.)

Göreve özgü bağımsız bir doğrulama olmadan önerilmez: olumsuz sınıftaki hataların pahalı olduğu saha kullanımları. İyi bir datasheet, sayı verilemeyen sınırlılıkları da açıkça kaydeder.

Özetin geri kalanı. Önerilen kullanım: lisans koşulları içinde, Türkçe metin sınıflandırmanın öğretimi ve yöntem karşılaştırması. Önerilmeyen ya da ek doğrulama gerektiren: olumsuz sınıftaki hataların (kaçırılan ya da yanlış şikâyetlerin) pahalı olduğu saha kullanımları, göreve özgü bağımsız bir doğrulama olmadan önerilmez. Buradaki en yüksek skorlu modelin olumsuz sınıf F1’i yaklaşık 56; operasyonel bir karar için eşik ve hata maliyeti ayrıca değerlendirilmelidir.

“Önerilmeyen” kısmı birini durduracak kadar somut.

Emek nereye gidiyor: örnek bir sıra

faaliyet	sağlayabileceği bilgi	ne zaman yapılır
rastgele 100 satırı elle okumak	açık çelişki ve belirsizlik adayları; oran için geniş bir belirsizlik aralığı	veri alındığında, modellemeden önce
örnekli bir etiketleme kılavuzu yazmak	karar kurallarının ne kadar açık olduğu	toplu etiketlemeden önce
ortak bir örneklemde iki insanın uyumunu ölçmek	uyuşmazlık matrisi ve örneklemeye bağlı bir kappa	kılavuz pilotunda
out-of-fold işaretleme + elle okuma	incelenecek aday satırlar	eğitim verisi oluştuğunda
sızıntı denetimi	bölme ve ön işleme riskleri	bir sonucu raporlamadan önce

• Güçlü yanları — rastgele satır okumak, kılavuz yazmak ve bir uyum pilotu, sonradan görünmeyecek sorunları erken dönemde açığa çıkarabilir
• Zayıf yanları — out-of-fold işaretleme bir aday listesi verir ve otomasyon gibi hissettirir: inceleme ve uzlaştırma emeğini plana katın

Bir haftalık bir çalışmayı planlamak için bu faaliyetleri örnek bir sıra olarak kullanın. Süreleri ve getirileri bölüm ölçmedi; bölümdeki tabloda süre sütunu her satırda “pilotta ölçün” diyor, kendi pilotunuzda ölçmeniz gerekir.

Güçlü yanları: sızıntı denetimi de yanlış bir sayıyı yayımlama riskini azaltır. Hepsinin maliyetlerini ve getirilerini kendi görevinizde ölçün.

Zayıf yanları: bu bölümde listeyi incelemeden topluca silmek ya da çevirmek skoru artırmadı; işaretli satırları silmek, rastgele satır silmekten daha çok kaybettirdi.

Akılda kalması gerekenler

• Verinizi okuyun. Modellemeden önce, elle, yüz satır
• Şemayı da denetleyin. Tek okuyucunun incelediği, modelin seçtiği 40 test uyuşmazlığının 20’si şema sorunu, 11’i açık etiket çelişkisi sayıldı: kılavuzu gözden geçirmek için bir neden; derlemdeki oranların kestirimi değil
• Kaynak sınıfı ve etkilenen satır sayısını birlikte raporlayın. Olumsuzların %40’ını olumluya çevirmek macro-F1’i baseline’a yakın tuttu; olumluların %1’ini olumsuza çevirmek 2,04 puan düşürdü
• Kalite ile hacmi kendi bütçenizde birlikte sınayın. 500 temiz etiket, %20 yapay gürültülü 40.000 etiketin önüne geçti; 1.000 temiz etiket ile %10 gürültülü 40.000 etiket ise ayırt edilemedi
• Bir sonucu raporlamadan önce sızıntı denetimi yapın; beklenmedik ölçüde iyi bir sayıda özellikle

Model skoruyla birlikte değerlendirme etiketlerinin kalitesini de raporlamak gerekir.

4. bölüm temsilleri karşılaştırdı; bu bölüm o karşılaştırmanın neye göre ölçüldüğünü sordu. O bölümün en yüksek skorlu modeli sabit tutulup test etiketlerinin %2’si yapay olarak çevrildiğinde macro-F1 76,21’den 73,13’e indi. Bu sayı, başka bir modelin özgün etiketlerle aldığı 73,51’in altında; ama iki sayı farklı etiket sürümlerine ait. Dolayısıyla bu deney ortak bir test kümesinde sıralamanın tersine döndüğünü göstermez — iki model aynı gürültülü etiketlerle puanlandığında sıra 200 çekimin hiçbirinde değişmedi. Gösterdiği şey, etiket sürümü bildirilmeden yapılan çalışmalar arası karşılaştırmanın riskidir.

İlk satır üzerine: bu bölümdeki gözlemlerin çoğu satırları okuyarak ortaya çıktı.

Üçüncü satır üzerine: iki yüzde farklı sayıda satıra karşılık geliyor; aynı sayıda etiket çevrildiğinde de yön fark etti, ama sonuç başka görevlere doğrudan taşınmaz.

Dördüncü satır üzerine: seçim için gerçek etiket maliyeti, hedef dağılım ve bağımsız bir test kümesinin kalitesi de gerekir.

Bu kısıtlar modeller büyüdükçe gevşemiyor. Sonraki bölümler kat kat daha fazla kapasiteye sahip sistemleri tanıtıyor ve bunların her biri birilerinin imal ettiği etiketlerle eğitiliyor, birilerinin bulaştırmış olabileceği bir test kümesiyle değerlendiriliyor. Modeller değişiyor; değerlendirme etiketlerinin kalitesi sorunu değişmiyor, yalnızca görülmesi zorlaşıyor. Bu yüzden LLM değerlendirmesi ve üretimde değerlendirme bölümleri bu konuya geri dönmek zorunda kalıyor.

Sezgi kontrolü 1 / 5

İki bağımsız etiket kaynağı öğelerin %93’ünde anlaşıyor. Bu yeterli mi?

• İki kaynağın kendi marjinalleri bilinmeden cevaplanamaz
• Bu bölümdeki %93,42’lik ham uyum ve yaklaşık 0,27’lik kappa, referans etiket ile sözlük kuralı arasında hesaplandı; bir insan–insan uyumu değil
• Bağımsızlık varsayımı altında beklenen uyum \(p_e\) %90,99’du
• Dengelenmiş altörneklemde ham uyum %60,28’e indi; orada örneklenen metinler de farklıydı
• Ham uyum büyük ölçüde örneklemin özelliğidir: kappa’yı, marjinalleri ve karışıklık matrisini birlikte bildirin

Sınıfa bir dakika verin, sonra cevabı açın (tek tık).

Aynı sorunun mülakat sürümü şunu ekliyor: karışıklık matrisini ve iki kaynağın marjinallerini isteyin, kappa’yı kendiniz hesaplayın. Buradaki ikinci “etiketleyici” bir insan değil, bir sözlük kuralı; yani bu, aritmetiğin bir gösterimi, bir insan uyumu çalışması değil.

Sezgi kontrolü 2 / 5

Kaynak sınıfın %10’unu yanlış etiketlemek kaç macro-F1 puanına mal oldu?

• Olumsuzların %10’unu olumluya çevirmek macro-F1’i 76,21’den 76,42’ye götürdü: +0,21 — “sıfır” değil, ama seed sapmasının içinde
• Olumluların %10’unu olumsuza çevirmek 63,63’e götürdü: −12,58
• Sınıfa bağlı oran aynı, çevrilen satır sayısı değil: yaklaşık 253’e karşı 3.747, yani on beş kat
• Aynı sayıda etiket çevrildiğinde de yön fark ediyor (1.000 etikette 76,95’e karşı 71,11), ama aradaki uçurumun bir kısmı satır sayısından geliyor
• Kendi görevinizde yönü, miktarı ve sınıf bileşimini ayrı ayrı ölçün

Cevabı açmadan önce öğrencilere bir dakika verin (tek tık).

İyi cevap bir karşı soruyla başlar: hangi sınıftan hangi sınıfa ve toplam kaç satır? Olumsuzların %40’ını çevirme koşulu baseline’a yakın kaldı; bu yalnızca bu deneyin sonucu.

Sezgi kontrolü 3 / 5

A modeli test kümenizde B modelini 1,2 macro-F1 farkla geçiyor. A’yı yayına alır mısınız?

• Yalnızca 1,2 macro-F1 puanına bakarak değil
• Bu derlemde %1’lik yapay test etiketi gürültüsü tek bir modelin skorunu 1,53 puan kaydırdı; bu düzey kayması, iki modelin ortak bir etiket sürümündeki farkını kendiliğinden silmez
• Farkın etiket hatalarına duyarlılığı, iki modelin ayrıştığı satırlara bağlı: 4. bölümdeki 1,2 puanlık farkı, en elverişsiz biçimde yerleşmiş 18 etiket değişikliği siliyor
• A ile B’nin ayrıştığı satırları mümkünse kör olarak okuyun, etiket hatalarını düzeltin ve farkı eşleştirilmiş bootstrap ile sınayın

Cevabı açmadan önce öğrencilere bir dakika verin (tek tık).

Rastgele dağılmış gürültüde bigram TF-IDF ile bag-of-words’ün sırası hiç değişmedi. Soru “fark büyük mü” değil, “fark, iki modelin ayrıştığı satırlardaki etiket hatalarına dayanıyor mu”dur. Doğruluk için eşleştirilmiş test McNemar’dır.

Sezgi kontrolü 4 / 5

Otomatik bir denetim 40.000 eğitim etiketinizin 92’sini işaretliyor. Silelim mi?

• Hayır; önce okuyun
• Bu 92 satırı silme koşulunda macro-F1 76,21’den 75,72’ye indi — rastgele 92 satırı silmenin 20 çekimdeki en düşük değerinin (75,91) de altına; etiketleri çevirmek de baseline’ı geçmedi
• Ayrı bir test denetiminde seçilmiş 40 adayın yarısı tek okuyucuya göre şema sorunuydu; eğitimdeki 92 adayın dağılımı ise bilinmiyor
• İşaretleri otomatik bir silme kararı olarak değil, bir inceleme sırası olarak kullanın

Cevabı açmadan önce öğrencilere bir dakika verin (tek tık).

İki kümenin oranlarını birbirine taşımayın: 40 yorum test kümesinden, 92 satır eğitim kümesinden ve iki seçimin örnekleme çerçevesi farklı.

Sezgi kontrolü 5 / 5

Ya 5.000 özenli etiket ya da 40.000 ucuz etiket için bütçeniz var. Hangisi?

• Bu ızgarada 5.000 temiz etiket 71,69 aldı; 40.000 etiket %0 gürültüde 76,21, %5 gürültüde 68,18, %10’da 63,20
• İki ölçülmüş hücre arasında doğrusal ara değerleme başa baş oranını yaklaşık %2,8 verir: ölçülmüş bir eşik değil, okunan bir değer
• Gerçek bir karar için etiketlerin maliyeti, gürültünün mekanizması ve yönü, belirsizlik ve test kümesinin kalitesi de gerekir
• Hangisini seçerseniz seçin, test etiketlerine ayrı bir kalite bütçesi ayırın

Cevabı açmadan önce öğrencilere bir dakika verin (tek tık).

Sekizinci alıştırma aynı okumayı 2.500 temiz etiket için yaptırıyor: başa baş oranının hangi iki ölçülmüş düzey arasında kaldığını söyleyin, sonra arada doğrusal değişim varsayarak yaklaşık oranı hesaplayın ve ara değerleme diye işaretleyin. Tabloda etiket başına maliyet de test etiketlerindeki hata oranının bir kestirimi de yok.

Mülakat tarzı tartışma soruları

Bölümdeki yedi sorudan üçü. Cevaplarken tek bir oran vermek yerine yönü ve hangi bölmeyi söyleyin.

1. Etiketleme bütçesi eğitime mi, teste mi gider?
2. 40.000 satırın içinde incelenecek adayları nasıl bulursunuz?
3. İnsan etiketleyiciler uyuşmuyor. Ne yaparsınız?

Bölümdeki sorular, sayıları doğru kapsamda yorumlamayı ve henüz ölçülmemiş iddiaları ayırmayı sınar. Cevapların bir kısmı bu bölümün deneylerinde gözlendi; bir kısmı başka bir veri üzerinde doğrulama gerektirir. Diğer dört soru sezgi kontrollerini ve sızıntı listesini tekrar ediyor.

Güçlü bir cevap neleri söyler.

Birinci soru: ikisine de görevin maliyetlerine göre pay ayırın ve nihai testin etiket kalitesini bağımsız olarak denetleyin. Sonra %2 sonucu, koşuluyla birlikte: bu, iki farklı etiket sürümü arasında bir karşılaştırma; iki model aynı gürültülü etiketlerle puanlandığında sıra değişmedi.

İkinci soru: out-of-fold kestirimle; her katta bütün dönüşümler (vektörleştirici dâhil) yalnızca eğitim kısmıyla eğitilir ve modelin karşı sınıfa verdiği puan bir inceleme sırası olarak kullanılır. Sonra ölçümün öğrettikleri: 0,90 eşiği eğitimde 92 adayı işaretledi (vektörleştirici kat içinde eğitilince 123) ve 92 gerçek hata sayısı değildir; olumsuz etiketli satırların on üç kat yüksek işaretlenme oranı bir hata oranı farkı değil; işaretli satırları silmek skoru rastgele satır silmekten daha çok düşürdü (75,72’ye karşı ortalama 76,15).

Üçüncü soru: önce ortak örnekleri okuyup uyuşmazlık nedenlerini ayırın: kılavuz boşluğu mu, kılavuzun farklı uygulanması mı, metnin kendisinin belirsizliği mi, hedef tanımının sınırı mı. Bu bölümde iki insanın uyuşmazlığı ölçülmedi; seçilmiş 40 test yorumunda tek okuyucu 20 şema sorunu kaydetti — karışık yorumlar, kesilmiş metinler, ürün yerine teslimattan söz edenler. Karışık ya da uygulanamaz gibi bir sınıf eklemek bir seçenek olabilir; ama yeni bir hedef tanımı, kılavuz, sınıf dağılımı ve yeniden değerlendirme gerektirir. Uyum düşük olduğunda soru, etiketleyicilerin mi tutarsız yoksa etiket kümesinin mi eksik tanımlı olduğudur; bunu ancak okuyarak ayırabilirsiniz.

Önerilen biçim: ikili gruplar, her gruba bir soru, iki dakika.

Uygulama ve alıştırmalar

Uygulama: küçük bir etiketleme projesi, baştan sona

• İkili çalışın: iki dengeli 100’lük tur, her turda referans etiketi olumsuz 50 ve olumlu 50 örnek
• Kılavuz v0 (yalnızca sınıf tanımları), sonra ilk tur, bağımsız olarak; ATLA seçeneğine izin verin
• Ham uyum, karışıklık matrisi ve bootstrap aralığıyla birlikte Cohen kappa’sı
• Her uyuşmazlığı birlikte okuyun, kılavuz v1’i yazın, ikinci turu etiketleyin, referans etiketlerle karşılaştırın

Alıştırmalar: bölümde dokuz tane

• Açık bir veri kümesi için altı soru; iki ayrı marjinalle elle kappa
• Kendi verinizde rastgele-100 denetimi ve gürültü-yönü deneyi
• Ön işleme her katın içinde eğitilerek out-of-fold işaretler; inandığınız bir sonuç için sızıntı denetimi
• Bütçe ızgarasından başa baş oranı, ara değerleme diye işaretlenmiş

Kendi kappa’nızı bu bölümdeki 0,2698 ile karşılaştırmayın: o, insan–insan değil referans etiket–sözlük karşılaştırması. Metnin tamamı: kitabın 5. bölümü.

Uygulamada teslim edilecekler: kılavuz v1, iki karışıklık matrisi, aralıklarıyla birlikte iki kappa değeri, uyuşmazlık gruplarının listesi ve şemanızın temsil edemediği şeyi anlatan bir paragraf.

Okunmaya değer ayrıntılar. Turlar neden dengeli: düz rastgele 200 örnekte yalnızca on üç kadar olumsuz olurdu. Dengeli 200 örneği karıştırıp ikiye bölmek yetmez, çünkü yarılar tam 50/50 çıkmayabilir ve iki turun kappa’sı bileşim farkı yüzünden de ayrışır. Bu amaçlı denge derlemin doğal sınıf oranını temsil etmez; buradan çıkan kappa seçtiğiniz orana aittir. ATLA kararlarını nasıl saydığınızı da yazın: ayrı bir kategori mi, hesap dışı mı.

Turlar arasındaki değişimi raporlayın, ama yalnızca kılavuza bağlamayın: ikinci turda kılavuzla birlikte metinler ve sizin deneyiminiz de değişti. Kılavuzun katkısını ayırmak karşılaştırmalı bir tasarım ister; örneğin aynı öğeleri v0 ile etiketleyen ikinci bir çift.

Referans etiketlerle karşılaştırırken: iki kişinin uyuşması referansı kendiliğinden yanlış yapmaz; üçüncü bir bağımsız değerlendirme ya da uzlaştırma olmadan tek bir “doğru” etiketi zorlamayın.

Alıştırmalar bölümde; deneylerin kodu bölümün notebook’unda.