Uygulamalı Doğal Dil İşleme
Token’lardan Ajanlara — mühendisler ve istatistikçiler için uygulamalı bir kurs
Hoş geldiniz
Bilgisayar mühendisi olmayan mühendisler ve istatistik öğrencileri için, ODTÜ'de verilen canlı bir dersten doğan, ücretsiz, uygulamalı ve etkileşimli bir doğal dil işleme kitabı.
Yukarıdaki başlık süs değil — kitabın ilk dersi. Bir dil modeli metni kabaca bu şekilde okuyor: metin alt kelime token’larına ayrılıyor ve diğer her şey — embedding’ler (gömmeler), attention (dikkat), üretim — o akışın üzerine kuruluyor. Başlıktaki bölünme temsilîdir; gerçek tokenizer’ların Türkçeyi nasıl böldüğünü Ön Eğitim ve Model Manzarası bölümü ölçüyor. Bu kitabın sonunda o parçalara ne olduğunu bilecek ve onları işleyen modellerin üzerine çalışan sistemler kurmuş olacaksınız.
İçindekiler
Temeller
Yapay sinir ağı tabanlı dil modelleri
Temel NLP görevleri
LLM'lerle çalışmak
Ajan tabanlı sistemler
Üretimde ajanlar
Otuz dokuz bölümün ve altı ekin tamamı Türkçede. ⚡ ile işaretli bölümler tarayıcıda çalışan etkileşimli araçlarla geliyor.
Bu kitap nasıl çalışır
Bilgisayar bilimi değil, istatistik varsayıyor. Bir regresyon tablosunu okuyabiliyorsanız bütün ön koşullara sahipsiniz. Yeni düzenekler, zaten bildiğiniz şeylere benzetilerek tanıtılıyor — attention öğrenilmiş bir ağırlıklı ortalama, embedding’ler koordinatlar, fine-tuning (ince ayar) yeniden kestirim.
Etkileşimli. Temel fikirler tümüyle tarayıcınızda çalışan araçlarla geliyor — bir sıcaklık kaydırıcısını sürükleyin, bir olasılık dağılımının kendini yeniden biçimlendirmesini izleyin. Kurulum yok, GPU yok. Yukarıdaki başlığın arkasındaki fikri adım adım oynatan etkileşimli byte-pair encoding aracından başlayın; ileride sizi neyin beklediğini görmek için etkileşimli attention head aracına ve örnekleme politikası aracına de göz atın.
Çalıştırılabilir. Kod bölümleri gerçekten çalışan Python koduyla geliyor. Colab not defterleri henüz yayımlanmadı; şimdilik kod bloklarını kopyalayıp kendi ortamınızda çalıştırın ve bir şeyleri bozun (Ortam Kurulumu ekine bakın).
Canlı. Alan ilerliyor; kitap onunla birlikte ilerliyor. Ziyaretler arasında neyin değiştiğini görmek için depoyu izleyin. Bir hata mı buldunuz? Her sayfada bir Bu sayfayı düzenle bağlantısı var — düzeltmeler pull request olarak geliyor.
Türkçe sürüm üzerine
Bu, İngilizce kitabın bir eki ya da ham çevirisi değil; ayrı bir baskıdır: örnekler mümkün olan her yerde Türkçedir, terminolojinin tek doğruluk kaynağı TR↔︎EN sözlüktür ve kod çıktıları, kendi makinenizde göreceğinizle aynı kalsın diye kodun ürettiği biçimde bırakılır. Ayrıntılar ve gerekçeleri için Önsöz’e bakın.
Eğitmenler için
Kitap bilerek bir dönemden büyük. On dört haftalık ders planı (Ek E — Ders Planı ve Hafta Haritası) otuz dokuz bölümün yirmi dördünü kapsıyor: Kısım I’in tamamı, II ve IV’ün çoğu, III ve V’in yarısı, VI’dan güvenlik ve korkuluk bölümleri, bir de bitirme vaka çalışması. Kesilen on beş bölüm, gerekçeleriyle birlikte aynı ekte listeleniyor. V–VII. kısımlar, aynı malzemeden ajan odaklı ya da üretim odaklı ikinci bir ders çıkarılabilsin diye kuruldu. Bitirme projesi görev tanımı ve değerlendirme ölçütleri için bkz. Ek D — Bitirme Projesi Görev Tanımı ve Değerlendirme Ölçütleri. Metin CC BY 4.0, kod MIT lisanslı: yeniden kullanın, çevirin, karıştırın — yalnızca atfı koruyun.
Güncellemeler
Bölüm bölüm değişiklik kaydı İngilizce sürümün güncelleme günlüğünde tutuluyor; Git geçmişi ise iki baskı için de tam bir denetim izi. Atıf verirken sürümü ve erişim tarihini yazın; nasıl yapılacağı Atıf, Lisans ve Künye sayfasında.