Metni token'lara ayırma

Bir model, ham harfleri veya bütün kelimeleri doğrudan alamaz. Metin önce token adı verilen parçalara ayrılır: eğitimden önce oluşturulan kelime hazinesi adlı sabit bir listeden alınan parçalar. Her girdinin bir tam sayıdan oluşan Kimliği vardır. Modelin aldığı şey, tam sayılardan oluşan bir listedir.

Bir token, sık kullanılan bütün bir kelime, daha uzun bir kelimenin bir parçası, noktalama işareti veya bir rakam grubu olabilir. Bir kelimenin önündeki boşluk genellikle kelimeye eklenir; bu nedenle “cat” ve “ cat” (boşluklu) normalde farklı kimliklere sahip farklı token'lardır. Büyük harfler de önemlidir: “Cat” yine başka bir token'dır.

Aşağıda token'lar arasında | işareti bulunan örnek amaçlı ayırmalar yer alıyor. Bunlar fikri göstermek için uydurulmuştur; gerçek token'laştırıcılar farklı şekilde ayırır.

• cat, çok sık kullanıldığı için tek tokendir.
• un|believ|ably üç tokendir: kelimenin tamamı kelime hazinesinde yoktur, ancak parçaları vardır.
• Rastgele bir harf dizisi, her harfe yaklaşık bir tane düşecek şekilde birçok küçük tokene ayrılır.

Bir kelime hazinesi nasıl oluşturulur? Popüler bir yöntem bayt çifti kodlamasıdır (BPE). Bu fikir veri sıkıştırmadan gelir; Sennrich ve çalışma arkadaşları (2016) bu yöntemi sinirsel çeviri için uyarladı. Yöntem şöyledir:

• Kelime hazinesine tek karakterlerle başla.
• Büyük bir metindeki komşu parçalardan oluşan her çifti say.
• En sık kullanılan çifti tek bir yeni parçada birleştir ve kelime hazinesine ekle.
• Kelime hazinesi istenen boyuta ulaşana kadar tekrarla.

Küçük bir metin koleksiyonunda deneyelim: low ×3, slow ×2, newer ×4, wider ×2.

• En sık kullanılan çift: e + r, 6 kez (“newer” içinde 4, “wider” içinde 2). Bunu er ile birleştir.
• Sonraki olarak l + o ve o + w çiftlerinin ikisi de 5 kez geçiyor. Eşitlikleri sabit bir kural bozar; lo çiftini seç.
• Ardından lo + w çifti 5 kez geçiyor. Bunu low ile birleştir.

Üç birleştirmeden sonra kelimeler low, s|low, n|e|w|er ve w|i|d|er olur. Sık kullanılan parçalar tek token hâline gelir, daha nadir kelimeler ise parçalara ayrılmış olarak kalır.

Sıradan İngilizce metinler için pratik bir kural: bir token yaklaşık dört karakterden veya kabaca bir kelimenin dörtte üçünden oluşur; bu nedenle 100 token yaklaşık 75 kelimedir. Bu yalnızca yaklaşık bir kılavuzdur. Tokenizer'a, konuya ve dile göre değişir.

Tokenizer'ın eğitim metninde nadir bulunan dillerdeki metinler ile kod, alışılmadık isimler ve uzun sayılar, aynı içerik için daha fazla token gerektirir. Daha fazla token, daha fazla hesaplama ve kullanılan bağlam penceresinin daha büyük bir bölümünü ifade eder. Bağlam penceresi, modelin aynı anda alabileceği maksimum token sayısıdır ve kelimelerle değil, tokenlarla sayılır.