تقسيم النص إلى وحدات نصية.

لا يستطيع النموذج التعامل مباشرةً مع الأحرف الخام أو الكلمات الكاملة. يُقسَّم النص أولًا إلى رموز: وهي أجزاء مأخوذة من قائمة ثابتة تُسمّى المفردات، وتُبنى قبل التدريب. ولكل إدخال معرّف صحيح. وما يستقبله النموذج هو قائمة من الأعداد الصحيحة.

يمكن أن يكون الرمز كلمة كاملة شائعة، أو جزءًا من كلمة أطول، أو علامة ترقيم، أو مجموعة أرقام. وعادةً ما تكون المسافة التي تسبق الكلمة ملتصقةً بها، لذلك فإن “قطة” و“ قطة” (مع مسافة) تكونان عادةً رمزين مختلفين لهما معرّفان مختلفان. كما أن الأحرف الكبيرة مهمة أيضًا: فكلمة “قطة” بحرف كبير تُعدّ رمزًا آخر.

إليك تقسيمات توضيحية، مع وجود | بين الرموز. هذه التقسيمات افتراضية لتوضيح الفكرة؛ إذ تقسم أدوات ترميز الرموز الحقيقية النص بطريقة مختلفة.

• cat رمز واحد، لأنه شائع جدًا.
• un|believ|ably ثلاثة رموز: الكلمة ليست موجودة كاملةً في المفردات، لكن أجزاءها موجودة.
• تتجزأ سلسلة عشوائية من الأحرف إلى رموز صغيرة كثيرة، يكون كل رمز منها تقريبًا حرفًا واحدًا.

كيف تُبنى المفردات؟ إحدى الطرق الشائعة هي ترميز أزواج البايتات (BPE). تعود الفكرة إلى ضغط البيانات؛ وقد طوّرها Sennrich وزملاؤه (2016) لتناسب الترجمة العصبية. والخطوات هي:

• ابدأ بأحرف مفردة بوصفها المفردات.
• احسب عدد مرات ظهور كل زوج من الأجزاء المتجاورة في نص كبير.
• ادمج الزوج الأكثر تكرارًا في جزء جديد واحد، وأضِفه إلى المفردات.
• كرر ذلك حتى تصل المفردات إلى الحجم المطلوب.

جرّبه على مجموعة بيانات صغيرة: `low` ×3، `slow` ×2، `newer` ×4، `wider` ×2.

• الزوج الأكثر تكرارًا: `e + r`، ظهر 6 مرات (4 مرات في `newer` ومرتين في `wider`). ادمجه ليصبح er.
• بعد ذلك، ظهر كلٌّ من `l + o` و`o + w` 5 مرات. تكسر قاعدة ثابتة التعادل؛ لذا اختر lo.
• ثم ظهر `lo + w` 5 مرات. ادمجه ليصبح low.

بعد ثلاث عمليات دمج، تصبح الكلمات low وs|low وn|e|w|er وw|i|d|er. أصبحت المقاطع المتكررة رموزًا مفردة، بينما تبقى الكلمات الأقل تكرارًا مجزأة إلى أجزاء.

قاعدة تقريبية للنصوص الإنجليزية العادية: يتكوّن الرمز الواحد من نحو أربعة أحرف، أو ما يقارب ثلاثة أرباع الكلمة، ولذلك فإن 100 رمز تساوي نحو 75 كلمة. هذه مجرد إرشادات تقريبية. فهي تتغير حسب مُجزِّئ الرموز والموضوع واللغة.

النصوص المكتوبة بلغات نادرة في نصوص التدريب الخاصة بمُجزِّئ الرموز، إضافةً إلى الشيفرة والأسماء غير المعتادة والأعداد الطويلة، تحتاج غالبًا إلى رموز أكثر للمحتوى نفسه. ويعني المزيد من الرموز مزيدًا من العمليات الحسابية واستهلاك جزء أكبر من نافذة السياق. نافذة السياق هي الحد الأقصى لعدد الرموز التي يستطيع النموذج استيعابها دفعةً واحدة، ويُقاس هذا العدد بالرموز لا بالكلمات.