كم «رمزًا» تكلّفك العربية؟ تجربة على ستة مقسِّمات نصوص

لو أرسلت الرسالة نفسها إلى نموذج لغوي مرة بالعربية ومرة بالإنجليزية، فلن تدفع بالضرورة المبلغ نفسه. السبب ليس طول الرسالة بالكلمات، بل عدد الرموز (tokens) التي يقطّع إليها النموذج النص قبل أن يقرأه. وهذه الرموز هي وحدة الحساب في معظم واجهات البرمجة المدفوعة، وهي أيضًا ما يملأ نافذة السياق.

أجرينا في 14 أكتوبر 2026 تجربة صغيرة لقياس الفرق: عشر جمل عربية كتبها فريق التحرير، ولكل منها ترجمة إنجليزية مكافئة، مررناها على ستة مقسِّمات نصوص (tokenizers) مختلفة. النتيجة باختصار: الفجوة بين العربية والإنجليزية حقيقية، لكن حجمها يتغير كثيرًا من مقسِّم إلى آخر، من نحو 1.3 ضعف إلى أكثر من 3.7 أضعاف.

لماذا يهمك عدد الرموز أصلًا؟

النموذج اللغوي لا يرى الكلمات كما نراها. هو يحوّل النص أولًا إلى سلسلة من الرموز، وقد يكون الرمز كلمة كاملة أو جزءًا من كلمة أو حرفًا واحدًا أو علامة ترقيم. شرحنا هذه الفكرة بتفصيل أكبر في مقال كيف تعمل النماذج اللغوية الكبيرة.

تقول صفحة المساعدة الرسمية لدى OpenAI إن أسعار الإدخال والإخراج تُحسب بالرموز، وإن تقدير «100 رمز تقريبًا تساوي 75 كلمة» يخص الإنجليزية، وإن اللغات الأخرى قد تكون لها علاقة مختلفة بين الحروف والكلمات والرموز. هذا بالضبط ما أردنا قياسه للعربية.

للرموز أثران عمليان مباشران:

• التكلفة: إذا كان النص العربي يحتاج رموزًا أكثر، فكل طلب عبر واجهة البرمجة (API) يكلف أكثر بالنسبة نفسها.
• نافذة السياق (context window): الحد الأقصى لما يقرؤه النموذج في الطلب الواحد يُقاس بالرموز لا بالصفحات، فالملف العربي الطويل قد يملأ النافذة أسرع من نظيره الإنجليزي.
• السرعة: توليد رموز أكثر يعني وقتًا أطول للإجابة، وهو ما يلاحظه من يبني روبوت دردشة لخدمة العملاء.

الظاهرة نفسها موثقة بحثيًا. ورقة «Language Model Tokenizers Introduce Unfairness Between Languages» المنشورة في مؤتمر NeurIPS 2023 بيّنت أن ترجمة المحتوى نفسه إلى لغات مختلفة قد تُنتج أعداد رموز تختلف حتى 15 ضعفًا في بعض الحالات، وأن هذا ينعكس على التكلفة وزمن الاستجابة ومساحة السياق.

كيف أجرينا التجربة؟

كتبنا عشر جمل عربية أصلية بالفصحى المعاصرة تغطي مواقف عمل مألوفة: بريد داخلي، ورد خدمة عملاء، وخبر، وشرح تقني، ونصيحة صحية، وبند قانوني، وإعلان تسويقي، وتكليف دراسي، وجملة مالية، وإعلان وظيفة. ثم كتبنا لكل جملة ترجمة إنجليزية بالمعنى نفسه. بلغ مجموع النص العربي 153 كلمة و915 حرفًا، والإنجليزي 183 كلمة.

استخدمنا ستة مقسِّمات:

• مقسِّما OpenAI المسميان cl100k_base وo200k_base عبر مكتبة tiktoken الإصدار 0.14.0.
• مقسِّم Qwen2.5-7B-Instruct ومقسِّم Mistral-7B-Instruct-v0.3 عبر مكتبة Hugging Face tokenizers الإصدار 0.23.3.
• مقسِّم Llama 3.2 من ملف tokenizer.json في نسخة unsloth/Llama-3.2-1B-Instruct على Hugging Face، وهو المقسِّم نفسه المستخدم في Llama 3.2.
• مقسِّم Gemma 2 من نسخة unsloth/gemma-2-2b-it.

في كل الحالات عطّلنا إضافة الرموز الخاصة (add_special_tokens=False) حتى نقيس النص وحده. وبحسب ملف model.py في المستودع الرسمي لمكتبة tiktoken حتى أكتوبر 2026، فإن o200k_base هو المقسِّم المرتبط بعائلة GPT-4o وبنماذج أحدث مثل GPT-4.1 وo1 وo3 وGPT-5، بينما يرتبط cl100k_base بـ GPT-4 وGPT-3.5-turbo.

هذا هو جوهر الشيفرة التي استخدمناها، ويمكنك تكرارها على نصوصك:

import tiktoken
from tokenizers import Tokenizer

ar = "السلام عليكم، أرجو إرسال تقرير المبيعات الشهري قبل نهاية يوم الخميس."
en = "Hello, please send the monthly sales report before the end of Thursday."

enc = tiktoken.get_encoding("o200k_base")
print(len(enc.encode(ar)), len(enc.encode(en)))

tok = Tokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
print(len(tok.encode(ar, add_special_tokens=False).ids))

النتائج الرئيسية: الفجوة تختلف من مقسِّم لآخر

الجدول التالي يجمع عدد الرموز للنصوص العشرة مجتمعة. عمود «النسبة» يعني عدد الرموز العربية مقسومًا على الإنجليزية: كلما اقترب من 1 كانت العربية أقرب إلى الإنجليزية في التكلفة.

أول ما يلفت النظر أن الإنجليزية مستقرة تقريبًا: بين 203 و218 رمزًا في كل المقسِّمات، أي نحو 1.1 رمز للكلمة. أما العربية فتتراوح بين 272 و817 رمزًا للنص نفسه، أي أن أسوأ مقسِّم في عينتنا احتاج ثلاثة أضعاف رموز أفضلها.

الملاحظة الثانية أن الانتقال من cl100k_base إلى o200k_base خفّض رموز النص العربي من 641 إلى 272، أي بنحو 58%، بينما بقيت رموز الإنجليزية شبه ثابتة. بعبارة أخرى، المقسِّم الأحدث بمفردات أكبر يتعامل مع العربية بكفاءة أعلى بكثير في هذه العينة.

الملاحظة الثالثة أن مقسِّمي Mistral v0.3 وcl100k_base يقطّعان الكلمة العربية الواحدة إلى أربعة أو خمسة رموز في المتوسط، وهو ما يقترب من التقطيع حرفًا بحرف تقريبًا. في المقابل كانت Gemma 2 وQwen2.5 وLlama 3.2 في منطقة وسطى قريبة من رمزين للكلمة.

وعلى مستوى الجمل المنفردة مع o200k_base، تراوحت الجملة العربية بين 23 و33 رمزًا مقابل 17 إلى 23 رمزًا لنظيرتها الإنجليزية. وكانت الجملة القانونية والجملة التقنية الأعلى رموزًا، ربما لطول كلماتهما المركبة مثل «المستحقات» و«المتأخرة».

التشكيل واللهجة والأرقام: ثلاث مفاجآت

بعد المقارنة الأساسية، اختبرنا ثلاثة متغيرات يواجهها المستخدم العربي يوميًا، كل منها على جملة واحدة.

التشكيل الكامل يضاعف الرموز

أخذنا البند القانوني «يحق للمستأجر إنهاء العقد بإشعار كتابي مدته ثلاثون يوما...» وكتبناه مرة بلا تشكيل ومرة مشكولًا بالكامل.

في كل المقسِّمات زاد عدد الرموز بين 1.8 و4.1 أضعاف. واللافت أن المقسِّمات الأفضل في النص غير المشكول، مثل o200k_base وQwen2.5، هي التي خسرت أكثر نسبيًا عند التشكيل؛ لأن مفرداتها تعلمت الكلمات العربية كما تُكتب عادة بلا حركات، فإذا ظهرت الحركات تفككت الكلمة إلى قطع صغيرة.

اللهجة المصرية لم تكلف أكثر

قارنا جملة فصيحة «أرجو أن ترسل لي الملف اليوم لأنني أحتاجه في الاجتماع غدًا صباحًا.» بمقابلها المصري «ياريت تبعتلي الملف النهارده عشان محتاجه في الاجتماع بكرة الصبح.». النتائج كانت متقاربة جدًا: 22 مقابل 22 في o200k_base، و23 مقابل 25 في Qwen2.5، و24 مقابل 22 في Llama 3.2 وGemma 2، و52 مقابل 44 في cl100k_base، و60 مقابل 55 في Mistral.

أي أن كتابة الطلب بالعامية لم تكن أغلى في هذا المثال، بل كانت أرخص قليلًا في بعض المقسِّمات. لكن هذه جملة واحدة ولهجة واحدة، فلا نعمم النتيجة على اللهجات المغاربية أو الخليجية.

الأرقام الهندية أغلى في أغلب المقسِّمات

كتبنا جملة «رقم الطلب 4582913 وتاريخه 2026/10/14 والمبلغ 1250.75 جنيه.» مرة بالأرقام الغربية ومرة بالأرقام الهندية المستخدمة في المشرق (٤٥٨٢٩١٣).

في خمسة مقسِّمات من ستة كانت الأرقام الهندية أغلى، بزيادة تراوحت بين نحو 38% و83%. الاستثناء الوحيد كان Gemma 2 التي احتاجت 37 رمزًا مقابل 39، أي أنها عاملت الشكلين بتكلفة متقاربة.

ماذا تعني النسبة لتكلفتك؟ مثال افتراضي

النسبة بين العربية والإنجليزية ليست سعرًا، لكنها مضاعف تطبقه ذهنيًا على أي سعر. إذا كانت النسبة 1.34 فالنص العربي يستهلك نحو 34% رموزًا أكثر من مكافئه الإنجليزي على المقسِّم نفسه، وبالتالي يكلف 34% أكثر على النموذج نفسه.

لنفترض أن شركة ناشئة في الرياض تدير مساعدًا لخدمة العملاء يعالج شهريًا ما يعادل 50 مليون رمز لو كانت المحادثات بالإنجليزية، ولنفترض سعرًا وهميًا قدره دولار واحد لكل مليون رمز إدخال. التكلفة الإنجليزية ستكون 50 دولارًا. بالعربية وعلى مقسِّم بنسبة 1.34 ستصبح نحو 67 دولارًا، وعلى مقسِّم بنسبة 3.14 ستقفز إلى نحو 157 دولارًا، وعلى مقسِّم بنسبة 3.75 إلى نحو 187 دولارًا.

تنبيه مهم: لا يصح مقارنة نموذجين مختلفين بعدد الرموز وحده، لأن لكل نموذج سعره الخاص. نموذج بمقسِّم ضعيف للعربية وسعر منخفض جدًا قد يظل أرخص من نموذج بمقسِّم ممتاز وسعر مرتفع. لذلك تنبه صفحة OpenAI نفسها إلى أن السعر الأقل لكل مليون رمز لا يعني بالضرورة تكلفة إجمالية أقل. المعادلة الصحيحة هي: عدد رموز نصك الحقيقي على مقسِّم ذلك النموذج مضروبًا في سعره، ثم مقارنة الناتج.

والأمر نفسه ينطبق على نافذة السياق. إذا كانت النافذة تتسع لعدد معين من الرموز، فإن ملفًا عربيًا على مقسِّم بنسبة 3 تقريبًا سيملؤها بثلث كمية المحتوى التي يملؤها ملف إنجليزي. هذا أحد أسباب فقدان التفاصيل عند تلخيص الملفات الطويلة، وقد عرضنا حلولًا لذلك في مقال تلخيص الملفات الطويلة دون فقد السياق.

نصائح عملية لتقليل الرموز في العربية

هذه النصائح مبنية على ما قسناه، مع مراعاة أن كل استخدام له ظروفه:

1. اكتب البرومبت بلا تشكيل كامل ما لم يكن التشكيل جزءًا من المهمة نفسها، كتدقيق نص شرعي أو تعليمي. في عينتنا ضاعف التشكيل الرموز من 1.8 إلى 4.1 مرة.
2. إن احتجت التشكيل فاقتصر على ما يرفع اللبس، مثل حركة واحدة تميز «عَلِم» من «عِلْم»، بدل تشكيل الجملة كلها.
3. استخدم الأرقام الغربية في الطلبات الداخلية حين يكون ذلك مقبولًا، كأرقام الطلبات والتواريخ والمبالغ، ثم اطلب من النموذج إخراج النتيجة النهائية بالأرقام الهندية إن كان جمهورك يفضلها.
4. لا تخشَ العامية إن كانت أوضح لك؛ في مثالنا لم تكن أغلى من الفصحى. المهم وضوح المهمة لا مستوى اللغة.
5. اختر نموذجًا بمقسِّم يتعامل جيدًا مع العربية إذا كان حجم استخدامك كبيرًا. قس نصوصك الفعلية بالشيفرة أعلاه قبل الالتزام بأي مزود.
6. احذف التكرار من البرومبت الثابت؛ التعليمات التي ترسلها مع كل طلب تُحسب في كل مرة. قالب مختصر مثل قالب البرومبت العربي القابل لإعادة الاستخدام يقلل الهدر.
7. احسب النسبة بنفسك على عينة من عملك: خذ عشرين رسالة حقيقية من بريدك أو دعم عملائك بعد حذف البيانات الشخصية، وقس رموزها بالعربية والإنجليزية.

وهذا مثال على برومبت مختصر يطبق النصائح السابقة دون أن يفقد وضوحه:

المهمة: لخّص رسالة العميل التالية في ثلاث نقاط.
القيود: بلا مقدمة، أرقام الطلبات كما هي.
الإخراج: نقاط قصيرة بالعربية، والأرقام النهائية بالأرقام الهندية.
الرسالة: ...

إذا كنت تفاضل بين تشغيل نموذج على جهازك أو استخدام خدمة سحابية، فتذكّر أن المقسِّم يؤثر أيضًا في سرعة النماذج المحلية وذاكرتها، وراجع مقارنتنا بين الذكاء الاصطناعي السحابي والمحلي.

حدود هذه التجربة

نريد أن نكون واضحين في ما لا تقوله هذه الأرقام:

• العينة صغيرة: عشر جمل فقط ونحو 150 كلمة عربية. النتائج مؤشر على الاتجاه، وليست معيارًا قياسيًا (benchmark) نهائيًا.
• نوع النص محدد: جمل فصيحة قصيرة من بيئة العمل. النصوص الأدبية أو الدينية أو التقنية الطويلة قد تعطي نسبًا مختلفة.
• الترجمة الإنجليزية من عملنا: اختيار الكلمات في الترجمة يؤثر قليلًا في عدد الرموز الإنجليزية.
• المتغيرات الثلاثة اختُبرت على جملة واحدة لكل منها: نتائج التشكيل واللهجة والأرقام تحتاج عينة أوسع قبل التعميم.
• قسنا المقسِّم لا النموذج: لم نقس جودة الإجابات ولا الأسعار الفعلية؛ المقسِّم الأكفأ لا يعني بالضرورة أن النموذج أفضل في فهم العربية.
• ملفات Llama 3.2 وGemma 2 جاءت من نسخ unsloth على Hugging Face وليست من مستودعي Meta وGoogle مباشرة، وهي نسخ تحمل ملفات المقسِّم نفسها.

نتبع في هذه التجارب منهجنا المنشور في مقال كيف نختبر أدوات الذكاء الاصطناعي: نوثق الإصدار والعينة والتاريخ، ونفصل ما قسناه عن تفسيرنا له.

الخطوة التالية: قس نصوصك قبل أن تختار

لا تعتمد على أرقامنا وحدها. ثبّت مكتبتي tiktoken وtokenizers، وجهّز عينة من نصوص عملك الحقيقية، وشغّل الشيفرة على المقسِّمات المرتبطة بالنماذج التي تفكر فيها. ثم اضرب عدد الرموز في السعر الرسمي المعلن لكل نموذج في تاريخ قراءتك له.

بهذه الخطوة البسيطة تتحول المفاضلة بين النماذج من انطباع عام إلى رقم شهري واضح يمكنك عرضه على مديرك أو عميلك، وتعرف مسبقًا كم من ملفاتك العربية يتسع في نافذة السياق قبل أن تبدأ.