كيف تراجع إجابة الذكاء الاصطناعي قبل أن تعتمدها؟ جدول تقييم من 10 درجات

في يونيو 2023 فرضت محكمة فيدرالية في نيويورك غرامة قدرها خمسة آلاف دولار على محاميين قدّما مذكرة تستشهد بأحكام قضائية غير موجودة أصلًا، وقد ولّدها ChatGPT باقتباسات مختلقة. الحكم في قضية Mata v. Avianca لم يعاقب على استخدام الأداة، بل على التوقيع على نص لم يراجعه أحد مقابل مصادره.

الدرس عام: الإجابة السلسة تعطي انطباعًا بالجودة، والانطباع ليس مراجعة. هذا الدليل يعطيك طريقة سريعة ومكررة للحكم على أي إجابة: خمسة معايير، لكل منها درجة من صفر إلى اثنين، ومجموع يحدد قرارك.

جدول التقييم: خمسة معايير وعشر درجات

قيّم كل معيار بشكل مستقل. لا تدع جمال الصياغة يرفع درجة الدقة، ولا تدع خطأً لغويًا بسيطًا يخفض درجة الاكتمال.

حدود القرار

• من 9 إلى 10: اقبل الإجابة بعد قراءة أخيرة.
• من 6 إلى 8: عدّل يدويًا أو أعد الطلب مع تحديد ما نقص.
• 5 أو أقل: ارفض الإجابة وأعد بناء الطلب أو أنجز المهمة يدويًا.
• قاعدة الفيتو: صفر في الدقة أو في السلامة يعني الرفض مهما كان المجموع.

قاعدة الفيتو هي أهم سطر في الجدول. إجابة ممتازة في كل شيء لكنها تستشهد بقانون غير موجود تحصل على 8 من 10، وهذا مجموع مضلل. المعياران الأول والأخير لا يقبلان التعويض.

لماذا هذه المعايير الخمسة تحديدًا؟

المعايير مأخوذة من المخاطر التي يصفها ملف NIST لمخاطر الذكاء الاصطناعي التوليدي (NIST AI 600-1). يعرّف الملف ما يسميه «الاختلاق» (confabulation): إنتاج محتوى خاطئ وتقديمه بثقة، وهو ما يُعرف شعبيًا بالهلوسة. معيار الدقة يستهدفه مباشرة، ويشرح مقال لماذا يهلوس الذكاء الاصطناعي سببه.

ويصف الملف نفسه خطر «الاعتماد الزائد» على النظام، أي أن يقبل المستخدم الناتج لأنه يبدو مقنعًا. فصل التقييم إلى معايير مستقلة هو طريقتك العملية لمقاومة ذلك.

أما معيار الالتزام بالمصدر فيخص طريقة العمل اليومية: عندما تلصق مادة وتطلب تلخيصها، أخطر خطأ هو إضافة ما ليس فيها. ومعيار الملاءمة يذكّرك بأن الإجابة الصحيحة قد تكون غير صالحة لقارئها، كأن تكتب لعميل مصري بلغة قانونية جافة، أو لمدير خليجي بلهجة شامية.

ولا يحتاج كل ناتج المستوى نفسه من التدقيق. اقتراح عنوان لمنشور يكفيه نظرة على الملاءمة. ملخص عقد يحتاج المعايير الخمسة كاملة. اختر عمق المراجعة حسب أثر الخطأ لو مرّ.

مثال محسوب: ملخص سياسة إجازات

لنفترض أن موظف موارد بشرية في شركة سعودية لصق سياسة الإجازات الداخلية في أداة ذكاء اصطناعي وطلب: «لخّص السياسة في خمس نقاط للموظفين الجدد، بالاعتماد على النص فقط». وجاءت الإجابة كالتالي:

1. يحق للموظف 21 يوم إجازة سنوية مدفوعة، تزيد إلى 30 يومًا بعد 5 سنوات.
2. تُقدَّم طلبات الإجازة عبر النظام قبل أسبوعين على الأقل.
3. الإجازة المرضية تتطلب تقريرًا طبيًا معتمدًا.
4. يمكن ترحيل الأيام غير المستخدمة إلى السنة التالية دون حد أقصى.
5. نتمنى لك بداية موفقة معنا!

السياسة هنا افتراضية والأرقام للتوضيح فقط. لنقيّم الإجابة بعد مقارنتها بالنص الأصلي، ونفترض أن المراجع وجد ما يلي:

• الدقة: 0. النقاط الثلاث الأولى مطابقة للسياسة، لكن السياسة تحدد ترحيل عشرة أيام كحد أقصى، فالنقطة الرابعة معلومة خاطئة.
• الاكتمال: 1. طلبنا خمس نقاط، والخامسة تحية لا معلومة. وأهمل الملخص بند الإجازات الطارئة الموجود في السياسة.
• الالتزام بالمصدر: 0. عبارة «دون حد أقصى» غير موجودة في المادة، أضافتها الأداة رغم قيد «بالاعتماد على النص فقط».
• الملاءمة: 2. اللغة واضحة ومناسبة لموظف جديد.
• السلامة والخصوصية: 2. لا بيانات شخصية ولا مخاطر ظاهرة.

المجموع 5 من 10، أي في نطاق الرفض. وحتى لو كان المجموع أعلى، فصفر الدقة يفعّل قاعدة الفيتو وحده. لاحظ أن المراجعة السريعة كانت ستمنح الإجابة انطباعًا جيدًا: أربع نقاط مرتبة ولغة ودودة. الخطأ لم يظهر إلا بالمطابقة مع النص.

لماذا لا نكتفي بتصحيح النقطة الرابعة يدويًا؟ لأن خطأً بهذا الحجم في نقطة واحدة يعني أنك لا تستطيع الثقة بالبقية دون فحص كل سطر. الأسرع غالبًا إعادة الطلب مع قيد صريح: «انقل الأرقام والحدود كما وردت حرفيًا، واذكر رقم البند الذي أخذت منه كل نقطة».

لو مرّ هذا الملخص، لخطط موظف جديد لترحيل كل إجازاته ثم اكتشف أنه خسر جزءًا منها. خطأ صغير في نص يبدو مرتبًا.

المجالات عالية المخاطر: الطب والقانون والمال

في هذه المجالات لا يكفي أن تحصل الإجابة على 10 من 10. الجدول يقيس جودة النص، أما القرار الطبي أو القانوني أو المالي فيحتاج من يملك الخبرة والمسؤولية.

منظمة الصحة العالمية أصدرت في يناير 2024 إرشادات عن النماذج الكبيرة متعددة الوسائط في الصحة، وحذرت من أنها قد تنتج معلومات خاطئة أو غير دقيقة أو منحازة أو ناقصة، ومن «تحيز الأتمتة» الذي يجعل المستخدم يتجاهل أخطاء كان سيلاحظها. والقضية المذكورة في بداية المقال مثال قانوني مباشر على الخطر نفسه.

كيف تستخدم الأداة بأمان في هذه المجالات؟

• اطلب شرح المصطلحات لا اتخاذ القرار: «ما معنى الشرط الجزائي؟» بدل «هل أوقع هذا العقد؟».
• اطلب قائمة أسئلة تطرحها على المختص.
• لا تلصق تقارير طبية أو عقودًا بأسماء حقيقية في أداة عامة.
• انتبه لاختلاف القوانين: إجابة عن قانون العمل قد تصف نظامًا غير نظام بلدك.
• تحقق من أي رقم أو مادة قانونية من المصدر الرسمي، باتباع طريقة التحقق العملية من المعلومات.

اجعل التقييم عادة لا عبئًا

إذا راجعت نوعًا من المخرجات كل أسبوع، سجّل الدرجات في جدول بسيط. بعد شهر ستعرف أي معيار يسقط فيه الناتج عادة. إطار NIST لإدارة مخاطر الذكاء الاصطناعي يربط وظيفة «القياس» بالاختبار القابل للتكرار وتوثيق النتائج، والفكرة نفسها تصلح لفرد أو فريق صغير.

إذا كان الالتزام بالمصدر هو المعيار الذي ينخفض دائمًا، فالمشكلة في الطلب لا في المراجعة؛ أضف قيودًا أوضح كما في دليل كتابة برومبت واضح. وإذا كانت الدقة هي المشكلة المتكررة، فربما تستخدم الأداة لمهمة تحتاج محرك بحث لا روبوت محادثة، وهو ما تشرحه مقارنة الشات بوت ومحرك البحث.

ويمكنك تقليل وقت المراجعة من البداية بطلب يسهّل الفحص: اطلب من الأداة أن تذكر رقم البند أو الفقرة التي أخذت منها كل معلومة، وأن تكتب «غير مذكور» عند غياب الإجابة. هذا لا يضمن الصحة، لكنه يحول المطابقة من بحث في النص كله إلى نظرة على موضع محدد.

وإذا كانت المادة التي لصقتها تحتوي بيانات موظفين أو عملاء، فمعيار السلامة يبدأ قبل الإجابة لا بعدها؛ راجع قائمة الخصوصية قبل رفع الملفات قبل اللصق.

وفي العمل الجماعي، حدد من يقيّم أي معيار. مراجع للأرقام والمصادر، وآخر للغة والنبرة، وصاحب قرار نهائي باسمه. عبارة «راجعه الفريق» لا تكفي إذا افترض كل شخص أن غيره تحقق من الرقم.

قائمة الفحص في شاشة واحدة

انسخ هذه القائمة واحتفظ بها بجانب الأداة التي تستخدمها:

1. هل أعرف ما الذي طلبته بالضبط قبل أن أقرأ الإجابة؟
2. الدقة: هل طابقت كل رقم واسم وتاريخ ومرجع مع مصدر؟ (0-2)
3. الاكتمال: هل غطى كل بند في الطلب؟ (0-2)
4. الالتزام بالمصدر: هل أضاف شيئًا غير موجود في المادة؟ (0-2)
5. الملاءمة: هل يصلح للقارئ واللغة واللهجة المقصودة؟ (0-2)
6. السلامة: هل كشف بيانات أو قدّم نصيحة تتجاوز صلاحيتي؟ (0-2)
7. هل حصل معيار الدقة أو السلامة على صفر؟ إذن ارفض.
8. المجموع 9 أو 10 اقبل، 6 إلى 8 عدّل، 5 أو أقل ارفض.
9. هل الموضوع طبي أو قانوني أو مالي؟ إذن اعرضه على مختص مهما كانت الدرجة.
10. هل سجلت الخطأ المتكرر لأحسّن الطلب في المرة القادمة؟