عندما يراجع وكيل الذكاء الاصطناعي أدلته بنفسه: كيف نبني تقييماً مستقلاً فعلاً؟

تخيّل أن وكيلاً للذكاء الاصطناعي كُلّف بإصلاح صفحة في موقع إلكتروني. بعد انتهاء العمل، كتب الوكيل نفسه تقريراً يؤكد أن التغيير نُفّذ بصورة صحيحة. ماذا يحدث إذا اعتبر نظام التقييم هذا التقرير دليلاً بدلاً من فحص الصفحة الحقيقية؟

تبدو العملية احترافية: اكتملت المهمة، ويوجد تقرير، وتحولت بوابة الجودة إلى اللون الأخضر. لكن النظام في الحقيقة لم يتحقق من النتيجة التي يراها المستخدم؛ بل صدّق ادعاءه هو فقط.

يمكن تسمية هذه المشكلة تلوث الأدلة: أي أن مصدر الدليل يعتمد على المنفّذ أو المقيّم، ولذلك لا يعود الاختبار مستقلاً بما يكفي.

لماذا يختلف تقييم وكيل الذكاء الاصطناعي عن فحص إجابة بسيطة؟

لا يقتصر عمل الوكيل عادةً على توليد النص. فهو يستدعي الأدوات، ويغيّر الملفات، ويتعامل مع واجهات المستخدم، ويعدّل حالة النظام، ويتخذ قرارات عبر مراحل متعددة. لذلك لا تكفي الإجابة النهائية وحدها لإثبات أن العمل أُنجز بصورة صحيحة.

تقترح إرشادات Anthropic بشأن تقييم الوكلاء فحص مسار التنفيذ الكامل، أو Trace: المخرجات، واستدعاءات الأدوات، والنتائج الوسيطة، والتغييرات في البيئة. كما تؤكد استخدام مزيج من المقيمين الحتميين، والمقيمين المعتمدين على النماذج، والمراجعة البشرية وفقاً لطبيعة المهمة.

وتعرض OpenAI أيضاً Trace Grading بوصفه وسيلة لتقييم الـWorkflow من بدايته إلى نهايته، لأن الخطأ قد يظهر في خطوة وسيطة لا في الإجابة الأخيرة.

من أين تبدأ المشكلة تحديداً؟

غالباً ما تسلك البنية الضعيفة هذا المسار:

1. ينفّذ الوكيل المهمة.
2. يكتب الوكيل تقريراً عن عمله.
3. يقرأ المقيّم التقرير نفسه.
4. يُعتبر وجود كلمات أو صور أو حالات متوقعة دليلاً على النجاح.

في هذه البنية قد يختبر المقيّم صحة التقرير بدلاً من صحة المنتج. وإذا كان التقرير ناقصاً أو قديماً أو متفائلاً أكثر من اللازم، فسترث بوابة الجودة الخطأ نفسه.

ثلاث طبقات يجب فصلها عن بعضها

1. المنفّذ

المنفّذ هو الوكيل أو الخدمة التي تُجري التغيير. وقد يكون الناتج كوداً أو ملفاً أو إعداداً أو إجراءً نُفّذ على منصة ما.

2. جامع الأدلة

يجب أن تجمع هذه الطبقة الأدلة مباشرة من المصدر الحقيقي: الملف النهائي، أو استجابة API، أو الصفحة الحية، أو حالة قاعدة البيانات، أو سجل موثوق، أو صورة لواجهة المستخدم. لا ينبغي اشتقاق الدليل من شرح المنفّذ وحده.

3. المقيّم

يقارن المقيّم الدليل المستقل بمعايير محددة مسبقاً. ويمكنه استخدام اختبارات حتمية، أو قواعد آلية، أو LLM، أو مراجعة بشرية؛ لكنه لا ينبغي أن يكون المصدر الأساسي للدليل الذي يحكم عليه.

نموذج عملي للتقييم المستقل

قبل تنفيذ أي مهمة، حدّد أربعة أمور:

• النتيجة القابلة للملاحظة: ما الذي يجب أن يكون صحيحاً بالضبط بعد انتهاء العمل؟
• مصدر الحقيقة: من أي ملف أو API أو صفحة أو سجل سنقرأ الإجابة؟
• طريقة القياس: ما الذي يُفحص باختبار حتمي، وما الذي يحتاج إلى حكم نموذج أو إنسان؟
• شرط التوقف: متى يجب ألا يعلن الوكيل أن المهمة Done؟

وبعد التنفيذ حافظ على هذا الترتيب:

Execute → Collect independent evidence → Grade → Human review when needed → Accept or return

فإذا كانت المهمة تغيير صفحة ويب مثلاً، فإن شرح الوكيل ليس الدليل النهائي. يجب على النظام فتح الـBuild الحقيقي، والعثور على العنصر المطلوب، واختبار سلوكه، ثم مقارنة النتيجة بمعايير القبول.

هل يمكن أن يكون LLM هو المقيّم؟

نعم، ولكن ضمن حدود. يفيد LLM في تقييم الصفات المفتوحة مثل الوضوح، والنبرة، واكتمال الشرح، والالتزام بـRubric محدد. أما الحقائق الحتمية مثل حالة HTTP، ووجود ملف، وقيمة حقل، ونتيجة اختبار، وتطابق المعرّفات، فمن الأفضل فحصها بقواعد آلية.

ويجمع النموذج الأكثر أماناً بين:

• اختبارات حتمية للحقائق القابلة للقياس؛
• LLM للأحكام النوعية ضمن Rubric محدود؛
• إنسان للقرارات عالية المخاطر، والنشر العام، والإنفاق، وتغييرات الوصول.

خمس علامات على تلوث الأدلة

أعد فحص مصدر الأدلة إذا لاحظت إحدى هذه العلامات:

1. ينجح التقرير دائماً حتى عندما تكون النتيجة المرئية خاطئة بوضوح.
2. لا يظهر الدليل إلا في تعليق أو رد كتبه الوكيل نفسه.
3. لا يحدد الدليل المهمة أو الملف أو الإصدار الذي تم تقييمه.
4. لا يستطيع المقيّم توضيح مصدر الحقيقة الذي أخذ منه النتيجة.
5. يؤدي تكرار الاختبار في بيئة نظيفة إلى نتيجة مختلفة.

الدرس الأساسي

لا يعني التقييم المستقل مجرد استخدام نموذج مختلف. فإذا قرأ نموذجان مختلفان التقرير الملوث نفسه، فلن يصبح الدليل مستقلاً. الاستقلال الحقيقي يأتي من فصل الأدوار ومصادر البيانات.

وكيل الذكاء الاصطناعي الموثوق ليس نظاماً يجيد كتابة التقارير فقط، بل نظاماً يمكن إعادة فحص ادعاءاته بالرجوع إلى مصدر مستقل.

قبل تحويل البوابة التالية إلى اللون الأخضر، اسأل نفسك: هل نفحص المنتج، أم نفحص فقط تقرير الوكيل عن المنتج؟

المصادر

• Anthropic — Demystifying evals for AI agents
• OpenAI — Introducing AgentKit and trace grading