وقتی AI Agent مدرک خودش را بررسی میکند: چگونه ارزیابی واقعاً مستقل بسازیم؟
اگر ارزیاب همان گزارش تولیدشده توسط Agent را مدرک بداند، ممکن است ادعا را تأیید کند نه نتیجه را. این راهنما مجری، جمعآورندهٔ مدرک و ارزیاب را جدا میکند.
فرض کنید یک AI Agent وظیفه دارد صفحهای از وبسایت را اصلاح کند. پس از پایان کار، همان Agent گزارشی مینویسد و اعلام میکند که تغییر درست انجام شده است. حالا اگر سیستم ارزیابی، بهجای بررسی صفحهٔ واقعی، همان گزارش تولیدشده را بهعنوان مدرک بخواند چه اتفاقی میافتد؟
ظاهر ماجرا حرفهای است: وظیفه انجام شده، گزارش وجود دارد و گیت کنترل کیفیت هم سبز شده است. اما در واقع سیستم فقط ادعای خودش را تأیید کرده؛ نه نتیجهای را که کاربر میبیند.
این مشکل را میتوان «آلودگی مدرک» نامید: جایی که منبع شواهد به مجری یا ارزیاب وابسته است و به همین دلیل، آزمون دیگر استقلال کافی ندارد.
چرا ارزیابی AI Agent با یک پاسخ ساده فرق دارد؟
یک Agent معمولاً فقط متن تولید نمیکند. ابزار صدا میزند، فایل تغییر میدهد، وارد رابط کاربری میشود، وضعیت سیستم را عوض میکند و در چند مرحله تصمیم میگیرد. بنابراین یک پاسخ نهایی بهتنهایی نشان نمیدهد که کار واقعاً درست انجام شده است.
راهنمای Anthropic دربارهٔ ارزیابی Agentها پیشنهاد میکند کل مسیر اجرا یا همان Trace بررسی شود؛ یعنی خروجیها، فراخوانی ابزارها، نتایج میانی و تغییرات محیط کنار هم دیده شوند. همین راهنما تأکید میکند که بسته به ماهیت کار باید از ترکیبی از ارزیابهای کدنویسیشده، مدلمحور و انسانی استفاده کرد.
OpenAI نیز در معرفی Trace Grading روی ارزیابی سرتاسری Workflow تأکید میکند؛ چون خطا ممکن است نه در پاسخ آخر، بلکه در یکی از مراحل میانی ایجاد شده باشد.
مشکل دقیقاً از کجا شروع میشود؟
یک معماری آسیبپذیر معمولاً چنین مسیری دارد:
- Agent کار را انجام میدهد.
- Agent دربارهٔ کار خودش گزارش مینویسد.
- ارزیاب همان گزارش را میخواند.
- وجود چند کلمه، تصویر یا وضعیت مورد انتظار را Pass تلقی میکند.
در این ساختار، ارزیاب ممکن است صحت گزارش را بسنجد، نه صحت محصول را. اگر گزارش ناقص، قدیمی یا خوشبینانه باشد، گیت کنترل کیفیت نیز همان خطا را به ارث میبرد.
سه لایهای که باید از هم جدا شوند
۱. مجری
مجری همان Agent یا سرویسی است که تغییر را انجام میدهد. خروجی آن میتواند شامل کد، فایل، تنظیمات یا عمل انجامشده در یک پلتفرم باشد.
۲. جمعآورندهٔ مدرک
این بخش باید شواهد را مستقیماً از منبع واقعی جمع کند: فایل نهایی، پاسخ API، صفحهٔ زنده، وضعیت دیتابیس، لاگ قابلاعتماد یا تصویر رابط کاربری. مدرک نباید صرفاً از توضیح مجری استخراج شود.
۳. ارزیاب
ارزیاب باید مدرک مستقل را با معیارهای از پیش تعریفشده مقایسه کند. او میتواند از تست قطعی، قواعد مکانیکی، LLM یا بازبینی انسانی استفاده کند؛ اما نباید خودش منبع اصلی همان مدرکی باشد که داوری میکند.
یک الگوی عملی برای ارزیابی مستقل
برای هر وظیفه، پیش از اجرا چهار چیز را روشن کنید:
- نتیجهٔ قابل مشاهده: بعد از پایان کار دقیقاً چه چیزی باید درست باشد؟
- منبع حقیقت: پاسخ را از کدام فایل، API، صفحه یا رکورد باید بخوانیم؟
- روش سنجش: کدام بخش با تست مکانیکی و کدام بخش با قضاوت مدل یا انسان بررسی میشود؟
- شرط توقف: در چه وضعیتی Agent نباید نتیجه را Done اعلام کند؟
بعد از اجرا نیز این ترتیب را حفظ کنید:
Execute → Collect independent evidence → Grade → Human review when needed → Accept or return
مثلاً اگر وظیفه تغییر یک صفحهٔ وب است، توضیح Agent مدرک نهایی نیست. سیستم باید Build واقعی را باز کند، عنصر مورد نظر را پیدا کند، رفتار آن را آزمایش کند و نتیجه را با معیار پذیرش مقایسه کند.
آیا LLM میتواند ارزیاب باشد؟
بله، اما نه بدون محدودیت. LLM برای سنجش کیفیتهای باز مانند وضوح، لحن، کاملبودن توضیح یا تطبیق با یک Rubric مفید است. در مقابل، موارد قطعی مانند وضعیت HTTP، وجود فایل، مقدار فیلد، نتیجهٔ تست و یکسانبودن شناسهها بهتر است با قواعد مکانیکی بررسی شوند.
یک الگوی مطمئنتر ترکیبی است:
- تست قطعی برای واقعیتهای قابل اندازهگیری؛
- LLM برای قضاوتهای کیفی با Rubric محدود؛
- انسان برای تصمیمهای پرریسک، انتشار عمومی، هزینه یا تغییر دسترسی.
پنج نشانهٔ آلودگی مدرک
اگر یکی از موارد زیر را دیدید، منبع شواهد را دوباره بررسی کنید:
- گزارش همیشه Pass میشود، حتی وقتی خروجی بصری مشکل دارد.
- مدرک فقط در کامنت یا پاسخ همان Agent وجود دارد.
- شناسهٔ وظیفه، فایل یا نسخه در مدرک مشخص نیست.
- ارزیاب نمیتواند توضیح دهد نتیجه را از کدام منبع حقیقت خوانده است.
- اجرای دوبارهٔ آزمون روی محیط پاک، نتیجهٔ متفاوتی میدهد.
درس اصلی
استقلال ارزیابی به معنای استفاده از یک مدل متفاوت نیست. اگر دو مدل متفاوت هر دو یک گزارش آلوده را بخوانند، هنوز مدرک مستقل نداریم. استقلال واقعی از جداسازی نقشها و منابع داده به دست میآید.
AI Agent قابلاعتماد سیستمی نیست که فقط خوب گزارش میدهد؛ سیستمی است که ادعایش را میتوان از یک منبع مستقل دوباره بررسی کرد.
پیش از سبزکردن گیت بعدی از خودتان بپرسید: آیا داریم محصول را بررسی میکنیم، یا فقط گزارش Agent دربارهٔ محصول را؟
منابع
پرسش بپرسید
دربارهٔ این نوشته پرسشی دارید؟ ایمیلتان را بگذارید تا پاسخ دهیم.
از انتشارِ نوشتههای تازه باخبر شوید
ماهی ۱ تا ۲ ایمیل دربارهٔ پلتفرمِ agentic و هوشِ مصنوعی. بدونِ اسپم.
نوشتههای مرتبط
دادهٔ تست را حذف نکنید؛ آن را از درآمد واقعی جدا کنید
پنهانکردن دادهٔ تست، عیبها را نامرئی میکند؛ شمردنش در KPI هم تصمیم را خراب میکند. راهحل، جداسازی مشاهدهپذیری از شمارش است.
مرحلهٔ نامرئی قیف درآمد: چرا پرداخت قبل از تبدیلشدن به درآمد گم میشود؟
بین قصد پرداخت و ثبت درآمد قطعی، مشتری میتواند در وضعیتهای پیگیرینشده گم شود. با مدلکردن صریح این مراحل، هر پرداخت مالک و اقدام بعدی دارد.
مشتری برگشت و ما نفهمیدیم؛ چرا ابزار تحلیل بدون حلقه هشدار کافی نیست؟
ما GA4، Search Console و Clarity داشتیم، اما یک بازدید مهم را دیر دیدیم. این تجربه نشان داد جمعآوری داده بدون بریف، هشدار و تصمیم انسانی کافی نیست.