طراحی و توسعه چالش پیچیده ارزیابی هوش مصنوعی (AI Benchmark Task) با Docker و Python

---

شرح پروژه

ما به یک متخصص ارشد (Senior Developer / Domain Expert) نیاز داریم تا یک چالش ترمینالی دشوار و واقع‌گرایانه برای ارزیابی پیشرفته‌ترین مدل‌های هوش مصنوعی (AI Agents) طراحی کند. این تسک باید یک سناریوی مهندسی در سطح دنیای واقعی باشد که حل آن نیاز به استدلال چندمرحله‌ای، کاوش و دانش تخصصی دارد. پروژه باید در بستر کانتینرهای Docker بسته بندی شده و دارای یک سیستم ارزیاب خودکار (Verifier) کاملاً قطعی باشد.

این پروژه بر اساس استانداردهای دقیق پلتفرم Project Insight / Terminal-Bench 3 انجام می‌شود.

مراحل و وظایف اصلی (Scope of Work):

فاز ۱: نگارش و تایید پروپوزال (Proposal) پیش از هرگونه کدنویسی، فریلنسر باید یک پروپوزال کوتاه (به زبان انگلیسی) تدوین کند که شامل موارد زیر باشد:

Difficulty: چرا این تسک برای یک انسان متخصص سخت است و چرا هوش مصنوعی در آن به مشکل می‌خورد؟ (نیاز به استدلال‌های تخصصی، نه فقط حجم زیاد کار).
Approach: ایده محوری و روش حل دقیق مسئله چیست؟
Verification: خروجی دقیقاً چیست و سیستم ارزیاب چگونه صحت آن را بدون بررسی کدهای نوشته شده (فقط از روی نتیجه) تایید می‌کند؟
نکته: کدنویسی تنها پس از تایید این پروپوزال توسط پلتفرم آغاز خواهد شد.
فاز ۲: پیاده‌سازی محیط و فایل‌های اصلی (Implementation) پس از تایید پروپوزال، فریلنسر باید ساختار زیر را به صورت کامل و بدون نقص توسعه دهد:

instruction.md: صورت‌مسئله به زبان طبیعی و بدون هیچ‌گونه راهنمایی یا اشاره به روش حل (کمتر از ۱۵۰۰ توکن).
task.toml: فایل پیکربندی شامل متادیتا، دسته‌بندی، منابع سخت‌افزاری لازم (CPU/RAM) و زمان‌بندی‌ها.
environment/Dockerfile: ایمیج کانتینر عامل هوش مصنوعی که حاوی تمام ابزارها و دیتای اولیه است (بدون لو رفتن راه‌حل).
solution/solve.sh (Oracle): راه‌حل مرجع و کامل فریلنسر که نشان می‌دهد این چالش به صورت ۱۰۰٪ قابل حل است.
tests/: توسعه فایل‌های test.sh و test_outputs.py (با استفاده از Pytest) و tests/Dockerfile برای اجرای ایزوله ارزیاب. ارزیاب باید صرفاً خروجی نهایی را بسنجد و نمره قطعی 0 یا 1 بدهد.
فاز ۳: اعتبارسنجی محلی و تحویل نهایی (Local Validation & PR) پیش از تحویل نهایی، فریلنسر موظف است تست‌های زیر را در سیستم خود (با ابزار Harbor) با موفقیت پاس کند:

اجرای Oracle: راه‌حل مرجع باید به درستی کار کرده و از ارزیاب نمره ۱.۰ بگیرد.
اجرای Nop: اجرای محیط بدون هیچ اقدامی، باید نمره کمتر از ۱ بگیرد تا مشخص شود سیستم ارزیاب به اشتباه نمره قبولی نمی‌دهد.
ارسال خروجی‌ها به صورت یک Pull Request روی مخزن گیت‌هاب ما و رفع خطاهای احتمالی در سیستم CI/CD پلتفرم.
الزامات و مهارت‌های مورد نیاز:

تجربه Senior در مهندسی نرم‌افزار، زیرساخت، امنیت یا علوم داده.
تسلط کامل به لینوکس، Bash Scripting و Python.
تسلط پیشرفته به Docker (نوشتن Multi-stage builds و مدیریت وابستگی‌ها).
تسلط به اصول تست‌نویسی خودکار (Automated Testing / Pytest) و طراحی تست‌های غیرقابل تقلب (Deterministic Verifiers).
تسلط کامل به زبان انگلیسی برای نگارش پروپوزال و صورت‌مسئله.
شرایط پرداخت (Milestones): این پروژه به صورت مرحله‌ای یک مرحله ای و درصورت تایید تمام مراحل زیر پرداخت خواهد شد:

مرحله اول : تدوین پروپوزال و تایید آن توسط سیستم اتوماتیک پلتفرم.
مرحله دوم : تحویل کامل کدهای داکر، راه‌حل مرجع و فایل‌های تست + پاس شدن تست‌های لوکال (Oracle=1 و Nop=0).
مرحله سوم : ارسال Pull Request، عبور موفقیت‌آمیز از فیلتر مدل‌های هوش مصنوعی (Pass@2 - که اثبات می‌کند تسک بیش از حد آسان نیست) و تایید و Merge نهایی در پلتفرم و تایید انسانی نهایی توسط کارفرما.
لطفاً در زمان ارسال پیشنهاد، مختصری از ایده خود برای یک چالش سخت (Task Idea) که قابل ارزیابی قطعی باشد را بیان کنید.

این پروژه شامل 2 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---