پیاده‌سازی و اجرای یک چارچوب انتخاب ویژگی برای پردازش (۱۲ میلیون رکورد) با استفاده از Apache Spark و YARN

---

شرح پروژه

دعوت به همکاری در پروژه پژوهشی Big Data و محاسبات توزیع‌شده با Apache Spark

عنوان پروژه

پیاده‌سازی و اجرای یک چارچوب پیشرفته انتخاب ویژگی مبتنی بر نظریه Rough Set برای پردازش داده‌های حجیم سلامت (۱۲ میلیون رکورد) با استفاده از Apache Spark و YARN

شرح پروژه

برای اجرای یک پروژه پژوهشی در حوزه ترکیبی علوم کامپیوتر، Big Data، یادگیری ماشین و نظریه Rough Set، به یک متخصص یا تیم فنی باتجربه در زمینه پردازش توزیع‌شده و محاسبات مقیاس‌پذیر نیازمندیم.

هدف، پیاده‌سازی، آزمایش و ارزیابی یک چارچوب توزیع‌شده انتخاب ویژگی (Distributed Feature Selection) مبتنی بر Rough Set و Bootstrap Stability روی یک مجموعه‌داده سلامت مصنوعی در مقیاس بزرگ است.

مشخصات اولیه پروژه

حجم داده: حدود ۱۲ میلیون رکورد

تعداد ویژگی‌های اولیه: ۱۲۰ ویژگی

متغیر هدف: HeartDisease (دودویی)

فرمت داده: Parquet

حجم تقریبی داده فشرده: ۴٫۲ گیگابایت

پردازش توزیع‌شده با Apache Spark و YARN

استفاده از HDFS برای ذخیره‌سازی توزیع‌شده

پیاده‌سازی الگوریتم‌های Rough Set و QuickReduct

استفاده از Bootstrap برای ارزیابی پایداری انتخاب ویژگی

ارزیابی مدل‌های یادگیری ماشین شامل Logistic Regression، Random Forest و SVM

مهارت‌های ضروری

۱. تسلط عملی بر Apache Spark و PySpark

۲. تجربه راه‌اندازی، پیکربندی و مدیریت کلاستر YARN و HDFS

۳. تجربه پردازش دیتاست‌های بزرگ، ترجیحاً چندمیلیونی

۴. تسلط بر مفاهیم Partitioning، Repartitioning، Persistence، Caching و Shuffle Optimization

۵. آشنایی با الگوریتم‌های Feature Selection و Rough Set، به‌ویژه QuickReduct و Equivalence Class

۶. تجربه استخراج و تحلیل Performance Metrics از Spark UI و YARN

۷. توانایی طراحی و اجرای آزمایش‌های Strong Scaling و Weak Scaling

۸. آشنایی با Bootstrap و ارزیابی پایداری انتخاب ویژگی

۹. توانایی تولید گزارش فنی، نمودارها و جداول قابل استفاده در مقاله علمی

شرح وظایف مجری

بررسی و آماده‌سازی محیط اجرای توزیع‌شده

بررسی و اعتبارسنجی کد تولید داده مصنوعی

تولید یا پردازش مجموعه‌داده ۱۲ میلیون رکوردی

پیاده‌سازی و اجرای الگوریتم انتخاب ویژگی مبتنی بر Rough Set

پیاده‌سازی مراحل Bootstrap و ارزیابی پایداری

بهینه‌سازی پردازش‌های توزیع‌شده و کاهش هزینه ارتباطات

اجرای آزمایش‌های مقیاس‌پذیری متناسب با منابع سخت‌افزاری در دسترس

اندازه‌گیری زمان اجرا، مصرف حافظه، CPU و حجم Shuffle

اجرای مقایسه‌های آزمایشی و Ablation Study

استخراج خروجی‌های خام، لاگ‌ها و گزارش‌های قابل بازتولید

زیرساخت مورد نیاز

مجری باید دارای کلاستر مناسب باشد یا امکان دسترسی و راه‌اندازی محیط توزیع‌شده را داشته باشد.

ترجیحاً زیرساختی شامل چند Worker با منابع CPU و RAM مناسب و شبکه پرسرعت در اختیار باشد.

توانایی اجرای آزمایش روی ۱، ۲، ۴، ۸ و در صورت دسترسی ۱۶ Worker امتیاز محسوب می‌شود.

تعداد Workerها و مشخصات سخت‌افزاری واقعی باید پیش از شروع پروژه اعلام شوند.

خروجی‌های مورد انتظار

۱. کد کامل و قابل اجرای پروژه به‌صورت مستند

۲. کد تولید داده و کنترل کیفیت آن

۳. فایل داده خروجی و گزارش مشخصات آن

۴. خروجی انتخاب ویژگی و نتایج Bootstrap

۵. فایل‌های نتایج اجرای مدل‌های یادگیری ماشین

۶. گزارش اجرای آزمایش‌های Strong Scaling و Weak Scaling

۷. گزارش Shuffle Read/Write و اطلاعات Performance از Spark UI

۸. لاگ‌های مربوط به اجرای YARN و Spark

۹. جداول و نمودارهای نهایی قابل استفاده در مقاله پژوهشی

۱۰. مستندات لازم برای تکرار اجرای آزمایش‌ها توسط پژوهشگر دیگر

مهارت ها و تخصص های مورد نیاز

---

---