پروژه پایانی کارشناسی ارشد-کنترل آرایش غیرمتمرکز سیستم چندرباته مبتنی بر یادگیری تقویتی عمیق

---

شرح پروژه

اصلاح کدنویسی و شبیه سازی متلب و سیمولاتور Webots
و سایر اقدامات مربوط به پایان نامه(از صفر تا صد)

فاز شبیه سازی و کد نویسی انجام شده منتهی نیاز به یکسری اصلاحیات دارد جهت تایید نهایی استاد راهنما(که کلیه مواردی که بایستی اصلاح شوند، ارسال میگردد):

 

•  در مورد نمودارها، که نمودارها چیزی رو مشخص نمی‌کنند، معلوم نیست در چه زمانی، کدام ربات در کجا قرار دارد!
•  لازم هست اکشن ها به صورت پیوسته در نظر گفته شوند. لذا باید از الگوریتمهای مبتنی بر اکشن پیوسته استفاده بشه مثل DDPG (پس بایستی تغییر الگوریتم DDQN به DDPG تغییر پیدا کند)
• کد طوری نوشته شود که شبکه عصبی تِرِین شده الگوریتم یادگیری تقویتی آموزش دیده بعد از آموزش ذخیره شود و قابل شبیه سازی مجدد باشد.
• قرار بر این بود که شبیه سازی به صورت فورمیشن انجام شود یعنی چند ربات داریم که به صورت پراکنده و تصادفی یک شکل خاص رو بگیرند مثل ستاره یا فلش( یا هر شکل دیگر) با یک فاصله مشخص و بعد با آن شکل یا فرم شروع به حرکت کنند ضمن اینکه وقتی با هم حرکت می‌کنند بتوانند حالت خودشون رو حفظ کنند.
• پس مشکلات این موارد بود که روند آموزش دیدن را نمی‌توان دنبال کرد و بعد از هر اپیزود نمایش بدهد. الگوریتم به ازای شرایط اولیه شبیه سازی شود و به صورت انیمیشن نمایش داده شود چون هیچ تصوری از نحوه حرکت وجود ندارد.

می‌توان همین چهارچوب رو استفاده کرد اینکه تارگت هر ربات لیدر است به همان سمت حرکت می‌کند و همزمان باید مراقب باشند که با ربات دیگر و موانع برخورد نکنند و خودش را به تارگت برساند.

پس نتیجه نهایی اینکه می‌توان همین را به فرمیشن تبدیل کرد با یک سری تغییرات جزئی یعنی از همان استراتژی لیدر فالوور استفاده کرد و و یک سری مشکلات شبیه سازی برطرف شود که شامل ذخیره شدن حین کار، قابل رویت بودن انیمیشن، اینکه در هر لحظه چه حرکتی انجام می‌شه.

•  برای یادگیری تقویتی نیازی به این همه کد نویسی نبود و می‌شد از تول باکس برای کدها استفاده کرد و این خیلی شبیه سازی را سبک‌تر خواهد کرد. ضمناً سرعت ربات‌ها بایستی متغیر در نظر گرفت که بتوانند هم متوقف شوند و هم دارای یک طیف عددی بصورت پیوسته باشند.
•  شبیه سازی بسیار کند بود بعد از یک ساعت هم نتایج قابل رویت نبودند (احتمالاً به علت تعداد بالا بودن عصب‌ها و وسیع بودن شبکه بود علاوه بر تعداد اپیزودها)

لازم به ذکر هست که از خردادماه درگیر این پایان نامه می باشم و ترم پیش رو آخرین مهلت به اتمام رساندن و دفاع!

و اینکه در طول تابستان، استاد یک مقاله ارسال کردن برای انجام اون ولی چون مجری مربوطه برروی موارد خواسته شده کار میکردند، آنرا نپذیرفتم و این در حال بود که پس از گذشت هشت ماه همچنان فاز اول پایان نامه به مرحله ی تایید نرسیده است!!

و به همین دلیل ادامه روند رو بعنوان پروژه جدید در سایت معرفی کردم.

لطفا مقاله ی ضمیمه شده را نیز مطالعه بفرمایید بعنوان نمونه، که شبیه سازی مانند آن انجام شود( فقط بصرف  مشاهده و مقایسه و نه انجام صفر تا صد آن)

ضمنا فاز اول پایان نامه بر اساس پروپوزال ارسالی، انجام شده است.

این پروژه شامل 3 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---