reinforcement earning efficient navigation in flow یافتن مسیر بهینه بین دو نقطه در آب

---

شرح پروژه

پروژه خیلی ساده است. یک مقاله به همراه کد گیت هابش وجود دارد. در این مقاله بر روی دو مدل جریان سیال (عدد رینولدز و دابل جایر) یک الگوریتم یادگیری تقویتی پیاده شده. توضیح جزییات الگوریتم در داخل فایل مکمل مقاله موجود است. کد مقاله به زبان C++ (60%) و پایتون هست. تمام اطلاعات رو اینجا اتچ کردم که قبل از ارسال پیشنهاد بتوانید بررسی کنید

می خوام کد مقاله کاملا به  پایتون برگردانده شود و فقط هم قسمت پیاده سازی کد بر روی دابل جایر را می خواهم به اضافه توضیح کد. چندتا پارامتر هست که توی مقاله مقدارش رو نگفته اما توی کد حتما هست. اون مقادیر رو هم می خوام. این کد بر روی چند مساله بهینه سازی دیگر، مانند card pole پیاده شده اما اصلا اونها رو نمی خوام. خیلی ساده قسمت اصلی کار رو لازم دارم. هدفم این هست که از تابع ریوارد و تابعی که اکشن را براساس تتا که یکی از خروجی های شبکه عصبی هست بگیرم و به کد خودم منتقل کنم. کد من الگویتم کیو لرنینگ هست.      
پس هدف نهایی من این است که با محاسبه اکشن و استفاده ازتابع ریوارد و پارامتر Uswim از مقاله اصلی و اضافه کردنش به الگوریتم کیولرنینگ می خوام مسیر بهینه بین دو نقطه در یک flow را به دست بیاورم.      
برای من مهمه که ببینم روی دابل جایر چطوری این اکشن ها (θ) به دست آمده. شما پیاده سازی مقاله اصلی را به من با توضیحاتش بدهید تا من از اون دیتا برای حل مساله ام با روش کیولرنینگ اقدام کنم.  

تا انتها لطفا بخونید و اگر موردی مبهم بود بفرمایید توضیح بدم. 

جمع بندی آنچه می خواهم:

کد پایتون مقاله مذکور برروی دابل جایر + توضیح کد که از روی این نمونه کد، موارد زیر را برای کارم برداشت کنم:
تابع ریوراد

تابع محاسبه و انتخاب اکشن (که در واقع زاویه عامل با جریان است)

تابع نمایش خروجی کد

متغیرهای Uswim, Tf, ∆t زیرا با استفاده از اینها شکل دیتای دابل جایر تغییر می کند. متغیر ∞U در دیتای رینولدز رو  هم میخوام. فقط مقدار خود متغیر نه چیز دیگه ای 

مقاله به همراه لینک دانلود تمام ضمائم در این آدرس      
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8654940/

کد گیتهاب در این آدرس

https://github.com/cselab/smarties

فایل قابل دانلود از مقاله و متعلقاتش هم گذاشتم.

یک گیتهاب کد متلب هم برای دیتاست دابل جایر به زبان متلب وجود دارد برای راحتی کارتون میتونید بهش یه نگاهی بندازید اگر دوست داشتید ولی اجباری نیست اگر با همون گیتهاب مقاله اصلی اوکی هستید

https://github.com/jtuhtan/LCS2D/blob/master/gyrefield.m

____________________

نکات تکمیلی:

توضیح دابل جایر در این لینک به زبان انگلیسی هست ولی به طور کلی دابل جایر یعنی دو تا دایره یعنی یک جریان دو بعدی که توسط یک فرمول ریاضی با مقداردهی به پارامترهایش ساخته می شود و این مقادیر شکل دایره ها را تغییر می دهند دابل جایر یک جریان مثل آب هست یعنی حرکت می کند. در این مقاله ربات شناور در جایر که بعنوان عامل در نظر گرفته شده جرم ندارد. 
دیتای اصلی  double gyre  به شکل زیر است

 ولی در این مقاله به شکل زیر تغییر یافته و اون دو نقطه ای که قرار است شروع و هدف ما باشند باید در دو جایر (دایره) متفاوت مستقر باشند طبق شکل. اینم بگم این مقاله کار رو حتی از اینم راحت تر کرده و اومده دو تا ناحیه به شعاغ مشخصی انتخاب کرده و گفته اگر عامل به هر نقطه ای در این ناحیه برسد یعنی به جواب رسیده و مساله حل شده است

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---