پروژه یادگیری تقویتی (84096)

---

شرح پروژه

عنوان پروژه : شبیه سازی رویدادها - یادگیری تقویتی

📑 من یه پروژه دارم، که قراره با یادگیری تقویتی انجام بشه، مساله ای که داریم با استفاده از فرایند تصمیم گیری مارکوف پیاده سازی شده ، در متلب هم پیاده سازی شده و آپتیمال پالیسی ها و لانگ ران اورج ولیو هم از الگوریم value iteration بدست امده، من الان میخوام تو مرحله اول شبیه سازی رو در پایتون انجام بدم، بدین صورت که پالیسی هایی که از متلب بدست امده را به پایتون بدم و اون برام لانگ ران اورج ولیو حساب کنه، بعد مقایسه کنم با اون لانگ ران اورج ولیو که از متلب دارم و وقتی این مرحله اوکی شد این قسمت به عنوان بخشی از الگوریتم یادگیری تقویتی استفاده بشه، ولی فعلا هدفم مرحله اول یعنی شبیه سازی در پایتون هست.

پروژه توسط کسی باید انجام بشه تخصص تو زمینه ی فرایندهای مارکوف پیوسته،‌شبیه سازی و یادگیری تقویتی و کار با متلب و پایتون را داشته باشه، چون مساله ساده نیست

7 روز

سلام، پوزش از تاخیر فایل متلب ارسال شده مربوط به حل مساله به روش value iteration algorithm می باشد که خروجی های آن که برای ما مهم است، policy 1، Policy2،Leasing R که ماتریس های چند در چند هستند و optimal policy های ما هستند می باشند، همچنین در خروجی متلب lravpu بیانگر long run average value per unit می باشد. در واقع خروجی های lravpu نقش theoretical lrav را برای ما دارند. هدف نهایی حل این مساله از طریق یادگیری تقویتی است ولی در فاز اول شبیه سازی رویدادها در پایتون می باشد بدین صورت که سه ماتریس خروجی را از متلب گرفته و با توجه به پالیسی های اپتیمال حاصل شده از این ماتریس ها lrav را محاسبه کند که از طریق مقایسه با خروجی متلب می توان به درست یا اشتبه بودن ان پی برد. کد پایتونی که خودم نوشتم هم ارسال شد، کد بعد از 9 ساعت اجرا در زمان شبیه سازی 1000000 متوقف شد و تا ان زمان lrav تقریبا 8 بود که با خروجی متلب فاصله زیاد داشت، احتمالا در محاسبه یا هر قسمتی از پایتون من دچار اشتباه شده ام

در این عکس هم مقاله ی بیسی هست که مشخص می کند مشتریان و خدمات از چه تابع احتمالی پیروی می کنند، قسمت هایی که مهم بود رنگی شدند، ممکن است من در تعریف اینها در کد پایتون اشتبا کرده ام.

تمرکز من الان بروی فاز اول و شبیه سازی در پایتون است.

لطفا اطلاع دهید که آیا لازم است دقیقتر توضیح بدهم در مورد ماتریس ها و ... بصورت خلاصه تمرکز ما بروی دو نوع مشتری هستند که به اصطلاح primary user هستند و یک مشتری که secondary user است. سیاست هایی که برای primary user ها secondary user در نظر گرفته شده متفاوت است. policy1 مربوط به اختصاص منبع به مشتری گروه 1 از Pu ها می باشد، Policy 2 مربوط به اختصاص منبع به مشتری گروه 2 از pu ها می باشد و leasing R مربوط به secondary user میباشد که در آن مشخص می شود با توجه به تعداد منابع موجود آیا به Secondary user منبع اختصاص داده شود یا نه. سیاست ها خیلی واضح در متلب توضیح داده شده اند

https://filetransfer.io/data-package/KrQorjCj#link

لطفا چک کنید، دو فایل اپلود شد

فقط من وقتم محدود هست، لطفا اگر ۱۰۰٪ مطمئن هستید که انجام میشه قبول کنید و دقیق بهم بگید چند روز زمان نیازه اگر هر قسمتش نیاز به توضیح بیشتر داره بهم اطلاع بدین تا توضیح بدم من از لایبرری simpy استفاده کردم، شاید همین مشکل ساز شده، چون من نمیدونم چقدر این لایبرری واسه شبیه سازی قابل اطمینانه واینکه تو متلب میشه با تغییر پارامترها یا شماره کیس ایدی چندتا کانفیگیوریشن رو تست کرد

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---