یادگیری تقویتی فازی - cartpole

---

شرح پروژه

ﺷﺮح ﻣﺴﺎﻟﻪ

CartPole ﻳﻜﻰ از ﻣﺴﺎﺋﻞ ﻛﻨﺘﺮﻟﻰ ﻣﻌﺮوف اﺳﺖ. در اﻳﻦ ﻣﺴﺎﻟﻪ، ﻳﻚ ﺳﺮ ﻣﻴﻠﻪ ﺑﺮ روى ﻳﻚ ﭼﺮخ دﺳﺘﻰ ﺛﺎﺑﺖ ﺷﺪه اﺳﺖ. اﻳﻦ ﭼﺮخ دﺳﺘﻰ در اﻣﺘﺪاد ﻣﺴﻴﺮى ﺑﺪون اﺻﻄﻜﺎك ﺣﺮﻛﺖ ﻣﻰ ﻛﻨﺪ. ﺳﻴﺴﺘﻢ ﺑﺎ اﻋﻤﺎل ﻧﻴﺮوﻳﻰ ﻛﻪ در ﺑﺎزه ى ]٢٠,٢٠ـ[ ﺑﻪ ﭼﺮخ دﺳﺘﻰ وارد ﻣﻰ ﻛﻨﻴﻢ، ﻛﻨﺘﺮل ﻣﻰ ﺷﻮد. ﻣﻨﻔﻰ ﻧﺸﺎن ﮔﺮ اﻋﻤﺎل ﻧﻴﺮو ﺑﻪ ﺳﻤﺖ ﭼﭗ و ﻣﺜﺒﺖ

ﻧﺸﺎن ﮔﺮ اﻋﻤﺎل ﻧﻴﺮو ﺑﻪ ﺳﻤﺖ راﺳﺖ اﺳﺖ. ﺗﻨﻬﺎ ﻛﻨﺶﻫﺎﻳﻰ ﻛﻪ ﻣﻰ ﺗﻮاﻧﻴﻢ اﻧﺠﺎم دﻫﻴﻢ، ﻫﻤﻴﻦ اﻋﻤﺎل ﻧﻴﺮو ﺑﻪ ﺳﻤﺖ ﭼﭗ و راﺳﺖ اﺳﺖ.

در اﺑﺘﺪاى ﻫﺮ ﻗﺴﻤﺖ١ ﻣﻴﻠﻪ در ﺣﺎﻟﺖ ﻗﺎﺋﻢ ﻳﺎ ﺑﺎ اﺧﺘﻼف ﺑﺴﻴﺎر ﻛﻤﻰ از ﺣﺎﻟﺖ ﻗﺎﺋﻢ ﻗﺮار دارد و در ﻛﻞ ﻫﺪف ﻣﺎ ﺣﻔﻆ ﺗﻌﺎدل ﻣﻴﻠﻪ اﺳﺖ. در ﺣﻞ ﺳﻮال، ﻫﺮ ﻗﺴﻤﺖ را ﻣﺘﺸﻜﻞ از ٢٠٠ ﻣﺮﺣﻠﻪ زﻣﺎﻧﻰ٢ در ﻧﻈﺮ ﺑﮕﻴﺮﻳﺪ. ﺑﻪ ازاى ﻫﺮ ﻣﺮﺣﻠﻪ ى زﻣﺎﻧﻰ ﻛﻪ ﻗﺴﻤﺖ ﻓﻌﻠﻰ ﻫﻨﻮز اداﻣﻪ داﺷﺘﻪ ﺑﺎﺷﺪ، ﭘﺎداش ١+ در ﻧﻈﺮ ﮔﺮﻓﺘﻪ ﺷﺪه اﺳﺖ.

ﺷﺮاﻳﻂ ﭘﺎﻳﺎن ﻳﻚ ﻗﺴﻤﺖ :

١. زاوﻳﻪ ﻣﻴﻠﻪ ﻧﺴﺒﺖ ﺑﺎ ﺣﺎﻟﺖ ﻗﺎﺋﻢ ﺑﻴﺶ از ٢٠± درﺟﻪ ﺷﻮد.(در ﻣﺤﻴﻂ، ﭘﻴﺎده ﺳﺎزى ﺷﺪه اﺳﺖ) ٢. ﻓﺎﺻﻠﻪى ﭼﺮخ دﺳﺘﻰ از ﻣﺮﻛﺰ، ﺑﻴﺶ از ٥± ﺷﻮد. (در ﻣﺤﻴﻂ، ﭘﻴﺎده ﺳﺎزى ﺷﺪه اﺳﺖ)

ﻃﻮل ﻗﺴﻤﺖ ﺑﻴﺶ از ٢٠٠ ﻣﺮﺣﻠﻪى زﻣﺎﻧﻰ ﺷﻮد. (در اﻳﻦ ﻣﺴﺎﻟﻪ، اﻳﻦ ﺷﺮط در واﻗﻊ ﺗﻌﺪاد ﻣﺮاﺣﻞ زﻣﺎﻧﻰ در ﻫﺮ ﻗﺴﻤﺖ اﺳﺖ ﻛﻪ در اﻳﻦ ﻣﺴﺎﻟﻪ ﺷﻤﺎ اﻳﻦ ﻣﻘﺪار را ٢٠٠ ﻗﺮار ﻣﻰ دﻫﻴﺪ.)

وﺿﻌﻴﺖ ﭼﺮخ دﺳﺘﻰ در ﻫﺮﻟﺤﻈﻪ ﺗﻮﺳﻂ ﻳﻚ وﻛﺘﻮر ﭼﻬﺎر ﻋﻨﺼﺮى ﻧﻤﺎﻳﺶ داده ﻣﻰﺷﻮد ﻛﻪ ﻋﻨﺼﺮ اول در آن ﻣﻮﻗﻌﻴﺖ ﭼﺮخ دﺳﺘﻰ ﻧﺴﺒﺖ ﺑﻪ ﻣﺮﻛﺰ، ﻋﻨﺼﺮ دوم ﻧﺸﺎنﮔﺮ ﺳﺮﻋﺖ ﭼﺮخ دﺳﺘﻰ، ﻋﻨﺼﺮ ﺳﻮم ﻧﻤﺎﻳﺎنﮔﺮ زاوﻳﻪ ﻣﻴﻠﻪ

ﻧﺴﺒﺖ ﺑﻪ ﺣﺎﻟﺖ ﻗﺎﺋﻢ و ﻋﻨﺼﺮ ﭼﻬﺎرم ﻧﻴﺰ ﻧﻤﺎﻳﺎنﮔﺮ ﺳﺮﻋﺖ زاوﻳﻪ اى ﻣﻴﻠﻪ اﺳﺖ ﻛﻪ در ﺟﺪول زﻳﺮ ﻣﻘﺪار ﻛﻤﻴﻨﻪ و ﺑﻴﺸﻴﻨﻪ ﻋﻨﺎﺻﺮ ذﻛﺮ ﺷﺪه اﺳﺖ.

ﻫﺪف ﻧﻬﺎﻳﻰ ﻣﺎ در اﻳﻦ ﻣﺴﺎﻟﻪ اﻳﻦ اﺳﺖ ﻛﻪ در ﻫﺮ ﻗﺴﻤﺖ، ﻣﺪت زﻣﺎن ﺑﻴﺸﺘﺮى ﺗﻌﺎدل ﻣﻴﻠﻪ را ﺣﻔﻆ ﻛﻨﻴﻢ و ﺑﻪ ﻋﺒﺎرﺗﻰ ﭘﺎداش ﺑﻴﺸﺘﺮى در ﻫﺮ ﻗﺴﻤﺖ ﺑﺪﺳﺖ آورﻳﻢ.

در اﻳﻦ ﺗﻤﺮﻳﻦ از ﺷﻤﺎ ﻣﻰ ﺧﻮاﻫﻴﻢ ﺗﺎ ﻳﻚ ﺳﻴﺴﺘﻢ ﻓﺎزى ﻃﺮاﺣﻰ ﻛﻨﻴﺪ ﻛﻪ ﻗﺎدر ﺑﻪ ﻫﺪاﻳﺖ ﭼﺮخ دﺳﺘﻰ ﺑﻮده و در ﻛﻞ ﭼﺮخ دﺳﺘﻰ ﻣﺪت زﻣﺎن ﺑﻴﺸﺘﺮى در آزﻣﺎﻳﺸﺎت اﻧﺠﺎم ﺷﺪه(ﻗﺴﻤﺖ ﻫﺎ) ﻣﺘﻌﺎدل ﺑﻤﺎﻧﺪ. ﺑﻪ ﻋﺒﺎرﺗﻰ ﭘﺎداش ﻣﻴﺎﻧﮕﻴﻦ درﻳﺎﻓﺘﻰ در ﻛﻠﻴﻪ ى آزﻣﺎﻳﺸﺎت(٢٠ ﻗﺴﻤﺖ) ﺗﺎ ﺣﺪ ﻣﻤﻜﻦ ﺑﻪ ﻋﺪد ٢٠٠ ﻧﺰدﻳﻚ ﺷﻮد. ﺑﺮاى اﻧﺠﺎم اﻳﻦ ﺗﻤﺮﻳﻦ از محیط شبیه سازی تغییر یافته‌ی openai gym استفاده کنید. اﻳﻦ ﻣﺤﻴﻂ در ﻓﺎﻳﻞ cartpole_environmentدر اﺧﺘﻴﺎر ﺷﻤﺎ ﻗﺮار داده ﺷﺪه اﺳﺖ

ﺑﺮاى ﭘﻴﺎده ﺳﺎزى ﺳﻴﺴﺘﻢ ﻓﺎزى ﻣﻰ ﺗﻮاﻧﻴﺪ از ﻛﺘﺎﺑﺨﺎﻧﻪ fuzzyـscikit اﺳﺘﻔﺎده ﻛﻨﻴﺪ ﻛﻪ در اداﻣﻪ ﻟﻴﻨﻚ ﻫﺎى ﻣﺮﺑﻮط ﺑﻪ آن ﻧﻴﺰ آورده ﺷﺪه اﺳﺖ ( ﻣﻰ ﺗﻮاﻧﻴﺪ ﺑﺎ ﻣﺸﺎﻫﺪه ﻣﺜﺎل ﻫﺎى ﻣﻮﺟﻮد اﻗﺪام ﺑﻪ ﭘﻴﺎده ﺳﺎزى ﺳﻴﺴﺘﻢ ﺧﻮد ﻧﻤﺎﻳﻴﺪ)

ﻣﺮاﺣﻞ اﻧﺠﺎم و ﻣﻮارد ﺧﻮاﺳﺘﻪ ﺷﺪه :

١. در اﺑﺘﺪا ﺑﺎﻳﺪ ﻣﺘﻐﻴﺮﻫﺎى ورودى و ﺧﺮوﺟﻰ ﺳﻴﺴﺘﻢ ﻓﺎزى را ﻣﺸﺨﺺ ﻛﻨﻴﺪ.

٢. ﺳﭙﺲ اﻗﺪام ﺑﻪ ﺗﻌﺮﻳﻒ ﻣﺘﻐﻴﺮﻫﺎى زﺑﺎﻧﻰ ﻛﻨﻴﺪ.

٣. ﻗﻮاﻧﻴﻦ ﺣﺎﻛﻢ ﺑﺮ ﻣﺤﻴﻂ ﺑﺮاى رﺳﻴﺪن ﺑﻪ ﻫﺪف را ﺗﻌﻴﻴﻦ ﻛﺮده و در fuzzyـscikit ﭘﻴﺎده ﺳﺎزى ﻛﻨﻴﺪ.

٤. در ﺣﻠﻘﻪ اﺻﻠﻰ ﺷﺒﻴﻪ ﺳﺎز ﻧﻘﺶ ﻛﻨﺘﺮﻟﻰ ﺳﻴﺴﺘﻢ را ﭘﻴﺎده ﻛﺮده و اﻗﺪام ﺑﻪ ﺗﺼﻤﻴﻢ ﮔﻴﺮى ﻛﻨﻴﺪ.

٥. ﺗﺼﻤﻴﻢ ﺧﻮد را ﺑﺮ روى ﻣﺤﻴﻂ اﻋﻤﺎل ﻛﺮده و ﻧﺘﻴﺠﻪ را ﻣﺸﺎﻫﺪه ﻛﻨﻴﺪ.

۶. ﺗﺎ زﻣﺎﻧﻰ ﻛﻪ ﻳﻚ ﻗﺴﻤﺖ ﭘﺎﻳﺎن ﻧﻴﺎﻓﺘﻪ ﺑﻪ ﻣﺮﺣﻠﻪ ٤ ﺑﺮوﻳﺪ و ﺗﻜﺮار ﻛﻨﻴﺪ. (اﮔﺮ ﻳﻚ ﻗﺴﻤﺖ ﭘﺎﻳﺎن ﻳﺎﻓﺖ، ﭘﺎداش آن ﻗﺴﻤﺖ را ﻧﻤﺎﻳﺶ دﻫﻴﺪ.)

٧. در ﻧﻬﺎﻳﺖ ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎداش درﻳﺎﻓﺘﻰ را ﻧﻤﺎﻳﺶ دﻫﻴﺪ.

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---