پروژه پردازش تصویر (80856)

---

شرح پروژه

پردازش تصویر_ تغییر بخش yaml در yolov5

📑 با سلام. تعدادی لایه باید به قسمت head در yolov5 افزوده بشه. کد لایه ها نوشته شده و تنظیم پارامتر ها و ورودی لایه ها مد نظر هست. لطفا کسانی که به طور کامل به معماری و لایه های داخلی yolov5 مسلط هستند پیام بدن تا توضیحات دقیق ارسال بشه.

مهم پیاده سازی هست. من تقریبا تمام کد ها رو نوشتم البته نمی دونم کامل درست هستن یا نه و مشکلم تو قسمت yaml و تنظیم ورودی های یکی از‌کلاس های نوشته شده تو yolo.py هست. معماری کل‌کاری به این صورت هست. من قسمت بکبن رو به efficientnetv2 تغییر دادم. بعد یه لایه مشابه detect ایجاد کردم که برای هریک از ورودی های detect که جمعا ۳ تا‌ورودی هست میاد ماکسیمم مقدار کانفیدنس رو مشخص میکنه تابفهمیم کدوم ورودی بیشترین تاثیر رو در خروجی داشته. بعد از ترین یولو فریز میشه و بعد ویژگی های استخراج شده از بکبن رو تو سه تا مقیاس ۲۵۶،۵۱۲،۱۰۲۴ رو میگرم و هر کدوم رو به یک cbam میدم. کد های cbam رو اضافه کردم و این بخش رو تو yaml قرار میدم بهم خروجی میده. بعد قرار هس خروجی cbam ها تو هر مقیاس رو به ماکسیمم کانفیدنسی که تو همون مقیاس داحل یولو پیدا کردم ضرب کنم(کلاسی که بیاد ضرب بکنه رو هم نوشتم ولی تو تنظیم ورودی هاش تو parse model مشکل دارم). بعد با upsample , downsample همشون رو به مقیاس 512 میبریم. و یدونه در عمق اوریج پولینگ میگیریم و یه و لایه mlp و در نهایت با سافت مکس طبقه بندی میکنیم.

https://drive.google.com/drive/folders/1NHwH7hw9rr7VUWrkl3vwi252wDj0vVud?usp=sharing

این لینک کد ها هست.

اینم توضیحات: کلاس DETECT1 میاد برای 3 تاویژگی ماکسیمم کانفیدنس رو حساب میکنه و خروجی با مقادیر فرضی به این صورته [0.25,0.80,0.60] کاری که قرار هست انجام بشه اینه که بیام 3 تا ویژگی رو از بکبن بگیریم بدیم به CBAM و خروجی CBAM رو بگیریم. 3 تا لایه Multiplier تعریف میشه که میاد خروجی CBAM و خروجی DETECT1 رو به همراه یه پارامتر عددی که مقدارش 1 یا 2 یا 3 هست رو میگیره و به طور مثال اگر مقدار پارامتر 1 باشه میاد خروجی CBAM رو به عنصر شماره یک خروجی DETECT1 ضرب میکنه و طبق شکل همین کار رو برای 3 لایه انجام میدیم. تا این جای کار خروجی های ما تو 3 تا مقیاس 256و 512و 1024 هستن. بعد میایم همه خروجی ها رو با upsampel, downsample به مقیاس 512 میبریم بعد یه لایه اوریج پولینگ در عمق اعمال میکنم و بعد یه لایه fc و بعد خروجی رو با استفاده از سافتمکس میگیریم. در واقع این کار ها رو میخوام تو head2 نوشته بشن. به طور کلی من اومدم تو فایل yaml بخش head2 رو نوشتم. اخر سر میخام نتایح این بخش مثل نتایج خود یولو با head اصلی باشن و باهم مقایسه کنم. تو فایل yaml کلاس detect1 , Multiplier, cbam, concat1 اضافه شدن که کدهاش رو تو common.py نوشتم. کلاس concat1 همون لایه fc, averagr pooling و softmax هست که نمیدونم درستن یا نه.

فایل های یولو کلا به صورت وابسطه به هم هستن. تغییرات باید تو بخش models تو فایل های yolov5nefficientnetv2.yam و common.py و yolo.py اعمال بشن

3 روز زمان

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---