طبقه بندی متن پزشکی با استفاده از آپاچی اسپارک و پایتون (5449)
شش سال پیش منتشر شده
تعداد بازدید: 372
کد پروژه: 156917
شرح پروژه
سلام
نیازمند بهینه سازی و تکمیل کدهای آماده شده در پروژه میباشم.
این کدها بر اساس یک مقاله در این زمینه آماده شده که با تغییر در آن بخشی از کدها آماده شده است ولی نیاز به کمک جهت تکمیل آن دارم.
با استفاده از یک دیتاست مشخص و روش های مطرح شده در مقاله، میخواهیم در دو محیط پایتون و اسپارک تفاوت اجرای کدها و گرفتن نتیجه در این بررسی و مقایسه شود و نتایج در قالب گزارش پایان نامه ارائه شود.(در حال حاضر کدها اجرا و تفاوت زمانی در دو محیط مشخص میباشد ولی نیاز به بهینه سازی میباشد )
کدهای پایتون با استفاده از کتابخانه NLTK تقریبا آماده شده است.
کدهای اسپارک نیز بخش عمده آن با استفاده از کتابخانه pyspark آماده شده است ولی باید مدل یادگیری ماشین SVM ایجاد شود.
در این پروژه کدهای پیش پردازش متن انجام شده ولی نیاز به بررسی و بهینه سازی دارند که هم در محیط پایتون هم در محیط اسپارک همسان باشند.
در این پروژه از مدل های naive bayes ، SVM و logistic regression استفاده شده است که باید SVM در اسپارک تکمیل شود و یک مقایسه و بهینه سازی در دو محیط انجام شود.
ارزیابی مدل های یادگیری با استفاده از چهار روش f-score , accuracy , precision , recall انجام شود. که بخشی از آن آماده شده و نتیجه نمایش داده میشود.
مصور سازی نتایج و مقایسه بین دو محیط انجام شود.
در آخر یک راهنمایی اجمالی در خصوص پردازش زبان طبیعی (NLP) و چگونگی استفاده از آنها انجام شود.
در پروژه نیاز به مستند سازی خاصی نمیباشد (صرفا جهت یادگیری نکاتی که جدید انجام میشود کفایت میکند.)
این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
10روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت سیزده سال پیش
