پروژه  هوش مصنوعی(29081)+

شرح پروژه

📑 هدف این پروژه پیاده‌سازی الگوریتم‌های طبقه‌بندی و خوشه‌بندی، طراحی خزنده، و ارزش‌گذاری مقالات و رتبه‌بندی نویسنده‌ها بر اساس اطلاعات جمع‌آوری‌شده توسط خزنده است.

طبقه‌بندی و خوشه‌بندی :

در این بخش از پروژه قصد داریم طبقه‌بندی و خوشه‌بندی را روی داده‌های متنی موجود در دیتاست AG News انجام دهیم. 

داده‌های این دیتاست از سه بخش تشکیل شده‌اند: عنوان خبر، متن خبر، و دسته‌ی خبر.

داده‌ها (خبرها) در این دیتاست 4 دسته می‌باشند که این دسته‌ها به‌صورت زیرند:

World : 0

Sports : 1

Business : 2

Sci/Tech : 3

با توجه به اینکه نمی‌توان مدل‌های طبقه‌بندی و خوشه‌بندی را به‌طور مستقیم بر روی داده‌های متنی آموزش داد و آزمود، در ابتدا باید این داده‌ها را به شکل عددی تبدیل کنیم. برای این کار روش‌های مختلفی وجود دارد. یکی از این روش‌ها، استفاده از الگوریتم tf-idf و اعمال تجزیه SVD (به‌منظور کاهش ابعاد) برای ایجاد embedding متناظر با متن می‌باشد. با استفاده از قطعه کد زیر، عملیات گفته‌شده را اجرا می‌کنیم.

طبقه‌بندی :

در این بخش سه مدل Naïve Bayes، k-Nearest Neighbors و SVM را بررسی می‌کنیم. به ازای هر یک، در ابتدا مدل را با استفاده از داده train، آموزش داده و سپس با استفاده از داده vaidation، به بررسی کلی عملکرد و تنظیم هایپرپارامتر و ویژگی‌های مدل می‌پردازید و بهترین مدل را با توجه به صحت (accuracy) مدل انتخاب می‌کنید. در بخش ارزیابی به بررسی عملکرد مدل‌های انتخاب‌شده بر روی داده test بر اساس معیارهای گفته‌شده، می‌پردازید.

توجه داشته باشید که به ازای هر خبر، سه نوع embedding متناظر با آن خبر داریم و درنتیجه به ازای هر الگوریتم، باید سه مدل را به عنوان مدل نهایی انتخاب نمایید. یعنی 9 مدل در انتها باید بر روی داده test متناظر بررسی شوند. این مدل‌ها به‌صورت زیر می‌باشند:

مدل naïve bayes آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر

مدل naïve bayes آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر

مدل naïve bayes آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر

مدل knn آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر

مدل knn آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر

مدل knn آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر

مدل svm آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر

مدل svm آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر

مدل svm آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر

ارزیابی :

با استفاده از معیارهای ارزیابی زیر، عملکرد مدل را روی داده تست بررسی نمایید و مدل‌ها را با هم دیگر مقایسه کنید.

Accuracy

Precision

Recall

F1-score

Confusion Matrix

با توجه به اینکه مسئله طبقه‌بندی این پروژه از نوع چند کلاسه می‌باشد، از macro معیارهای ذکرشده، استفاده نمایید. توجه داشته باشید که می‌توانید از امکانات کتابخانه sklearn برای این قسمت استفاده نمایید.

باقی توضیحات در فایل پروژه ...

لطفا فایل با نام Phase3.ipynb را بازکنید توضیحات وجود دارد

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

Hamyarprozhe

عضویت سیزده سال پیش

56355 پروژه ثبت شده ،

25 پروژه در حال انجام ،

102 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 16%