Text, Web, and Media Analytics

---

شرح پروژه

این تکلیف به زبان انگلیسی میباشد.

در این تکلیف، برای یک مجموعه داده معین (که شامل 50 مجموعه داده (مجموعه داده) و 50 پرس و جو (موضوعات) است، فرض می کنیم که برای هر پرس و جو یک مجموعه داده وجود دارد و اسناد موجود در هر مجموعه داده برای پرس و جو مربوطه جمع آوری می شوند. شما سعی می کنید یک مدل رضایت بخش برای یافتن اسناد مرتبط در مجموعه داده های مربوطه برای هر پرس و جو ایجاد کنید.

روش مورد استفاده برای این مشکل را می توان به صورت زیر خلاصه کرد:

مدل های موجود را به عنوان مدل های پایه انتخاب کنید زیرا می خواهید مدلی جدید و بهتر طراحی کنید.
از آنجایی که تکنیک‌های مختلفی وجود دارد و ما نمی‌دانیم کدام تکنیک برای جمع‌آوری داده‌های داده شده مؤثر است، معمولاً باید ایده خود را به طور رسمی در الگوریتمی برای پشتیبانی از بحث گروهی توصیف کنید.
این مدل ها را برای مجموعه داده ها و پرس و جوهای داده شده پیاده سازی کنید.
مدل پیشنهادی را در مقایسه با مدل های پایه ارزیابی کنید، از نتایج ارزیابی برای کمک به بهبود مدل پیشنهادی استفاده کنید و در نهایت یک مدل را به کاربران خود توصیه کنید.

روشی که برای تکلیف استفاده می کنید شامل وظایف زیر است:
• وظیفه 1 - طراحی یک مدل IR مبتنی بر BM25 (BM25) که اسناد را در هر مجموعه داده با استفاده از موضوع (پرس و جو) مربوطه برای همه 50 مجموعه داده رتبه بندی می کند.
• وظیفه 2 - طراحی یک مدل زبان مبتنی بر Jelinek-Mercer (JM_LM) که اسناد را در هر مجموعه داده با استفاده از موضوع مربوطه (پرس و جو) برای همه 50 مجموعه داده رتبه بندی می کند.
• وظیفه 3 - بر اساس دانشی که از این واحد به دست آورده اید، یک مدل شبه مرتبط (My_PRM) طراحی کنید تا اسناد را در هر مجموعه داده با استفاده از موضوع مربوطه (پرس و جو) برای هر 50 مجموعه داده رتبه بندی کنید.
• وظیفه 4 - از پایتون برای پیاده سازی سه مدل استفاده کنید: BM25، JM_LM و My_PRM، و آنها را روی 50 مجموعه داده داده شده برای 50 پرس و جو (موضوع) مربوطه آزمایش کنید.
• وظیفه 5 - از سه معیار اثربخشی برای ارزیابی سه مدل استفاده کنید.
• وظیفه 6 – مدلی را بر اساس آزمون معناداری و تجزیه و تحلیل خود توصیه کنید

مهارت ها و تخصص های مورد نیاز

---

---