انجام پروژه nlp به زبان پایتون

شرح پروژه

سلام

در زمینه nlp به زبان پایتون کمک میخواستم، الگوریتمی دارم تهیه میکنم خواستم به پایتون نوشته بشه، 

هدف: کاهش ابعاد هست در متن در واقع حذف کلمات کم اهمیت

- در واقع یک مجموعه ای از کامنت های مخاطبان در مورد موضوعی رو دارم که هر کامنت قاعدتا شامل چند جمله هست،میخوام کلمات مهم و کالوکیشن(n-gram) های مهم رو استخراج کنم و جایی ذخیره کنم و مابقی کلمات رو از متن حذف کنم تا طول جملات کم بشه 

- کلمات و کالوکیشن های مهم،به اونهایی میگیم که ترکیب ویژگیهای زیر رو داشته باشند، ((البته باید یک وزن (ضریب) برای هر یک از سه ویژگی زیر در نهایت لحاظ بشه و اگر وزن نهایی کلمه یا کالوکیشنی در مجموع به یک عدد مشخصی رسید بگیم مهم هست، چون هنوز اینکار انجام نشده لذا نمیتونم ضرایب رو مشخص کنم) 

مثلا بشه 

w1 * تعداد تکرار + w2 * عدد همبستگی + w3 * 

انسجام = میزان اهمیت کلمه یا کالوکیشن

۱- پر تکرار باشند 

۲- همبستگی با موضوع(title) داشته باشند

۳- در جملات دیگر در همون کامنت، مترادف آنها یا متضاد آنها و یا عینا همون کلمات یا کالوکیشن اومده باشند( ممکنه کلماتی این خصوصیت رو داشته باشند که حتی پرتکرار هم نباشند) .

* فک کنم بهتره که هر کلمه اول با wordtovec تبدیل به بردار بشن تا بعدا برای بدست اوردن مترادف و متضاد و ... راحت بشه باهاش کار کرد

* برای مشخص کردن معیار همبستگی، مترادف یا متضاد بودن هم میتوان با wordtovec میزان شباهت رو بدست اورد ویا از معیارهایی مثل cosin similaritoryاستفاده کرد و اگه از حد مشخصی بیشتر بود، بگیم دو کلمه یا دو کالوکیشن ( یا کلمه و title)، همبستگی دارند یا همبستگی معکوس(متضادند) دارند.

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

مطهره فیاض

عضویت هفت سال پیش

13711 پروژه ثبت شده ،

122 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 36%