63659 پروژه پایتون

شرح پروژه

سلام

وقت بخیر

مدل پیشنهادی: مدلی بر مبنای شبکه عصبی با یادگیری عمیق در فضای برداری است که با استفاده از یک پیکره انجام شود.

با این تعریف که ابتدا پیکره آموزش ببیند و بردارهای وازه و متن تشکیل شود. بردارهای واژگان هدف و متن هدف  مشخص و در نهایت خوشه‌بندی شود.

پیکره آماده شده و داده‌های زبان طبیعی فارسی است

گام دوم: ساخت بردار واژه و متن

در اين مرحله، الگوریتم، یک پیکره متنی بزرگ را به عنوان داده آموزش فرا می‏گیرد و بر این اساس، بردار واژه‏ها بر اساس پيكره ساخته مي‏شود. پس از آن، بردارهاي واژه براي ساخت بردار متن يعني جملات حاوي واژگان هدف استفاده مي‏شود. از آنجا كه در ساخت بردار متن، واژه‏هاي محتوايي و نقشي (حروف اضافه، ربط و...) هر دو حضور دارند و براي افزايش اهميت واژه‏هاي محتوايي و كاهش اهميت واژه‏هاي نقشي از روش وزن‏دهي تی اِف – آی دی اِف استفاده مي‏شود. براي اين منظور ابتدا بسامد تمام واژه‏هاي متن هدف و پيكره استخراج و تی اِف – آی دی اِف آن محاسبه مي‏گردد. با داشتن بردار واژه‏ها و وزن حاصل از تی اِف – آی دی اِف و مشخص كردن متن هدف، ميانگين وزن‏دار واژه‏هاي اطراف واژه هدف محاسبه و به عنوان بردار بافت در نظر گرفته مي‏شود. در نهايت اين بردارها به الگوريتم خوشه‏بندي داده مي‏شود و خروجي آن مورد بررسی قرار مي‏گيرد. 

برای آموزش داده‏ها، الگوریتم‏های وردتووک و برت پیشنهاد می‏شود.

گام سوم: شناسایی واژه و متن هدف

در این مرحله یک مجموعه كوچك به عنوان داده آزمون تهیه می‏شود تا با کمک آن مدل پيشنهادي ارزيابي شود. از آنجا که در این مدل، داده‏ها به صورت خودکار تهیه شده، براي ارزيابي مدل، بخشي از آنها به عنوان داده آموزش و بخشي ديگر به عنوان داده آزمون انتخاب مي‏شود. براي آزمون، ابتدا عناوين منتسب به حوزه مفهومي مورد نظر با استفاده از اصطلاحنامه و جستجو در منابع تخصصي اين حوزه شناسايي مي‏شود. سپس اين عناوين در پيكره جستجو مي‏شود تا معلوم شود كدام يك از عناوين در متون پيكره به كار رفته است. بدين ترتيب واژگان هدف شناسايي مي‏شود. سپس جملات شاهد مربوط به اين عناوين از مجموعه داده آزمون استخراج مي‏شود. در اين روش واژگان و به تبع آن جملات، با يك بردار نشان داده مي‏شود و ارتباط معنايي ميان واژگان با محاسبه فاصله ميان آنها بررسي مي‏شود. فاصله اقلیدسی و فاصله كسينوسي، مهمترين معيارهاي محاسباتي براي محاسبه فاصله بردارهاست، تابعی که برای اندازه‏گیری میزان شباهت یا عدم شباهت دو بردار استفاده می‏شود. هر قدر زاويه ميان بردارها به يك نزديك باشد يعني ارتباط معنايي قوي‏تر است و واژگان شباهت معنايي بيشتري به يكديگر دارد و هر چه به صفر متمايل شود ضعف ارتباط را مي‏رساند و اين يعني واژگان از نظر معنايي شباهت كمتري دارند و يا اصلا شباهتي ندارند (سلیمانی‏نژاد، سلاجقه و طیبی‏نیا، 1397؛ قيومي، 1398). 

در ادامه بردارهاي متن به عنوان داده ورودي به الگوريتم خوشه‏بندي داده مي‏شود. تعداد خوشه‏هايي كه در اين روش بدست مي‏آيد، هر يك مفاهيم خود را مي‏رساند و يكي از معاني واژه يا مفهوم مورد نظر را تبيين مي‏كند. بدين ترتيب ابهام‏زدايي از حوزه مفهومي خاص انجام مي‏شود.

گام چهارم: محاسبه شاخص‏ها

برای ارزیابی مدل، از شاخص‏های اصلی ارزیابی مدل‏های یادگیری ماشینی استفاده می‏شود: درستی، دقت، بازخوانی و شاخص اِف که هر کدام از این شاخص‏ها جداگانه و برای کسب اطمینان نسبت به صحت و کارایی مدل سنجیده می‏شود.

ارزیابی یک مدل با استفاده از نمونه آموزشی انجام می‏شود (محدث دیلمی، صدر و ترخان، 1400). از آنجا که در این مدل، داده‏ها به صورت خودکار و با استفاده از الگوریتم تفکیک شده است؛ برای ارزیابی مدل، بخشی از آنها به عنوان داده آموزش و بخشی به عنوان داده آزمون انتخاب و این فرایند چندین بار تکرار می‏شود. در پایان میانگین مقدارهای بدست آمده برای شاخص‏ها به عنوان نتایج نهایی در نظر گرفته می‏شود. 

در اين مدل از زبان برنامه‏نويسي پايتون استفاده خواهد شد. پایتون یک زبان برنامه‏نویسی متن باز در حوزه پردازش زبان طبیعی و داده‏کاوی است که از سوی گیدو ون روسام در سال 1991 طراحی و ارائه شد. ویژگی‏های خاص این زبان برنامه نویسی سبب شد تا به سرعت رشد کرده و توجه بسیاری از شرکت‏های بزرگ دنیا را به خود جلب کند (احسانیان و قیاسی، 1397).

زبان برنامه‏نویسی پایتون با اهداف یادگیری ماشینی و داده‏کاوی استفاده می‏شود و به دلیل برخورداری از کتابخانه‏ها یا ابزارهای گوناگون در تحلیل زبان‏ها، بسیار قدرتمند و حرفه‏ای عمل می‏کند تا جایی که برنامه‏نویسان از آن با عنوان «چاقوی سوئیسی» یاد می‏کنند (احسانیان و قیاسی، 1397).

از اینرو به نظر مي‏رسد استفاده از ابزارهاي ويژه يا كتابخانه‏هاي آن مانند تنسور، کراس، جنسیم و... ویژه شبکه‏های عصبی براي ساخت بردارهای واژه و متن و نيز كتابخانه‏هاي كلاستر و اسکلرن و... براي الگوريتم‏هاي خوشه‏بندي مفيد باشد.

نرم‌افزار پایتون

و زمان حداکثر ۲ هفته

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

nikotex

عضویت سه سال پیش

25618 پروژه ثبت شده ،

19 پروژه در حال انجام ،

95 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 14%