پروژه استخراج صفحات اعضای هیات علمی - خرشکر با یادگیری تقویتی

شرح پروژه

توضیحات پروژه

با سلام.

این پروژه از دو بخش تشکیل شده است،‌ پیش نیاز است و تمرکز اصلی برای انتخاب فریلنسر بر بخش اصلی پروژه است. بنابراین اگر به هر دلیلی قادر به انجام بخش اول نیستید اما تمایل به انجام بخش دوم دارید باز هم پیشنهاد بدهید اما اگر نمی توانید بخش دوم را انجام دهید پیشنهاد ندهید.

بخش اول - پیش نیاز: استخراج لیست آدرس وبسایت دانشگاه های برتر

بیان مساله:

استخراج لیست آدرس وبسایت ترکیبی از ۵۰۰ دانشگاه برتر (https://drive.google.com/file/d/15l1HNTMGZEQLg6Dak-pgu-foL8C50tXC/view?usp=sharing

) دانشگاه های برتر آمریکا (https://drive.google.com/file/d/16SKQZ8rFlbj8iv4riezvXgHL-rgtEjMN/view?usp=sharing) و دانشگاه های برتر در هر موضوع (https://drive.google.com/file/d/1bPKcPirC8mgVNJukdBoWSPXrUJwVKX4W/view?usp=sharing).

دقت کنید که بعضی از دانشگاه ها در چند لیست هستند.

روش پیشنهادی: یک اسکریپت که با استفاده از وبسایت https://univ.cc/ و لیست دانشگاه ها در فایل های pdf فوق سایت دانشگاه را پیدا کند.

خروجی: یک فایل اکسل یا csv داده شود که شامل دو ستون نام دانشگاه و لینک سایت دانشگاه باشد.


بخش دوم - خزشگر مجهز به machine learning برای به دست آوردن لینک صفحات اعضای هیات علمی دانشگاه های بالا

یاز به یک اسکریپت خزشگر (در یکی از زبان های python، go، rust) داریم که در صفحات سایت های دانشگاهی جستجو کند و لیستی از صفحات مربوط به اعضای هیات علمی دانشگاه (Faculty) را ذخیره کند. مثلا باید از سایت دانشگاه ویکتوریا: https://www.uvic.ca/ به صفحاتی نظیر https://www.uvic.ca/gustavson/faculty/faculty/faculty/index.php برسد و همه لینک های اعضای هیات علمی را برگرداند. 

به موارد زیر دقت کنید :

۱) صفحات دانشگاه ها از بخش اول به دست می آید.

۲) برای هر دانشگاه چندین صفحه شبیه صفحه بالا مربوط به دانشکده های مختلف و دپارتمان های مختلف وجود دارد.

۳) تعداد صفحات وبسایت بسیار زیاد است بنابراین نیاز است از طریق هوش مصنوعی تشخیص داده شود که خرش به صورت هوشمند انجام شود.

۴) ما فقط به صفحات اعضای هیات علمی که در آن ها فرد در مورد بیوگرافی و علاقه های پژوهشی اش نوشته است نیاز داریم.

۵) فریلنسر می تواند بر حسب تخصص و مهارت خودش از هر روشی برای رسیدن به راه حل این مساله استفاده کند. اما در این لینک یک روش برای پروژه ای مشابه استفاده شده است:
https://www.semantics3.com/blog/ai-for-automated-web-crawling/

۶) هدف فعلا فقط استخراج لینک صفحات اعضای هیات علمی است. بنابراین چالش سوم که در لینک به سایت semantics3 مطرح شده است مد نظر نیست. فقط چالش اول و دوم.

۷) لطفا توضیح بدهید به چه روشی می خواهید کار را انجام بدهید یا لینک و فایل پروژه های قبلی یادگیری ماشین را بفرستید.

۸) خروجی اسکریپت باید به صورت یک فایل اکسل یا csv  باشد شامل ستون های زیر، خروجی json نیز قابل قبول است. اما اگر پیشنهاد دیگری در مورد خروجی دارید بفرمایید.

University

Faculty

Department

Faculty Name

Url

که مربوط به موارد زیر است.

دانشگاه

دانشکده

دپارتمان

نام عضو هیات علمی

آدرس صفحه


با آرزوی یک همکاری خوب

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

Ehsan88

عضویت پنج سال پیش

20 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 50%