ساخت web crawler و جمع آوری ایمیل های فیشینگ و ایجاد یک dataset
چهار سال پیش منتشر شده
تعداد بازدید: 665
کد پروژه: 332339
شرح پروژه
برای ساخت یک پایگاه داده شامل ایمیل های فیشینگ به خزنده نیاز دارم که از صفحات وب داده های مورد نظر را استخراج کند و یک دیتا ست بسازد. این دیتاست باید شامل ایمیل های مخرب و سالم باشد. مخرب و سالم بودن آن باید بر اساس یک سری ویژگی ها تعیین شود. لطفا فایل ضمیمه را مطالعه کنید تا بهتر متوجه شوید.
جمع آوری داده ها و ایجاد یک پایگاه داده که به صورت فایل های ایمیل از دو منبع phishtank.com و open phish.org و با استفاده از خزنده (Crawler) جمع آوری میشود در واقع اطلاعات را از درون صفحات وب پیدا کرده و همچنین ویژگی های مورد نظر را از درون این اطلاعات استخراج کند
برنامه به زبان پایتون باشد و از کتابخانه Scrapy استفاده شود.
توضیحات بیشتر:
دیتاست نهایی باید دارای 3 فایل داده ای اصلی باشد. Training , test و داده های گردآوری شده از سایتهای http://www.phishtank.com/ که به صورت لینک هایی اطلاعات درون وب سایت قرار دارد. این اطلاعات به صورت کاملا متنی و به صورت تک خطی لینک وب سایت های اسپم میباشد. این فایل شامل 41945 لینک مخرب پست الکترونیکی میباشد. اطلاعاتی که وب سایت openphish.org در اختیار ما قرار داد به صورت یک فایل text است که شامل 3876 رکورد میباشد که لینکی از اطلاعات را در سیستم ذخیره میکنیم. دراین بخش 4327 پست الکترونیکی را به دست آوردیم که 2949 عدد از این پیامها غیر مخرب و 1378 پست الکترونیکی مخرب میباشد. پستهای الکترونیکی در فرمت eml هستند که در فرمت استاندارد RFC822 توضیح داده شده است. همچنین این پستهای الکترونیکی در استاندارد MIME هستند. هر کدام از پستهای الکترونیکی درون پوشه TRAINING قرار داده شده اند و فایل برچسب نیز درون فایل اصلی با نام SPAM Train .label قرار داده شده است. اطلاعات درون این فایل به صورت ساختار csv قرار داده شده است و برچسبی برای اسپم و یا اسپم نبودن داده ها میباشد.
- لیستی از لینک های از دو منبع phishtank.com و open phish.org با استفاده از خزنده جمع آوری کرده ایم.
- ساخت پوشه phishtank_crawler
- scrapy startproject phishtank_crawler
- انتخاب عناصر مورد نیاز یک وب سایت به کمک Xpath
- پایگاه داده SQLite
دراین قسمت ما بخش اصلی پست الکترونیکی و بخش عنوان را ذخیره میکنیم تا برای تولید Bag-of-word مورد استفاده قرار گیرد. اطلاعات به دست آمده دراین بخش و اطلاعات با استفاده از قوائد منظم در بخش بالا با هم ترکیب شده و به کد پایتون داده میشود تا بتوانند جمله ها را به کلامت و ساختاری حتی بهتر به بردار با استفاده از الگوریتم word2vec تبدیل کنیم و با استفاده از الگوریتم های WEKA به تحلیل این کلمات بپردازیم.
لطفا فایل ضمیمه شده را مطالعه کنید
این پروژه شامل 2 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
10روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت چهار سال پیش
