(12694)پروژه داده کاوی با mapreduce و Hadoop و spark )

شرح پروژه

#پروژه_جدید 

#کد_پروژه: 12694

موضوع: پروژه داده کاوی با پایتون

مجموعه داده اي كه پروژه پاياني درس بايد روي آن انجام شود را از لينك زيرميتوانيد ببينيد ودانلود كنيد.

https://archive.ics.uci.edu/ml/datasets/Record+Linkage+Comparison+Patterns

لينك مستقيم دانلود داده ها:

https://archive.ics.uci.edu/ml/machine‐learning‐databases/00210/donation.zip

لينك مستقيم دانلود توضيحات مربوط به داده ها:

https://archive.ics.uci.edu/ml/machine‐learning‐databases/00210/documentation

فایلی که دانلود می کنید از یک سری فایلcsv تشکیل شده که نام آنها شاملblock هست برای تحلیل که انجام می دهید باید با استفاده از اسپارک این فایل ها را لطف و تجمیع کنید بعد از تجمیع داده ها پیش پردازش های لازم را انجام دهید تا مجموعه داده آماده پیاده سازی الگوریتم های داده کاوی /یادگیری ماشین (طبقه بندی) شوند فاز پیش پردازش نیز باید در محیط اسپارت صورت گیرد بعد از این کار با استفاده از یک یا چند روش از روشهای طبقه بندی که اسپارک ارائه داده باید عملیات طبقه بندی(classification) را  این مجموعه داده پیاده سازی کنید در نهایت باید ارزیابی مدل‌های ایجاد شده را با شاخص‌های

ROC

f_measure(f1)

accuracy

 انجام دهید

Dataset Summary

 Record Linkage Comparison Patterns

https://archive.ics.uci.edu/ml/datasets/Record+Linkage+Comparison+Patterns 

Number of Instances: 5,749,132

  Number of Attributes: 12

  Size: 250 MB 

 Attribute Characteristics: Real 

Area: Registry Data Patterns

در نهايت براي ارائه گزارش، كل فرايند طي شده در قالب متدولوژي CRISP را به صورت يك گزارش در قالب فازهاي اين متدولوژي ارائه خواهيد داد. فايل گزارش بهمراه فايل نوت بوك كه پروژه در ان انجام شده و نتايج قابل مشاهده هست را ارسال كنيد. اين حداقل كاريست كه بايد انجام شود. به گروهي كه بهترين نتايج را بدست بياورند نيز پون مثبت اضافه تعلق خواهد گرفت. البته موضوع fitting‐Over را در نظر داشته باشيد. ميتوانيد روش هاي مختلفي با تنظيم پارامتر هاي مختلف را براي پياده سازي طبقه بندي استفاده كنيد تا به بهترين نتايج برسيد. اين اختيار را داريد كه مجموعه داده و ويژگي هاي آن را به هرروشي پيش پردازش وپردازش كنيد ولي نبايد از چارچوب اسپارك خارج شويد.

وقت ما تا ۱۲ اسفند

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

Hamyarprozhe

عضویت یازده سال پیش

52355 پروژه ثبت شده ،

42 پروژه در حال انجام ،

222 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 15%