(12694)پروژه داده کاوی با mapreduce و Hadoop و spark )
سه سال پیش منتشر شده
تعداد بازدید: 906
کد پروژه: 204595
شرح پروژه
#پروژه_جدید
#کد_پروژه: 12694
موضوع: پروژه داده کاوی با پایتون
مجموعه داده اي كه پروژه پاياني درس بايد روي آن انجام شود را از لينك زيرميتوانيد ببينيد ودانلود كنيد.
https://archive.ics.uci.edu/ml/datasets/Record+Linkage+Comparison+Patterns
لينك مستقيم دانلود داده ها:
https://archive.ics.uci.edu/ml/machine‐learning‐databases/00210/donation.zip
لينك مستقيم دانلود توضيحات مربوط به داده ها:
https://archive.ics.uci.edu/ml/machine‐learning‐databases/00210/documentation
فایلی که دانلود می کنید از یک سری فایلcsv تشکیل شده که نام آنها شاملblock هست برای تحلیل که انجام می دهید باید با استفاده از اسپارک این فایل ها را لطف و تجمیع کنید بعد از تجمیع داده ها پیش پردازش های لازم را انجام دهید تا مجموعه داده آماده پیاده سازی الگوریتم های داده کاوی /یادگیری ماشین (طبقه بندی) شوند فاز پیش پردازش نیز باید در محیط اسپارت صورت گیرد بعد از این کار با استفاده از یک یا چند روش از روشهای طبقه بندی که اسپارک ارائه داده باید عملیات طبقه بندی(classification) را این مجموعه داده پیاده سازی کنید در نهایت باید ارزیابی مدل‌های ایجاد شده را با شاخص‌های
ROC
f_measure(f1)
accuracy
انجام دهید
Dataset Summary
Record Linkage Comparison Patterns
https://archive.ics.uci.edu/ml/datasets/Record+Linkage+Comparison+Patterns
Number of Instances: 5,749,132
Number of Attributes: 12
Size: 250 MB
Attribute Characteristics: Real
Area: Registry Data Patterns
در نهايت براي ارائه گزارش، كل فرايند طي شده در قالب متدولوژي CRISP را به صورت يك گزارش در قالب فازهاي اين متدولوژي ارائه خواهيد داد. فايل گزارش بهمراه فايل نوت بوك كه پروژه در ان انجام شده و نتايج قابل مشاهده هست را ارسال كنيد. اين حداقل كاريست كه بايد انجام شود. به گروهي كه بهترين نتايج را بدست بياورند نيز پون مثبت اضافه تعلق خواهد گرفت. البته موضوع fitting‐Over را در نظر داشته باشيد. ميتوانيد روش هاي مختلفي با تنظيم پارامتر هاي مختلف را براي پياده سازي طبقه بندي استفاده كنيد تا به بهترين نتايج برسيد. اين اختيار را داريد كه مجموعه داده و ويژگي هاي آن را به هرروشي پيش پردازش وپردازش كنيد ولي نبايد از چارچوب اسپارك خارج شويد.
وقت ما تا ۱۲ اسفند
مهارت ها و تخصص های مورد نیاز
بودجه
750,000 تومان تا 5,000,000 تومان
مهلت برای انجام
10روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت یازده سال پیش
