اشنایی عملی با Hadoop مدل برنامه نویسی map reduce کار با paiers و stripes

شرح پروژه

به نام خدا

 هدف این تمرین اشنایی شما با نحوه استفاده از pairs ، stripes ، partitioner و in mapper combiner در حل

مسائل به روش نگاشت-کاهش و همچنین استفاده از مدل برنامه نویسی نگاشت-کاهش در حل مسائل مختلف است.

 در حل سوالات به دو نکته مهم )در حل مسائل بیگ دیتا( توجه کنید. 1- تا حد امکان communication را کم کنید.

-2 از بافرینگ اجتناب کنید. تا جایی که ممکن است مرتب سازی را بر عهده frame work بگذارید.

 به همراه این پروژه فایل راهنما ارائه نمی شود.

پروژه سوم: اشنایی عملی با Hadoop )مدل برنامه نویسی reduce-map )2( )

بخش اول : s& Stripe sPair

ابتدا دیتاست rel.csv را از ادرس زیر دانلود کنید.

https://drive.google.com/file/d/0BytgRMHGoASgUDNrZEFSaWNJNDQ/view?usp=sharing سوال اول: در این دیتاست هر ردیف شامل یک جفت رشته است که می تواند بصورت ) 2 ,c 1 (c بازنمایی شود. برنامه نگاشت-

کاهشی بنویسید که تعداد هر جفت در دیتاست را مشخص کند و تعداد کل جفت های یکتا را بدست اورد. ترتیب جفت ها مهم

نیست مثال (c1,c2) برابر (c2,c1) است.

سوال دوم: فرض کنید L مجموعه تمام اولین عضو ها و R مجموعه تمام دومین عضو ها در جفت ها است. یک برنامه نگاشت -

کاهش بنویسید برای بدست اوردن R-L )یعنی مجموعه رشته هایی که در R ظاهر شده اما در L ظاهر نشده است(.

دانشگاه خواجه نصیرالدین طوسی کلان داده

پروژه سوم : اشنایی با اذر ماه 99 Hadoop )مدل

برنامه نویسی map –reduce )2()

توصیه می شود و لطفا استفاده شود. همچنین in mapper combiner نکته : در کدام یک از سوالات این بخش استفاده از

دارد؟ combiner چه مزیتی نسبت به in mapper combiner بگویید که

Relational Joins: بخش دوم

دو فایل وجود دارد که مربوط به امتیازهایی است که کاربران به فیلم ها داده اند. Movielense در پوشه

شماره نام دیتاست رکورد نمونه توضیح

است. I عنوان فیلم شماره M (I,M) u.item 1

داده است. R امتیاز I به فیلم T در زمان U کاربر (U, I,R,T) u.data 2

برای پاسخ به این سوال استفاده کنید. به کمک برنامه نگاشت-کاهش نام فیلم هایی که هر کاربر map-side join سوال اول: از

به ان ها امتیاز داده مشخص کنید. خروجی ایدی کاربر و نام فیلم هایی که به انها امتیاز داده است.

برای این سوال استفاده کنید. برای هر فیلم ایدی افرادی که به ان فیلم امتیاز داده اند را reduce-side join سوال دوم: از

بدست اورید. حداکثر 11 نفر از افرادی که بیشترین امتیاز را به فیلم داده اند در خروجی نشان دهید. خروجی به صورت : نام

فیلم ، ایدی 11 نفر از افرادی که بیشترین امتیاز را به فیلم داده اند به ترتیب نزولی امتیازات.

Inverted Index TF.IDF: بخش سوم

ان را به کمک نگاشت-کاهش بدست Inverted Index سه داکیومنت وجود دارد که شما باید doc سوال اول: در پوشه

اورید. در ابتدای داکیومنت شماره ان اورده شده است.

نکته: ممکن است لازم باشد مواردی مانند نقطه یا حروف اضافه حذف شوند. )نمره امتیازی(

reducer و mapper نکته : در هر کدام از سوالات بالا مقادیر کلید-مقدار اولیه، میانی و نهایی را مشخص کنید. نحوه عملکرد

انها را شرح دهید. Partitioner و combiner را شرح دهید. در صورت نیاز به استفاده از

مواردی که انتظار می رود دانشجو با حل این پروژه به ان ها دست یابد:

 تقویت مهارت حل مسائل مختلف با مدل نگاشت-کاهش

 درک اهمیت طراحی جفت کلید- مقدار در ورودی و خروجی توابع mapper ، reducer و combiner

 نحوه استفاده از pair ، stripe ، partitioner و in mapper combiner در حل مسائل

نکات تحویل

 در انتهای ترم و بعد از ارسال همه تمرینها، به صورت آنلاین و از طریق اسکایپ تمرینها تحویل گرفته خواهد شد .

 هدف تمرین یادگیری هر چه بهتر مطالب ارائه شده در کلاس است . لذا از کپی کردن جدا خودداری کنید . تشابه غیرمنطقی

بین گزارش ها و کدهای ارسالی تقلب محسوب شده و نمره تمرین تمامی افراد شرکت کننده در آن صفر در نظر گرفته

خواهد شد .

 برای پاسخ های خود گزارشی تهیه کنید و به همراه کد ضمیمه کنید. در گزارش خود توضیحی مختصر از کد خود ارائه

کنید .

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر138798

عضویت چهار سال پیش

5 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 0%