بيگ ديتا- map reduce
چهار سال پیش منتشر شده
تعداد بازدید: 362
کد پروژه: 320523
شرح پروژه
در این بخش میخواهیم با پیادهسازی الگوی برنامهنویسی Reduce-Map آشنا شویم. توصیه میشود که برای این بخش از
تمرین از PySpark استفاده کنید، چرا که به راحتی میتوانید آن را در پلتفرم گوگل کولب نصب کرده و با استفاده از آن کدهای
خود را اجرا کنید.
مجموعهدادهی مورد استفاده در این سوال در فایل dataset1.txt قرار گرفته است. هر سطر از این مجموعهداده شامل آیدی یک
کاربر و با یک tab آیدی کاربرانی که با آن دوست هستند، آمده است. میخواهیم برای هر کاربر، از میان کسانی که در حال حاضر با
آن فرد دوست نیستند، کاربرانی که با آنها بیشترین دوست مشترک را دارد، به عنوان افرادی که ممکن است بشناسند پیشنهاد
دهیم. در پیادهسازی و گزارش خود موارد زیر را در نظر بگیرید:
.1 کدها حتما با استفاده از الگوی برنامهنویسی Map-Reduce نوشته شوند.
.2 8814 تعداد 11 دوست پیشنهادی را چاپ کنید. ،911 ،117 ،135 ، در خروجی برای کاربران با آیدیهای 98
.3 در گزارش علاوه بر قرار دادن خروجی الگوریتم برای کاربران ذکر شده، کد نوشته شده را توضیح دهید. این توضیح کافی
است شامل بخش مربوط به توابع map و reduce باشد.
استفاده از کتابخانه های آماده برای بخش های خواسته شده، در پیاده سازی مجاز نیست.
برای این تمرین یک فایل گزارش در قالب
pdf تهیه کنید و در آن برای هر سوال، تصاویر ورودی، تصاویر خروجی و توضیحات مربوط به آن را ذکر کنید. سعی کنید توضیحات کامل
و جامعی
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
2روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت چهار سال پیش
