پروژه پای اسپارک(15744)+

شرح پروژه

2. تجزیه و تحلیل داده های بزرگ - نمودار اجتماعی توییتر توضیحات اساسی: نمایش نمودار اجتماعی توییتر را بارگیری کنید و پاسخ س questionsالات زیر را ارائه دهید: 1. کدام 3 شناسه کاربر بیشترین دنبال کننده را دارند؟  2. کاربر را که بیشترین تعداد حساب را دارد دنبال کنید (کاربر f).  محاسبه: کوتاهترین مسیر بین f و هر کاربر دیگر u در نمودار (به عنوان مثال کمترین تعداد لبه ها بین f و u ، جایی که لبه u1-> u2 نشان دهنده u است ، به دنبال u2).  طول 3 مسیر طولانی و گره های پایان را گزارش دهید.  o اختیاری: طولانی ترین چرخه ، به عنوان مثال  مسیر شروع و ختم در f اما حداکثر یک بار بازدید از کاربران دیگر (گزارش طول ، یا اگر طول کمتر از 20 لبه یا مساوی است ، شناسه های اشاره را گزارش دهید).  3. از داده های نمودار برای پاسخ به س questionsالات زیر استفاده کنید: آیا نمودار کم است یا متراکم؟  آیا جواب به نوعی تعیین می کند که چگونه می توان راه حل س questionsالات 1 و 2 را پیدا کرد؟  اگر نمودار متراکم است ، نمونه ای از نمودار پراکنده (و بالعکس) را ارائه دهید.  o فرض کنید که داده ها به جای دنبال کردن توییتر ، انتقال پول را نشان می دهند.  برای نشان دادن خطر بالای پولشویی ، به دنبال چه الگوهایی هستید؟  چه اطلاعات اضافی دیگری باید به نمودار اضافه شود تا شناسایی پولشویی ساده شود؟  دستورالعمل های دقیق: هیچ محدودیتی در فن آوری (الگوریتم ها ، نرم افزار ، زیرساخت ها) وجود ندارد ، اما ارسال باید شامل شرح روشنی باشد ، شامل.  زیرساخت های مورد استفاده  مجموعه کامل بزرگ است.  در عوض می توانید فقط از 10 میلیون خط بالای داده های منبع استفاده کنید ، اما لطفاً گزینه های مدیریت مجموعه داده کامل را شرح دهید  یک کد قابل تکرار ، و یک شرح مختصر کتبی از رویکرد و پاسخ س questionsالات بالا ارسال کنید.  توضیحات می تواند در دفترچه های pdf ، .docx ، .ppt یا jupyter باشد ، اما قالب باید از ارائه کوتاه به مخاطبان فاقد پس زمینه نمودار پشتیبانی کند.  لینک بارگیری اطلاعات: http://an.kaist.ac.kr/~haewoon/release/twitter_social نمودار / توییتر rv.tar.gz http://an.kaist.ac.kr/~haewoon/release/twitter_social نمودار /  twitter rv.zip لینک جایگزین (اگر با مشکلات بارگیری روبرو هستید): https://open-bucket-22032021.s3.eu-central-1.amazonaws.com/twitter_rv.zip قالب داده: USERID \ t FOLLOWERID \ n

PySpark

یک پروژه تحلیل داده
+++

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

Hamyarprozhe

عضویت یازده سال پیش

49305 پروژه ثبت شده ،

47 پروژه در حال انجام ،

236 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 15%