Big Data mini data pipeline
سه سال پیش منتشر شده
تعداد بازدید: 635
کد پروژه: 294202
شرح پروژه
سلام
بنده نیاز به یک پروژه Big Data آماده با بکارگیری ابزارها و عملکرد زیر دارم:
یک مینی دیتاپایپلاین Big Data با هدوپ به همراه Hbase و Flink برروی داکر در کنار MongoDB که یک دیتایی را روی مونگو بریزم و ازونجا روی هدوپ بشینه و به کمک Hbase و Flink ارتباط با مونگو برقرار بشه و درنهایت یک تحلیل ماشین لرنینگ با پایتون هم روش داشته باشم. دیتاست باید یک دیتای حجیم (حداقل ۱میلیون رکورد) باشد. تاکید بیشتر روی بکارگیری ابزارهای بیگ دیتا هستش و نه ماشین لرنینگ.
حتما یک گزارش کامل به زبان انگلیسی حداقل ۴۰۰۰ کلمه شامل موارد زیر باید داشته باشه:
۱- مقدمه ای بر موضوع و تئوری کار
۲- معرفی سیستم پیاده شده و مزایا و معایب آن و مقایسه آن با یک یا دوسیستم بیگ‌دیتای مشابه دیگر مثل آمازون یا مایکروسافت آجور
۳- شرح سیستم پیاده شده به همراه جزئیات کامل نصب(منیوال نصب و راه اندازی استپ بای استپ)
۴- شرحی بر تحلیل انجام شده برروی دیتا ست استفاده شده و روش ماشین لرنینگ که اعمال شده(در حد مختصر چون تمرکز اینجا روی ابزارها هست بیشتر). ترجیحا برای پیاده سازی الگوریتم ماشین لرنینگ از پایتون استفاده شود
۵- نتیجه گیری و پیشنهادات آینده
۶- به همراه سورس کدها و پکیجهای نرم افزاری استفاده شده
یک فایل ویدئویی که مراحل نصب را توضیح بده و یا بجاش یک جلسه آنلاین برای آموزش و نحوه اجرای پروژه روی کامپیوتر خودم هم نیازه. نگران نباشین یک جلسه ۱ ساعته کافیه و چون پیش زمینه اش را دارم سریع میگیرم داستان از چه قراره😊
تا ۱۰ اسفند ۱۴۰۰ فرصت هست برای تحویل کامل
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
12روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت سه سال پیش
