پروژه پایتون 87169

---

شرح پروژه

یک دیتاست از kaggle مانند
-waether data for cities
-daily weather data
...
شامل دمای روزانه شهرهای مختلف در اختیار دارید:
الف)نشان دهید که برای این که تحلیل‌ها و مدل‌ شما دقت بالایی داشته باشند، چه پیش‌پردازش‌هایی (مانند نرمال‌سازی، استانداردسازی، یا تبدیل تاریخ‌ها) در داده‌ها باید انجام شود؟
ب) چگونه می‌توانید این عملیات‌ها را به صورت موازی در یک محیط مثلا Hadoop انجام دهید
ج) مطلوبست میانگین روزانه دمای شهرها با استفاده از ابزارهای بیگ دیتا مثل  map-reduce
چ) مطلوبست مصورسازی داده ها
خ) کاهش ابعاد(با pca)
د)توزیع دمای هر شهر در بازه مشخص و نمایش هیستوگرام آن
ذ)فرض کنید می‌خواهید پیش‌بینی میانگین دمای روزانه شهرها را برای ماه آینده با استفاده از مدل‌های یادگیری ماشین انجام دهید. با توجه به اینکه حجم داده‌ها بسیار زیاد است، چگونه می‌توانید مدل‌های یادگیری ماشین مقیاس‌پذیر مانند Random Forest یا XGBoost را در یک محیط توزیع‌شده (Spark یا Hadoop) پیاده‌سازی کنید.
و)شهرهای دارای میانگین دمایی یکسان را در خوشه های مشابه قرار داده نمایش دهید(از کدام مدل خوشه بندی استفادهذمیکنید و چرا؟).
ه) چطور میشه با ابزارهایی مثل hadoop این محاسبات را بهینه کرد؟
ط)دیتاست دمای روزانه شهرها به دلیل حجم بالای داده‌ها باید در یک سیستم توزیع‌شده ذخیره شود. توضیح دهید که چگونه داده‌ها را به صورت افقی در یک سیستم توزیع‌شده (HDFS) ذخیره کرده و از پردازش موازی برای تحلیل استفاده می‌کنید. ازنرم افزار  پایتون استفاده باید بکنید،،، تا یک مقدار پروژه این هفته تحویل بدید و یه مقدار دیگه هفته بعدیش... با ویدئو برام توضیح بدید... در محیط vsc انجام بدید...
فقط هفته بعدی تا یکشنبه تحویل بده چند قسمت که حل کرد..

مهارت ها و تخصص های مورد نیاز

---

---