دانلود کلیه محتویات یک وب سایت

شرح پروژه

یک وب سایت اطلاع رسانی خارجی است  که قصد دارم تمامی محتویات آن را دانلود کنم 

هدف متون  و لینک ها و نوشته هاست و میتوان از عکس ها و ویدئو ها و ... صرف نظر کرد و نیازی نیست

لازم است برای هر برند و تمامی  محصولاتش ، کلیه صفحات grab شود و به صورت آفلاین بتوان تمامی صفحه ها را مشاهده کرد (تکرار میکنم تصاویر مهم نیست که دانلود بشود)

پس از دریافت فایل ها و پیش از پایان کار و ادامه ی دانلود تمامی صفحات، بهتر است چند نمونه از صفحات ارسال شود تا من بررسی کنم و در صورت بلامانع بودن بقیه محتوا هم دانلود شود.

در صورتی که حجم متون زیاد شد و شما نمیخواستید از اینترنت خودتان کم شود فایل اجرایی دانلود را بدهید تا من با اینترنت خودم دانلود کنم که به شما ضرر مالی وارد نشود (البته همه ی متن ها فقط مد نظر است و مسلما خیلی نمی شود)

هر صفحه که دانلود می شود باید با اسم همان لینک ذخیره شود تا بتوان پیگیری کرد که از کدام صفحه به کدام صفحه میتوان رفت و تغییر نام برای صفحات دانلود شده ایحاد نشود (به طور خلاصه همان صفحه ای که دانلود شد با نام خودش روی هارد ذخیره شود که ارتباط بین صفحات مشخص باشد)

آدرس سایت: https://www.fragrantica.com

____________________________________________ آپدیت 1 ____________21:20 دقیقه________________________

1- برخی دوستان سوال پرسیدن که لازم دیدم این توضیح را اینجا بنویسم: خروجی باید یک سری فولدر متناسب با سایت بشه که داخل هر فولدر فایل های html مرتبط با سایت هست (دقیقا نظیر به نظیر سایت باید در فودر هم فایلها باشه). خروجی باید فا فرمت html ذخیره بشه و با نام آدرس اون صفحه روی سایت

2- اگر فایل ها جابجا بشن یا اسمشون تغییر کنه به نحوی که نشه ارتباط بین صفحات رو مشاهده کرد، پروژه قابل قبول نیست

3- دوستانی که می فرمایند میشه ار نزم افزار های آماده ی دانلود کننده استفاده کرد: بله میدانم ولی مشکلی داشته که امکانش نبوده. لطفا قبل از ارائه پیشنهاد تست بفرمایید

4- برای بررسی من تا ساعت 07 صبح روز سه شنبه 26 اسفند تایید مجریان محترم را نمیزنم  (فعلا این تاریخ مد نظر است) تا همه بررسی کامل  بفرمایند.

5- لطفا حتما سایت رو بررسی کنید (حتی اگر لازم است تستی یک کد برای این کار بنویسید و چک کنید)  و سپس پیشنهاد رو بفرمایید تا بعدا مشکلی پیش نیاید 

______________________________________________________________________________________________

آپدیت دوم: 5 فروردین 99 (سال نو مبارک)

برخی از درس آموخته های انجام این پروژه که مانع اجرای آن شد را در اینجا قید میکنم تا اگر مجری در انتخاب مد نظر داشته باشد:

- طبق بررسی های مجریان پیشین: حدود 50 هزار فایل html باید دانلود شود (خودم بررسی نکردم مجریانی که نتوانستند کار را انجام دهند ذگر کردند)

- مشکلی اصلی عدم انجام کار این بود که سرور از  پلاگین های cloudflare  برای محافظت از سایت استفاده میکند و ممکن است IP را محدود کند بعد از حدود 10 درخواست از کلاینت، پس باید ساز و کاری بابت این موضوع در نظر داشته باشید

- تکرار میکنم که تصاویر مهم نیستند برای دانلود شدن

- برخی داده های داخل وب سایت با ajax لود می شوند پس لازم است به این موضوع دقت شود

- لطفا لطفا لطفا حتما با کدنویسی از قبل امکان پذیر بودن کار را تست بفرمایید و بعد اطلاع دهید. اگر هم اطلاع میدهید در پیغام بنویسید که درحال  بررسی امکان پذیر بودن انجام این کار هستید.

متشکرم

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر86214

عضویت پنج سال پیش

2 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 0%