کراول و اسکرپ دیتا از سایت

شرح پروژه

با سلام خدمت دوستان گرامی

برای استخراج دیتا از وب و تلگرام نیازمند ابزاری هستم که توسط سرور شناسایی و بن نشود و دارای امکان استخراج و ذخیره سازی دیتا باشد.

هدف استفاده از این دیتا در یک وب سایت دیگر است بنابراین امکانات اصلی به شرح زیر می باشند :

توانایی استخراج دیتای متن، عکس، ویدیو و ترجیحا سایر فرمت ها

ذخیره دیتای استخراج شده بر اساس منبع، تاریخ، فرمت، عنوان و موضوع مطلب

خروجی به صورت فرمت متن، ، pdf، xml، csv، xlsx

حدودا 10 منبع = 5 کانال تلگرامی و 5 وب سایت در حال حاضر مدنظر هست.
80 درصد دیتا متن هست (متن خبری و عدد)
15 درصد دیتا گراف (که بر اساس اعداد متنی درست شده اند)
4.9 درصد عکس
0.1 درصد ویدیو

چند تکنیک برای عدم بن شدن به شما معرفی می گردد ولی شما باید اون تکنیک ها رو در کنار روش های ممکنی که هست استفاده کنید تا از بن شدن جلوگیری کنید و در صورت بن شدن، بنابراین در صورتی که کروالر بن شود نیاز به پشتیبانی طراح برای رفع آن می باشد.

به طور کل فرایند عملکرد مد نظر به صورت زیر است:

یک لیست از منابع ( وب سایت و کانال تلگرامی) در اختیارش بگذاریم، قسمت دیتایی که از هر منبع می خواهیم رو با کلیک مشخص کنیم

سپس زمان عملیات استخراج و ذخیره سازی رو مشخص کنیم

بعد فرمت ذخیره سازی رو انتخاب کنیم

در صورتی که پیاده سازی فرایند فوق برای شما امکان پذیر نیست و از ربات با منابع پیشفرض در برنامه نویسی استفاده شود، در نیازمند مستندات لازم برای اعمال تغییر منبع و در صورتی که نیاز شود منبع جدیدی اضافه شود یا منبعی به تغییر یا حذف داشته باشد، نیازمند پشتیبانی طراح برای رفع آن می باشد.

برای اطلاع از سایر جزییات صحبت می کنیم.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر135528

عضویت پنج سال پیش

4 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 0%