کراول و اسکرپ دیتا از سایت
چهار سال پیش منتشر شده
تعداد بازدید: 1009
کد پروژه: 113046
شرح پروژه
با سلام خدمت دوستان گرامی
برای استخراج دیتا از وب و تلگرام نیازمند ابزاری هستم که توسط سرور شناسایی و بن نشود و دارای امکان استخراج و ذخیره سازی دیتا باشد.
هدف استفاده از این دیتا در یک وب سایت دیگر است بنابراین امکانات اصلی به شرح زیر می باشند :
توانایی استخراج دیتای متن، عکس، ویدیو و ترجیحا سایر فرمت ها
ذخیره دیتای استخراج شده بر اساس منبع، تاریخ، فرمت، عنوان و موضوع مطلب
خروجی به صورت فرمت متن، ، pdf، xml، csv، xlsx
حدودا 10 منبع = 5 کانال تلگرامی و 5 وب سایت در حال حاضر مدنظر هست.
80 درصد دیتا متن هست (متن خبری و عدد)
15 درصد دیتا گراف (که بر اساس اعداد متنی درست شده اند)
4.9 درصد عکس
0.1 درصد ویدیو
چند تکنیک برای عدم بن شدن به شما معرفی می گردد ولی شما باید اون تکنیک ها رو در کنار روش های ممکنی که هست استفاده کنید تا از بن شدن جلوگیری کنید و در صورت بن شدن، بنابراین در صورتی که کروالر بن شود نیاز به پشتیبانی طراح برای رفع آن می باشد.
به طور کل فرایند عملکرد مد نظر به صورت زیر است:
یک لیست از منابع ( وب سایت و کانال تلگرامی) در اختیارش بگذاریم، قسمت دیتایی که از هر منبع می خواهیم رو با کلیک مشخص کنیم
سپس زمان عملیات استخراج و ذخیره سازی رو مشخص کنیم
بعد فرمت ذخیره سازی رو انتخاب کنیم
در صورتی که پیاده سازی فرایند فوق برای شما امکان پذیر نیست و از ربات با منابع پیشفرض در برنامه نویسی استفاده شود، در نیازمند مستندات لازم برای اعمال تغییر منبع و در صورتی که نیاز شود منبع جدیدی اضافه شود یا منبعی به تغییر یا حذف داشته باشد، نیازمند پشتیبانی طراح برای رفع آن می باشد.
برای اطلاع از سایر جزییات صحبت می کنیم.
مهارت ها و تخصص های مورد نیاز
بودجه
300,000 تومان تا 750,000 تومان
مهلت برای انجام
30روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت چهار سال پیش
