دریافت اطلاعات از طریق scraping و api، سپس ذخیره و ارسال آن + توزیع درخواست ها
سه سال پیش منتشر شده
تعداد بازدید: 442
کد پروژه: 228095
شرح پروژه
دنبال شخصی میگردم که بتونه با فریم ورک django یک اسکریپر بنویسه به این صورت:
این اسکریپر با django rest framework ریکوئستِی با api key خاص دریافت کنه و هنگمی که ریکوئست دریافت شد صفحه مورد نظر رو اسکریپ کنه و بشه با همون api ازش اطلاعات رو دریافت کرد.
یعنی به محض درخواست یک صفحه ( تعدادی وبسایت مشخص) اون صفحه از وبسایت scrape و اطلاعاتش در دیتا بیس ذخیره میشه و توسط همون ریکوئست ارسال میشه.
همچنین میخوام بجز scrape صفحه، به api خاصی متصل و اطلاعات دریافت بشه و به همین شیوه ذخیره و ارسال بشه
1-کد کامل داکیومت بشه کامل
2-طوری بنویسید که بشه scale کرد
3-امکان استفاده از پروکسی و توزیع درخواست ها در این پروکسی ها( api که مورد نظرم هست محدودیت داره برای هر ip پس باید برای دریافت اطلاعات از پروکسی و ip های مختلف استفاده کرد. جوری که بر فرض از هر ip روزانه تعدادی مشخص درخواست ارسال بشه بر فرض اگر درخواست api برای scrape سایت X اومد، اگر قبلا از پروکسی 1 استفاده شده بود، این درخواست توسط پروکسی 2 ارسال بشه)
مهارت ها و تخصص های مورد نیاز
بودجه
750,000 تومان تا 5,000,000 تومان
مهلت برای انجام
10روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت سه سال پیش
