کرال کردن و استخراج اطلاعات از یک وب سایت

شرح پروژه

با سلام،

قصد کرال کردن صفحات یک وب سایت ساده و استخراج شماره تلفن و ایمیل های درج شده در هر یک از صفحات وبسایت را دارم. پروژه برای کسی که قبلا تجربه استخراج اطلاعات (web scarping) را داشته باشد بسیار ساده و کم حجم است (در مجموع دو صفحه اصلی وجود دارد که باید پیمایش شود) و تنها نکته این است که باید برای استخراج اطلاعات حتما حتما زمان انتظار(wait time)  معقول به همراه استفاده از لیست پروکسی و ایپی های مختلف استفاده شود وگرنه ممکن است این وب سایت ایپی شما را بن کند. (بنده خودم کد استخراج را نوشتم و تعدادی از صفحات سایت را استخراج کردم اما به علت عدم رعایت wait time ایپی ام بن شد و به علت عدم امکان استفاده از پروکسی قادر به ادامه و دیباگ نیستم. از دوستان اگر کسی پایتون بلد باشد میتوانم کد نوشته شده را هم در اختیارتان قرار دهم تا ادامه پروژه رو به راحتی انجام دهید).

لینک وب سایت جهت مشاهده:

https://www.biv.be/de-vastgoedmakelaar/alle-vastgoedmakelaars-vind-je-hier?keys=&location=vlaams-brabant&city=

در این وب سایت با تکمیل هر کدام از استان ها در قسمتی که در تصویر در کادر زرد رنگ مشخص شده است و تنظیم location (در یورال مشخص است) تمام رکوردهای نمایش داده شده باید استخراج شود و اطلاعات کامل هر کابر (نام و ادرس و شماره تلفن، شماره فاکس و ایمیل) استخراج شده و به صورت فایل اکسل تحویل داده شود.

با تشکر فراوان.

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر24936

عضویت نه سال پیش

11 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 27%