استخراج داده و کرال اطلاعات از ۲۷ سایت ایرانی

شرح پروژه

برای یک پروژه استخراج داده، به یک برنامه‌نویس یا تیم فنی مسلط به Web Crawling، Web Scraping و استخراج ساختاریافته اطلاعات نیاز داریم.

دامنه کلی همکاری شامل استخراج اطلاعات از ۲۷ وب‌سایت ایرانی است. این وب‌سایت‌ها عمدتاً ساختار ساده‌ای دارند و پیچیدگی غیرمتعارفی از نظر رابط کاربری یا فناوری ندارند؛ بااین‌حال، برخی از سایت‌ها دارای ورود کاربری، کپچا، نشست کاربری و محدودیت‌های معمول دسترسی هستند.
قیمت پیشنهادی برای 27 سایت میباشد

هدف ما در این مرحله، انتخاب یک فریلنسر توانمند برای شروع همکاری و سپس واگذاری تدریجی کل ۲۷ سایت است.

فرآیند انتخاب و همکاری:

مرحله اول ـ ارزیابی فنی روی ۲ سایت

در ابتدای کار، آدرس ۲ سایت در اختیار متقاضیان قرار می‌گیرد.

متقاضی باید برای این ۲ سایت یک کرال اولیه و محدود انجام دهد تا موارد زیر قابل ارزیابی باشد:

توانایی تحلیل ساختار سایت
روش استخراج اطلاعات
کیفیت و ساختار خروجی
تمیزی و خوانایی کد
مدیریت صفحات مختلف
دقت استخراج
سرعت و پایداری اجرای اسکریپت
توانایی توسعه استخراج در مراحل بعدی
کرال اولیه صرفاً برای اطلاعات قابل دسترس عمومی انجام می‌شود و نیازمند دریافت نام کاربری و رمز عبور نخواهد بود.

این مرحله به‌عنوان دمو و ارزیابی فنی در نظر گرفته شده است و بابت آن هزینه‌ای پرداخت نمی‌شود. بنابراین انتظار نمی‌رود متقاضی در مرحله دمو، کل سایت را به‌صورت عمیق استخراج کند یا یک سامانه کامل عملیاتی تحویل دهد.

هدف این مرحله صرفاً مشاهده یک نمونه واقعی و محدود از توانایی فنی متقاضی است.

مرحله دوم ـ پروژه پرداختی برای کرال عمیق همان ۲ سایت

پس از بررسی دموها، یک یا چند فریلنسر برتر انتخاب می‌شوند.

برای فریلنسر منتخب، پروژه‌ای جداگانه و پرداختی برای استخراج کامل و عمیق همان ۲ سایت تعریف خواهد شد.

در این مرحله ممکن است موارد زیر موردنیاز باشد:

ورود به حساب کاربری
مدیریت نام کاربری و رمز عبور
مدیریت Session و Cookie
عبور از مراحل ورود
مدیریت کپچا
استخراج لیست‌ها و جزئیات
پیمایش کامل Pagination
دریافت فایل‌ها و پیوست‌ها
استخراج داده از صفحات داخلی
ذخیره‌سازی خروجی ساختاریافته
مدیریت خطا، Timeout و Retry
تهیه لاگ اجرای ربات
اطلاعات ورود موردنیاز، پس از انتخاب فریلنسر و در قالب پروژه پرداختی ارائه خواهد شد.

مرحله سوم ـ پروژه جدید برای ۲۵ سایت باقی‌مانده

در صورت رضایت از کیفیت، دقت، سرعت و نحوه همکاری فریلنسر در پروژه ۲ سایت اول، یک پروژه جدید برای استخراج ۲۵ سایت باقی‌مانده تعریف خواهد شد.

بنابراین این آگهی صرفاً برای انجام یک دمو یا یک پروژه کوچک نیست و می‌تواند به همکاری مستمر و واگذاری پروژه‌های بیشتر از سمت مشتریان ما منجر شود.

دامنه فنی مورد انتظار:

فریلنسر می‌تواند متناسب با ساختار سایت‌ها از ابزارهای مناسب استفاده کند.

انتخاب ابزار بر عهده فریلنسر است؛ اما خروجی باید پایدار، قابل بررسی و قابل توسعه باشد.

الزامات فنی:

استخراج صحیح و کامل داده‌های موردنظر
پشتیبانی از صفحات لیست و جزئیات
مدیریت Pagination یا بارگذاری تدریجی اطلاعات
مدیریت ورود کاربری
مدیریت Cookie و Session
امکان مدیریت کپچا
مدیریت Timeout، Retry و خطاهای ارتباطی
جلوگیری از ثبت داده تکراری
ارائه خروجی ساختاریافته
ترجیحاً ارائه خروجی در قالب JSON، CSV یا پایگاه داده البته در یک UI باید نمایش بدید
کدنویسی خوانا و قابل نگهداری
امکان اجرای مجدد اسکریپت
ارائه توضیحات لازم برای نصب و اجرا
رعایت محرمانگی اطلاعات ورود
در مرحله دمو، ارائه یک نمونه محدود ولی واقعی و قابل ارزیابی کافی استتحت یک UI ساده. نیازی به استخراج کامل تمام صفحات، حل نهایی کپچا یا پیاده‌سازی کامل بخش لاگین وجود ندارد.

خروجی مورد انتظار از پروژه پرداختی:

کد کامل استخراج
استخراج کامل داده‌های توافق‌شده
مدیریت ورود و کپچا در صورت نیاز
خروجی ساختاریافته
فایل‌های دریافت‌شده از سایت، در صورت وجود
مستند نصب و اجرا
گزارش خطا و لاگ
توضیح ساختار کد
تحویل سورس‌کد قابل اجرا
معیار انتخاب فریلنسر:

سابقه واقعی در Web Scraping و Crawling
تجربه کار با سایت‌های ایرانی
تجربه مدیریت Login، Session و Cookie
تجربه مدیریت کپچا
توانایی ارائه خروجی تمیز و دقیق
کدنویسی قابل نگهداری
پاسخ‌گویی و همکاری منظم
قیمت منطقی و رقابتی
برآورد زمانی واقع‌بینانه
نحوه ارسال پیشنهاد:

لطفاً در پیشنهاد خود موارد زیر را ذکر کنید:

ابزار یا فناوری پیشنهادی شما برای انجام پروژه
سابقه انجام پروژه‌های مشابه
روش پیشنهادی برای مدیریت Login و Session
تجربه شما در مدیریت کپچا
فرمت خروجی پیشنهادی
زمان تقریبی اجرای کرال عمیق برای هر سایت
قیمت پیشنهادی برای کرال عمیق ۲ سایت اول
برآورد اولیه قیمت برای ۲۵ سایت بعدی
شرایط موردنیاز برای پشتیبانی و نگهداری احتمالی
بودجه و شرایط همکاری:

برای پروژه بودجه کاملاً ثابت و غیرقابل‌مذاکره تعیین نشده است. پیشنهادهای فنی و مالی منطقی بررسی می‌شوند و در صورتی که کیفیت کار، تجربه و معماری پیشنهادی مناسب باشد، امکان مذاکره درباره مبلغ، زمان‌بندی و نحوه تقسیم مراحل وجود دارد.

فریلنسرهایی که قیمت پیشنهادی بالاتر یا پایین‌تر از محدوده معمول دارند نیز می‌توانند پیشنهاد خود را ارسال کنند؛ به‌شرط آنکه دلیل فنی، دامنه خدمات و خروجی قابل تحویل را به‌صورت شفاف توضیح دهند.

نکات مهم:

موضوع آگهی، همکاری روی مجموعاً ۲۷ سایت است.
مرحله ارزیابی شامل دمو روی ۲ سایت است.
دمو فقط شامل کرال اولیه و محدود اطلاعات عمومی است.
مرحله دمو رایگان است و هزینه‌ای بابت آن پرداخت نمی‌شود.
استخراج عمیق همان ۲ سایت در قالب پروژه جداگانه و پرداختی انجام می‌شود.
در صورت رضایت، پروژه جدید برای ۲۵ سایت باقی‌مانده ایجاد خواهد شد.
اطلاعات ورود فقط پس از انتخاب فریلنسر و شروع پروژه پرداختی ارائه می‌شود.
ارائه دمو به‌معنای تضمین انتخاب نهایی نیست.
حقوق کد و خروجی پروژه‌های پرداخت‌شده پس از تسویه، متعلق به کارفرما خواهد بود.
استفاده مجدد یا انتشار اطلاعات ورود و داده‌های غیرعمومی ممنوع است.
اولویت با افرادی است که بتوانند علاوه بر ارائه قیمت مناسب، یک راهکار پایدار، دقیق و قابل توسعه پیشنهاد دهند.

لطفاً حتی اگر برای کل ۲۷ سایت برآورد قطعی ندارید، پیشنهاد خود را ارسال کنید. امکان شروع مرحله‌ای، مذاکره درباره هزینه و ادامه همکاری براساس عملکرد واقعی وجود دارد.

کرال ان دو سایت مانند عکس های پیوست انتظار میرود.
البته اون دو لینک دیگه فعال هستند اما الان سرور هاشون خاموشه

این پروژه شامل 2 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

محمد صالح سامعی

عضویت یک سال پیش

3 پروژه ثبت شده ،

0 پروژه در حال انجام ،

1 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 33%