طراحی ربات Crawler و Extractor سایتهای ایرانی (اسکیل پذیر)
چهارده روز پیش منتشر شده
تعداد بازدید: 311
کد پروژه: 610184
شرح پروژه
نیاز به طراحی و توسعه یک ماژول Crawler و Extractor برای استخراج داده از حدود ۲۰ سایت ایرانی وجود دارد. حدود ۷ سایت از این منابع احتمالاً نیازمند لاگین هستند و اطلاعات ورود، در صورت نیاز، توسط کارفرما ارائه خواهد شد.
هدف پروژه صرفاً نوشتن چند اسکریپت جداگانه نیست؛ بلکه باید یک ربات ماژولار، تمیز و قابل توسعه طراحی شود تا تیم فنی کارفرما بتواند در آینده سایتهای مشابه دیگر را نیز با حداقل تغییر به آن اضافه کند. ساختار کد باید خوانا، مستند و قابل نگهداری باشد و افزودن منبع جدید از طریق تعریف پترن، Adapter، Parser یا ساختار مشابه انجام شود، نه با تغییر گسترده در هسته اصلی برنامه.
ربات باید قابلیت اجرا بهصورت سرویس مستقل را داشته باشد و بتوان آن را از طریق API یا Web Service فراخوانی کرد. همچنین پروژه باید بهصورت Dockerize تحویل شود تا نصب، اجرا و انتقال آن ساده باشد.
استفاده از ابزارهایی مانند Firecrawl، Scrapy، Playwright، Selenium یا سایر ابزارهای مناسب قابل قبول است؛ اما معیار اصلی ارزیابی، کیفیت معماری، پایداری استخراج، تمیزی کد، توسعهپذیری و قابلیت استفاده عملیاتی است.
الزامات اصلی:
پیادهسازی استخراج داده برای ۲۰ سایت اولیه
پشتیبانی از سایتهای دارای لاگین، حدود ۷ سایت
طراحی ساختار ماژولار برای افزودن سایتهای مشابه توسط تیم فنی کارفرما
امکان اجرا بهعنوان سرویس خارجی از طریق API
تحویل نسخه Dockerized
مدیریت خطا، لاگ، Timeout و Retry
خروجی ساختاریافته و قابل استفاده، ترجیحاً JSON
مستندسازی نصب، اجرا، ساختار پروژه و روش افزودن سایت جدید
تحویل کد تمیز، خوانا و قابل توسعه
تست توسعهپذیری:
در پایان پروژه، برای سنجش کیفیت طراحی و توسعهپذیری، ۱۰ سایت مشابه دیگر توسط کارفرما برای تست معرفی میشود. انتظار میرود ربات و ساختار طراحیشده بتواند با کمترین تغییر و در زمان منطقی برای این سایتها نیز عملکرد مطلوب داشته باشد. این تست بخشی از معیار پذیرش پروژه خواهد بود.
خروجیهای مورد انتظار:
کد کامل پروژه
پیادهسازی ۲۰ سایت اولیه
API قابل استفاده
فایلهای Docker و مستند راهاندازی
مستند افزودن سایت جدید
نمونه خروجی برای منابع پیادهسازیشده
لاگ و گزارش خطا
توضیح مختصر معماری فنی
معیار پذیرش:
پروژه زمانی قابل قبول است که ربات روی ۲۰ سایت اولیه عملکرد صحیح داشته باشد، خروجیها ساختاریافته و قابل استفاده باشند، سایتهای دارای لاگین بهدرستی مدیریت شوند، پروژه از طریق Docker قابل اجرا باشد، API قابل تست ارائه شود و تیم فنی کارفرما بتواند براساس مستندات، سایتهای مشابه جدید را اضافه کند.
در صورت رضایت از کیفیت کار، امکان واگذاری توسعه سایتهای بعدی و ادامه همکاری وجود خواهد داشت.
مهارت ها و تخصص های مورد نیاز
بودجه
5,000,000 تومان تا 45,000,000 تومان
مهلت برای انجام
10روز
وضعیت مناقصه
باز (آماده دریافت پیشنهاد)
درباره کارفرما
عضویت یک سال پیش
