اپلیکیشن فیلم و سریال

شرح پروژه

پروژه: ساخت Crawler پیشرفته برای جمع‌آوری لینک از سایت‌ها (Login + Extractor + API)

من یک سیستم Crawler / Scraper هوشمند می‌خواهم که بتواند به‌صورت اتوماتیک وارد چند وبسایت از پیش تعریف‌شده شود و لینک‌های ویدیو/دانلود موجود در آن سایت‌ها را استخراج کرده و در دیتابیس بک‌اند من ثبت کند تا در اپلیکیشن نمایش داده شود.

✔ سطح کاری که دقیقاً باید انجام شود:

۱) سیستم Login خودکار

Crawler باید بتواند:

وارد سایت مقصد شود
فرم ورود را شناسایی کند
با Username / Password که من از داخل پنل مدیریت تعریف می‌کنم وارد سایت شود
Session / Cookie را مدیریت کند
اگر Session منقضی شد خودکار دوباره Login کند

۲) استخراج اتوماتیک لینک‌ها

Crawler باید بتواند:

صفحه فیلم یا سریال را باز کند
لینک‌های دانلود / پخش را پیدا کند
کیفیت‌ها (480 / 720 / 1080) را تشخیص دهد
زبان (دوبله / زیرنویس) را تشخیص دهد
URL واقعی را استخراج کند
لینک‌های تکراری را شناسایی و حذف کند
ساختار HTML متغیر سایت‌ها را هندل کند

۳) ذخیره در دیتابیس بک‌اند من

هر لینک باید در جدول لینک‌ها ذخیره شود با فیلدهای:

movie_id
quality
language
url
source_site
status (فعال/خراب)

۴) چک سالم بودن لینک‌ها

Crawler باید:

به‌صورت دوره‌ای (Cron Job) لینک‌ها را چک کند
لینک‌های خراب را در دیتابیس علامت بزند
لینک‌های جدید را جایگزین کند اگر پیدا شد

۵) مدیریت چند سایت

سیستم باید امکان اضافه کردن چند سایت مختلف را داشته باشد:

هر سایت یک «Profile» دارد
شامل اطلاعات: Login URL، ساختار صفحات، کلاس‌ها/Selectorها
همه این‌ها باید در پنل مدیریت قابل تعریف/ویرایش باشد

۶) ساختار فنی

ترجیح من:

Python (Selenium / Playwright / Requests + BS4)
یا
Node.js (Puppeteer / Playwright)

۷) خروجی نهایی

سورس کامل Crawler
API برای ارتباط بین Crawler و بک‌اند
امکان اجرا روی VPS
مستند نصب و اجرای کامل
سیستم گزارش: چه لینک‌هایی اضافه شد، چه لینک‌هایی خراب است، چه سایت‌هایی قابل Crawl هستند

📌 نکته مهم

در این پروژه فقط نیاز دارم Crawler توانایی Login + استخراج لینک از سایت‌هایی که من خودم معرفی می‌کنم را داشته باشد.

نام سایت‌ها را بعد از عقد قرارداد خودم ارائه می‌کنم.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر738865

عضویت دو ساعت پیش

1 پروژه ثبت شده ،

0 پروژه در حال انجام ،

1 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 0%