درخواست کراولر ساده برای دریافت عکس از گوگل ایمیج

---

شرح پروژه

سلام دوستان،

یه تعدادی نام غذا دارم که میخوام برای هر کدوم چند تا عکس داشته باشم. یه کراولر میخوام که اسم غذاها رو تو گوگل ایمیج سرچ کنه و برای هر اسم غذا صفحه نتایج را بصورت لیست ذخیره کنه.

• مسیر Xpath و Regex تمامی اطلاعات مورد نیاز را خودم میتونم کمک کنم (تب دوم در فایل ضمیمه)

• فقط نتایج صفحه اول نیاز هست و نیاز به رفتن صفحه بعد نیست. من فقط 20 تا اول نیازم میشه بنابراین تعداد باید روی 20 ست بشه. کوئری url اش را میتونم خودم بهتون بدم. 

• خروجی باید به صورت فایل json یا csv یا دیتابیس رایج باشه. در صورت بالا بودن حجم فایل، فایل تقسیم بشه. 

•  نمونه خروجی که من انتظار دارم را هم میتونیددر ضمیمه مشاهده کنید (تب سوم در فایل ضمیمه)

•  نمونه ورودی که به کراولر داده میشه در تب اول موحود است. 

• چون ممکنه بعد از یه تعدادی کوئری که به گوگل ارسال میشه گوگل آی.پی رو بلاک کنه لازمه که از پراکسی استفاده بشه که خودم پروکسی که بطور متناوب آی.پی اش عوض بشه را در اختیارتون قرار میدم.

• برای پایین اوردن دیتا مصرفی عکسهای thumbnail  نباید در کراولر لود نشوند. این مساله بسیار مهم است چون پراکسی برای میزان حجم مصرفی هزینه میبره.

• کراولر باید قابلیت کار پیوسته برای روزها و حجم دیتا بالا را بدون مشکل داشته باشه. بطور خلاصه باید قابل اطمینان باشه و فقط لازم باشه روزانه چکش کنم. 

• تعداد کلمات ورودی برای سرچ نزدیک به 2 میلیون میباشد.

کل کار ساده است ولی من پول بیشتر میدم برای کیفیت کار بهتر. یا علی.

این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---