پروژه پایتون (91470))=/
یازده ماه پیش منتشر شده
تعداد بازدید: 127
کد پروژه: 549296
شرح پروژه
#پروژه_جدید
#کدپروژه : 91470
موضوع : پروژه پایتون =/
سلام وقت بخیر
یه پروژه داشتم میخواستم زحمتشو بکشید
Task: Automate Job Data Collection with Crawl4AI and n8n
Objective: Use Crawl4AI to scrape, preprocess, and store data from public UK job boards into a vector database.
Steps:
1. Set Up Crawl4AI:
• Configure it to target job boards like Find a Job and Civil Service Jobs.
• Specify crawling scope (e.g., job search and detail pages).
2. Define Data Fields:
• Job Title
• Company Name
• Location
• Salary
• Job Description
• Posting Date
3. Preprocessing:
• Use Crawl4AI’s built-in tools to clean data (remove HTML tags, normalize fields).
• Deduplicate entries using unique identifiers (e.g., job title + company + posting date).
4. Vector Database Integration:
• Generate embeddings for job descriptions using a language model.
• Store embeddings and metadata in the vector database for efficient querying.
Deliverables:
• Configured Crawl4AI project for targeted crawling.
• Cleaned, deduplicated job data.
• Populated vector database with searchable embeddings.
For vector database use postgres + pgai extension: https://github.com/timescale/pgai
Crawl4ai: https://github.com/unclecode/crawl4ai
Use Ollama + OSS LLM for the crawl
این سایتی هست که باید اطلاعاتش استخراج بشه
https://findajob.dwp.gov.uk/search?q=&w=
با پایتون
و از crawl4ai استفاده بشه
تا فردا صبح زمان دارم
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
1روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت سه سال پیش
