Engenheiro(a) de Web Scraping

Descrição da vaga

A Volix é uma consultoria de tecnologia especializada em precificação inteligente e IA avançada. Combinamos consultoria estratégica e tecnologia de ponta para ajudar grandes empresas a maximizar rentabilidade, eficiência e competitividade — já geramos mais de R$ 50MM em EBITDA para nossos clientes e analisamos mais de 500 milhões de preços por mês.

Nossos produtos incluem monitoramento automático de preços (MAP), automação de cotações com IA (QuoteGPT), precificação algorítmica e análises preditivas

Engenheiro(a) Sênior de Web Scraping

Sobre o papel

Você vai arquitetar e manter pipelines de coleta de dados em escala, lidando com a complexidade real da web: CAPTCHAs, rate limits, anti-bots, mudanças de layout e sites dinâmicos. Vai trabalhar próximo ao time de dados e produto para garantir que as informações chegam limpas, no tempo certo e com alta disponibilidade.

O que você vai fazer

• Desenvolver e manter scrapers robustos com Python (Scrapy, Playwright, Selenium ou similares)
• Orquestrar pipelines de coleta e garantindo monitoramento, alertas e reprocessamento
• Gerenciar a infraestrutura dos pipelines (contêineres, filas, proxies, armazenamento)
• Lidar com mecanismos anti-scraping: rotação de proxies, fingerprint evasion, akamai e rate limiting inteligente
• Documentar, versionar e garantir a qualidade dos dados coletados

Requisitos

• Python avançado (mínimo de 5 anos)
• Docker & Kubernetes
• Cloud (AWS, GCP ou Azure)
• Scrapy / Playwright / Selenium
• SQL e bancos de dados
• Experiência comprovada com projetos de scraping em produção (portfólio ou cases são bem-vindos)

Diferenciais (não obrigatórios)

• Conhecimento em ferramentas de observabilidade (Grafana, Datadog, etc.)
• Familiaridade com parsing de dados não estruturados e NLP básico
• Conhecimento em back-end (Django ou FastAPI)

O que oferecemos

• Ambiente de startup com impacto direto no produto
• Time técnico sênior e cultura de engenharia sólida