Databricks Platform Engineer

Databricks Platform Engineer

PJ

Remoto

Inglês Fluente

A UPBI está em busca de um(a) Databricks Platform Engineer altamente qualificado(a) para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, que suporte fluxos de engenharia de dados, ciência de dados e MLOps.

A posição atuará em contato direto com um cliente baseado nos Estados Unidos, por isso são indispensáveis boa comunicação e inglês fluente. O perfil ideal combina profundo conhecimento técnico em Databricks com experiência prática em plataformas de nuvem, Infrastructure as Code, CI/CD, segurança e otimização de custos.

Principais Responsabilidades:

• Projetar, implementar e gerenciar a plataforma Databricks para suportar fluxos de engenharia de dados, ciência de dados e MLOps
• Garantir que o ambiente Databricks seja escalável, confiável, seguro e otimizado em performance e custo
• Arquitetar e gerenciar os ambientes Databricks de Desenvolvimento, Staging e Produção
• Utilizar recursos nativos do Databricks, como Delta Live Tables (DLT), Workflows, Unity Catalog, entre outros
• Aplicar boas práticas de arquitetura, governança, segurança, controle de acesso e gestão de dados no Databricks
• Monitorar recursos de compute e a performance da plataforma, identificando oportunidades de otimização e redução de custos
• Implementar e manter práticas de Infrastructure as Code (IaC) para provisionamento e gestão de recursos de nuvem e Databricks
• Utilizar GitHub para versionamento e apoiar os fluxos de desenvolvimento e deploy
• Atuar em conjunto com engenheiros de dados, cientistas de dados, times de MLOps e demais stakeholders técnicos
• Solucionar problemas de plataforma, infraestrutura, compute, segurança e performance
• Avaliar funcionalidades e limitações do Databricks e recomendar soluções de acordo com os requisitos técnicos e de negócio
• Estabelecer e manter boas práticas de confiabilidade, segurança, escalabilidade e eficiência operacional da plataforma

Requisitos Obrigatórios:

• Experiência prática comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos
• Profundo entendimento da arquitetura, funcionalidades, capacidades e limitações do Databricks
• Sólida experiência prática com recursos nativos do Databricks, especialmente:
• – Delta Live Tables (DLT)
• – Databricks Workflows
• – Unity Catalog
• – Gestão de compute e clusters
• Experiência na gestão de ambientes de Desenvolvimento, Staging e Produção e seus respectivos ciclos de deploy
• Sólida experiência com Infrastructure as Code (IaC)
• Experiência com GitHub e boas práticas de versionamento
• Bom entendimento de infraestrutura em nuvem, com forte preferência por AWS
• Experiência com monitoramento, segurança, governança e gestão de acessos no Databricks e em ambientes de nuvem
• Experiência na otimização de recursos de compute sob as perspectivas de custo e performance
• Forte capacidade de troubleshooting e resolução de problemas
• Facilidade para trabalhar com times multidisciplinares e distribuídos
• Inglês fluente , escrito e falado, com capacidade de se comunicar diretamente com o cliente americano e participar ativamente de reuniões e discussões técnicas

Diferenciais:

• Experiência apoiando cargas de trabalho de MLOps e machine learning no Databricks
• Experiência com pipelines de CI/CD e deploys automatizados no Databricks
• Experiência com serviços AWS e sua integração com o Databricks
• Conhecimento de boas práticas de segurança e governança em nuvem
• Experiência na implementação de práticas de gestão de custos e FinOps no Databricks
• Certificações Databricks

Informações da Vaga:

• Cliente: empresa baseada nos EUA
• Ambiente de trabalho: time internacional e distribuído
• Idioma: inglês fluente obrigatório
• Plataforma de nuvem: AWS (preferencialmente)
• Modelo de trabalho: 100% remoto
• Contratação: PJ