Especialista Databricks – Unity Catalog

Oportunidade | Especialista Databricks – Unity Catalog

Estamos em busca de um(a) Especialista Databricks / Unity Catalog Sênior para atuar na estruturação, implantação e evolução da governança de dados em ambientes Databricks na AWS, contribuindo na definição de arquiteturas, modelos de acesso, segurança, linhagem e qualidade dos dados.

Se você possui sólida experiência em Databricks, Unity Catalog e Governança de Dados , com atuação prática em ambientes de produção e experiência com AWS, essa oportunidade pode ser para você!

Modelo de trabalho: 100% remoto

Contratação: PJ ou Cooperado

Senioridade: Sênior / Especialista

Duração inicial do projeto: 3 meses, com possibilidade de extensão

Principais responsabilidades

• Avaliar o ambiente atual de Databricks, incluindo workspaces, metastore, Hive Metastore legado e permissões;
• Elaborar diagnóstico e plano de ação para evolução da governança de dados;
• Desenhar a hierarquia de catálogos e schemas por domínio, ambiente e camada de dados;
• Definir padrões de nomenclatura e organização dos dados;
• Estruturar o modelo de acessos e permissões no Unity Catalog;
• Configurar Storage Credentials, External Locations e Managed Storage em ambientes AWS/S3;
• Atuar com IAM Roles e integração com os ambientes AWS;
• Apoiar a configuração de binding de catálogos aos workspaces;
• Conduzir ou apoiar a migração de tabelas do Hive Metastore para o Unity Catalog;
• Implementar mecanismos de proteção para dados sensíveis, incluindo CPF, CNPJ e dados de crédito;
• Trabalhar com tags, column masks, row filters e políticas ABAC;
• Habilitar e estruturar recursos de linhagem, auditoria e descoberta de dados;
• Apoiar o time de Qualidade na implantação de controles de qualidade de dados;
• Automatizar configurações utilizando Terraform;
• Garantir que as configurações estejam versionadas e documentadas;
• Elaborar playbooks, runbooks e documentação de boas práticas;
• Realizar passagem de conhecimento para o time interno e DataOps;
• Apoiar a autonomia do time interno ao longo do projeto.

Requisitos

• Mínimo de 5 anos de experiência em Engenharia ou Governança de Dados ;
• Mínimo de 2 anos de experiência prática com Databricks ;
• Experiência comprovada na implantação de Unity Catalog em produção ;
• Experiência com modelo de permissões e governança de acesso no Unity Catalog;
• Experiência com migração do Hive Metastore para o Unity Catalog ;
• Conhecimento de Databricks em AWS , incluindo S3 e IAM;
• Experiência com IAM Roles, Trust Policies, SCIM e SSO;
• Conhecimento avançado de SQL ;
• Experiência com Python/PySpark ;
• Conhecimento em Delta Lake ;
• Experiência com Terraform aplicado ao Databricks ;
• Vivência com governança de dados em ambientes regulados;
• Conhecimento sobre LGPD e proteção de dados sensíveis ;
• Boa comunicação para condução de workshops, alinhamentos e decisões técnicas.

Perfil esperado

Buscamos um(a) profissional com sólida experiência em Databricks e Governança de Dados , capacidade analítica e experiência prática na implantação e estruturação do Unity Catalog.

É importante ter autonomia para atuar de forma estratégica e hands-on, analisar ambientes e identificar oportunidades de melhoria, além de boa comunicação, organização e facilidade para interação com equipes de Engenharia, DataOps e Qualidade de Dados.

Sobre a Code Group

Somos especialistas em outsourcing e recrutamento Tech, conectando profissionais de tecnologia a empresas inovadoras e projetos estratégicos em todo o Brasil.

Se você busca atuar em projetos desafiadores e fazer parte de um ambiente que valoriza inovação e excelência, queremos conhecer você!