Ingeniero de Datos

Título de la Vacante: Data Engineer – Contratista

Título del puesto (NS): Data Engineer
Experiencia: 7+ años

Resumen de la Posición

Buscamos un Ingeniero de Datos (Data Engineer) con experiencia en Databricks para apoyar la modernización de nuestra plataforma empresarial de datos como parte de nuestra estrategia de transformación hacia la nube.

El candidato ideal será responsable de diseñar, desarrollar y optimizar soluciones de datos escalables sobre la plataforma Databricks Lakehouse, habilitando capacidades de analítica avanzada, iniciativas de IA/ML y productos de datos empresariales.

Esta posición trabajará en estrecha colaboración con Arquitectos de Datos, Científicos de Datos, equipos de Business Intelligence (BI) y diferentes áreas del negocio para desarrollar activos de datos de alta calidad, gobernados y reutilizables que soporten las áreas de Operaciones, Transporte, Finanzas, Administración de Activos, Seguridad y Servicios Corporativos.

Responsabilidades PrincipalesIngeniería y Desarrollo de Datos

• Diseñar, desarrollar y mantener pipelines de datos escalables utilizando Databricks, PySpark y Spark SQL.
• Desarrollar procesos ETL/ELT para la ingesta, transformación y preparación de grandes volúmenes de datos estructurados y no estructurados.
• Implementar y mantener la Arquitectura Medallion (capas Bronze, Silver y Gold).
• Desarrollar soluciones basadas en Delta Lake, optimizando su rendimiento e implementando controles de calidad de datos.
• Crear soluciones de procesamiento por lotes y casi en tiempo real utilizando Spark Streaming y Kafka.
• Crear frameworks reutilizables y automatizaciones para la ingesta, monitoreo y orquestación de datos.

Administración de la Plataforma Databricks

• Desarrollar y mantener notebooks, workflows, jobs y clusters en Databricks.
• Implementar y administrar Unity Catalog, controles de acceso y estándares de gobierno de datos.
• Configurar Delta Live Tables (DLT) y pipelines de streaming.
• Dar soporte a la promoción de ambientes entre Dev, QA, UAT y Producción.
• Colaborar con los equipos responsables de la plataforma en iniciativas de optimización de rendimiento y costos.

Nube e Integraciones

• Integrar datos provenientes de múltiples fuentes empresariales, incluyendo:
• SAP
• Teradata
• Mainframe
• DB2
• SQL Server
• Oracle
• Tibco
• Kafka
• APIs REST
• Diseñar e implementar integraciones nativas de nube que soporten la estrategia de modernización de datos del cliente.
• Trabajar con servicios de nube de Azure y AWS que soporten cargas de trabajo de Databricks.

Calidad y Gobierno de Datos

• Implementar controles de validación, conciliación y monitoreo de datos.
• Desarrollar frameworks automatizados de calidad de datos y manejo de excepciones.
• Dar soporte a iniciativas de linaje de datos, administración de metadatos y gobierno de datos.
• Asegurar el cumplimiento de los requerimientos empresariales de seguridad y normativos.

Colaboración y Liderazgo

• Colaborar con las áreas de negocio para comprender sus requerimientos de analítica y convertirlos en soluciones técnicas escalables.
• Trabajar estrechamente con Científicos de Datos y desarrolladores de BI para habilitar capacidades avanzadas de analítica y generación de reportes.
• Dar mentoría a ingenieros de datos junior y establecer buenas prácticas de ingeniería.
• Participar en ceremonias Agile y contribuir en las discusiones relacionadas con el diseño de soluciones.

Requisitos Indispensables

Experiencia: 7+ años.

Habilidades TécnicasDatabricks

• Databricks Workspaces
• Databricks Notebooks
• Databricks Jobs & Workflows
• Delta Lake
• Delta Live Tables (DLT)
• Unity Catalog
• Databricks SQL
• Databricks Asset Bundles (preferido)

Ingeniería de Datos

• PySpark
• Spark SQL
• Python
• SQL
• Desarrollo ETL/ELT
• Modelado de datos
• Conceptos de Data Warehousing

Streaming y Mensajería

• Apache Kafka
• Spark Streaming
• Arquitecturas orientadas a eventos (Event-Driven Architecture)

Plataformas Cloud

• Azure Databricks
• Azure Data Factory
• ADLS Gen2
• Azure Key Vault
• AWS S3
• IAM
• Servicios de datos en la nube

Bases de Datos

• Teradata
• SQL Server
• Oracle
• DB2
• BigQuery (preferido)
• Snowflake (preferido)

DevOps

• Git
• Pipelines CI/CD
• Azure DevOps
• GitHub Actions
• Infraestructura como código (Infrastructure as Code) (preferido)

Requisitos Deseables

• Certificación Databricks Certified Data Engineer Associate o Professional.
• Certificación Azure Data Engineer Associate.
• Experiencia participando en programas de modernización de datos a gran escala en empresas grandes.
• Experiencia migrando cargas de trabajo de Teradata o plataformas legacy hacia Databricks.
• Familiaridad con integraciones de SAP Datasphere, SAP BW o SAP BDC.
• Experiencia o exposición a cargas de trabajo de IA/ML y feature engineering en Databricks.

Habilidades Interpersonales

• Fuertes habilidades analíticas y de resolución de problemas.
• Capacidad para comunicar conceptos técnicos a usuarios y responsables de negocio.
• Excelentes habilidades de colaboración y trabajo en equipo.
• Autonomía, iniciativa y capacidad para trabajar de manera independiente.
• Mentalidad orientada al aprendizaje continuo y pasión por las tecnologías modernas de datos.

Sueldo: $50,000.00 - $60,000.00 al mes

Experiencia:

• Databricks: 5 años (Deseable)
• PySpark + Spark SQL: 5 años (Deseable)
• Python + SQL / ETL-ELT: 5 años (Deseable)
• Cloud Data Engineering (Azure/AWS): 5 años (Deseable)
• Data Streaming & Integration: 5 años (Deseable)

Idioma:

• Inglés (Deseable)

Lugar de trabajo: Empleo remoto