SR Data Engineer

Equipo: Data Management.

Responsabilidades

• Garantizar que los datos de IOL fluyan de forma confiable desde las fuentes hasta los consumidores (analistas, modelos, dashboards, APIs) con la calidad, trazabilidad y performance que el negocio necesita.
• Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Databricks (Delta Lake, Spark Structured Streaming, Delta Live Tables), asegurando idempotencia, resiliencia y trazabilidad.
• Implementar y evolucionar la arquitectura Medallion (Bronze / Silver / Gold) en Databricks, definiendo estándares de modelado y particionado para las capas del data lake.
• Implementar controles de calidad (Great Expectations, Delta constraints, pruebas automatizadas) y trabajar con Unity Catalog para asegurar linaje, clasificación y accesos correctos.
• Configurar monitoreo, alertas y dashboards operativos para los pipelines en producción, garantizando SLAs de ...