Data Engineer

Acerca del puesto

Como Data Engineer, deberás ayudarnos a modernizar nuestra infraestructura actual, mitigar la deuda técnica, optimizar costos operativos e implementar las características más avanzadas del ecosistema de Databricks, todo bajo un marco estricto de estándares de desarrollo y aseguramiento de calidad (QA).

Responsabilidades principales

• Auditar, refactorizar y limpiar pipelines de datos existentes para mejorar el rendimiento y reducir los costos de cómputo en la nube.
• Diseñar e implementar soluciones utilizando las últimas características de Databricks (Unity Catalog, Delta Live Tables, Liquid Clustering y Computación Serverless).
• Implementar mejores prácticas de desarrollo en datos, incluyendo control de versiones avanzado, modularización de código y revisión por pares.
• Diseñar y desplegar pipelines de integración y despliegue continuo utilizando Databricks Asset Bundles (DABs) o herramientas similares.
• Crear pruebas unitarias automatizadas y validaciones de calidad de datos para asegurar la confiabilidad de la información en nuestra arquitectura Medallion.

Perfil requerido

• Mínimo 3 años de experiencia comprobable trabajando con Databricks y el framework de Apache Spark (PySpark / Spark SQL).
• Dominio profundo del formato Delta Lake (transacciones ACID, optimización, control de versiones de datos).
• Experiencia sólida aplicando prácticas de DevOps/DataOps a entornos de datos (Git, CI/CD, pruebas unitarias con pytest o similar).
• Fuerte entendimiento de modelado relacional, dimensional (Star Schema) y arquitectura Medallion.
• Experiencia trabajando con AWS.

Habilidades requeridas

• Mentalidad orientada a la eficiencia y reducción de costos.
• Atención al detalle y obsesión por la calidad del código (limpieza, documentación y orden).
• Capacidad para trabajar en equipo y proponer mejoras arquitectónicas proactivamente.