Lider Ingeniero de Datos QA (Data Quality) - AWS

Administrar, validar y optimizar el ciclo de vida y la calidad de los datos en un entorno AWS: desde su adquisición y transformación hasta su almacenamiento seguro y disponibilidad para análisis y toma de decisiones. Esta posición es clave para certificar que los procesos de ingestión, pipelines y productos de datos (flujos, tableros y reportes) cumplan estándares de integridad, consistencia, trazabilidad y disponibilidad , colaborando con equipos de datos y aplicando mejores prácticas de ingeniería de datos para asegurar resultados confiables.

Responsabilidades principales

1. Validación y certificación de ingesta/adquisición de datos

• Validar y certificar los procesos de recopilación/adquisición construidos por especialistas de datos.
• Revisar fuentes, estructuras, llaves, reglas de negocio y criterios de aceptación de datos.

1. Control de calidad y consistencia (Data Quality)

• Certificar y dar soporte al proceso de calidad incorporando cifras de control , datos sumarizados y reglas de consistencia .
• Definir y ejecutar validaciones de integridad, referencialidad, duplicidad, completitud y vigencia.

1. Diseño de soluciones QA escalables y seguras en AWS

• Diseñar y mantener mecanismos de QA de datos escalables , con controles y evidencias auditables.
• Alinear estándares de seguridad, accesos, cifrado y buenas prácticas de operación.

1. Automatización y orquestación de validaciones

• Desarrollar flujos automatizados para controlar la calidad de datos usando servicios/herramientas AWS.
• Implementar orquestación para validaciones recurrentes, reintentos controlados y manejo de excepciones.

1. Monitoreo y detección temprana de incidencias

• Implementar medidas de control para detectar incidencias/problemas de calidad y consistencia en productos de datos (pipelines, tableros, reportes).
• Definir métricas, umbrales, alertas y seguimiento de remediaciones.

1. Colaboración transversal

• Trabajar con Ingeniería de Datos, BI/Analítica, y equipos técnicos para resolver fallas y prevenir recurrencias.
• Comunicar hallazgos, riesgos e impacto en lenguaje claro (técnico y de negocio).

Indispensables

• Experiencia mínima: 3+ años en roles de Data Quality / QA de Datos / Ingeniería de Datos (validación, certificación, controles, monitoreo).
• SQL avanzado: consultas complejas para validación, reconciliación y análisis.
• Experiencia creando/operando controles de calidad en pipelines ETL/ELT (cargas iniciales e incrementales).
• Capacidad para documentar criterios, resultados y evidencias de calidad (trazabilidad).
• Comunicación clara y colaboración con equipos técnicos y de negocio.

Escolaridad: Licenciatura (preferente) en Sistemas, Informática o afín con bases de matemáticas/estadística.

Conocimientos y herramientas clave (muy importantes)

AWS (datos y procesamiento):

• Amazon S3 , Redshift , Glue , EMR , Lambda , DynamoDB , RDS (deseable: Kinesis ).

ETL/ELT y arquitectura de datos:

• Diseño/validación de pipelines, esquemas eficientes, controles por capa (raw/curated/consumption).
• Big Data: nociones de Hadoop/Spark (por ejemplo en EMR).

Automatización y orquestación:

• AWS Step Functions , Glue Workflows o equivalentes (y/o AWS Data Pipeline).

Monitoreo y optimización:

• Amazon CloudWatch (métricas/alertas) y prácticas de optimización de rendimiento.

Programación (al menos una):

• Python (preferente) o Java/Scala, y uso práctico de SQL.

Control de versiones:

• Git (seguimiento, revisión y versionamiento de scripts/artefactos).

Deseables

• Frameworks/herramientas de pruebas o data quality (por ejemplo, validaciones automatizadas y data profiling).
• Contenedores: ECS/EKS (nociones).
• Prácticas DevOps aplicadas a datos (CI/CD para pipelines/validaciones).
• Conocimientos de seguridad y cumplimiento en nube (buenas prácticas; referencias como GDPR/HIPAA como deseable, no limitativo).
• Certificaciones AWS (Data Analytics / Solutions Architect) deseable .