Analítica
AWS Data Pipeline
Servicio web para automatizar el movimiento y la transformación de datos con flujos en los que cada tarea depende de que la anterior termine bien. Está en modo de mantenimiento y ya no está disponible para clientes nuevos.
Frases del examen que apuntan aquí
«automatizar el movimiento y la transformación de datos entre servicios de AWS según una programación»
Era el propósito de AWS Data Pipeline: definir flujos de datos programados en los que una tarea depende de que la anterior termine bien.
Cuándo no: AWS Data Pipeline está en modo mantenimiento y ya no admite clientes nuevos. En un escenario actual, la respuesta suele ser AWS Glue (ETL y su orquestación), AWS Step Functions (orquestar varios servicios) o Amazon MWAA (flujos en Apache Airflow).
«esperar a que existan los datos de origen antes de ejecutar la siguiente tarea»
Las precondiciones de Data Pipeline comprobaban, por ejemplo, que existiera una clave de S3 o datos en una tabla de DynamoDB antes de lanzar una actividad.
Cuándo no: Con las alternativas actuales, esto se resuelve con una comprobación dentro del flujo de Step Functions o con triggers y sensores (en Glue o en Airflow). Si la tarea debe arrancar justo cuando llega un objeto a S3, suele bastar con un evento de S3 hacia EventBridge o Lambda.
«ejecutar tareas de procesamiento de datos en servidores on-premises»
En Data Pipeline, Task Runner podía instalarse en un servidor propio u on-premises para que ejecutara allí las actividades del pipeline.
Cuándo no: Para cargas nuevas, AWS propone Step Functions con AWS Systems Manager Run Command (con el agente de SSM en el servidor) o flujos híbridos con Amazon MWAA. Si el objetivo es solo copiar archivos desde on-premises, se piensa en AWS DataSync.
«copiar datos de forma periódica entre S3, DynamoDB, bases de datos y Redshift»
Data Pipeline tenía actividades ya hechas para copiar datos, cargar en Redshift, ejecutar SQL o lanzar trabajos en EMR, y plantillas como exportar una tabla de DynamoDB a S3.
Cuándo no: Para clientes nuevos no es una opción: la guía de migración recomienda AWS Glue para este tipo de copias y transformaciones. Para copias de seguridad de DynamoDB existen sus propias funciones de backup y exportación.
Suele ir con
- Amazon S3
- Amazon EMR