Arkinu
Comparador de servicios de AWS

AWS Data Pipeline vs AWS Glue: diferencias y cuándo usar cada uno

12AWS Data Pipeline
AWS Glue

Se confunden a menudo en el examenLas preguntas suelen ofrecer uno como distractor del otro: fíjate en la frase del escenario que inclina la balanza.

Analítica

AWS Data Pipeline

Servicio web para automatizar el movimiento y la transformación de datos con flujos en los que cada tarea depende de que la anterior termine bien. Está en modo de mantenimiento y ya no está disponible para clientes nuevos.

Frases del examen que apuntan aquí

  • «automatizar el movimiento y la transformación de datos entre servicios de AWS según una programación»

    Era el propósito de AWS Data Pipeline: definir flujos de datos programados en los que una tarea depende de que la anterior termine bien.

    Cuándo no: AWS Data Pipeline está en modo mantenimiento y ya no admite clientes nuevos. En un escenario actual, la respuesta suele ser AWS Glue (ETL y su orquestación), AWS Step Functions (orquestar varios servicios) o Amazon MWAA (flujos en Apache Airflow).

  • «esperar a que existan los datos de origen antes de ejecutar la siguiente tarea»

    Las precondiciones de Data Pipeline comprobaban, por ejemplo, que existiera una clave de S3 o datos en una tabla de DynamoDB antes de lanzar una actividad.

    Cuándo no: Con las alternativas actuales, esto se resuelve con una comprobación dentro del flujo de Step Functions o con triggers y sensores (en Glue o en Airflow). Si la tarea debe arrancar justo cuando llega un objeto a S3, suele bastar con un evento de S3 hacia EventBridge o Lambda.

  • «ejecutar tareas de procesamiento de datos en servidores on-premises»

    En Data Pipeline, Task Runner podía instalarse en un servidor propio u on-premises para que ejecutara allí las actividades del pipeline.

    Cuándo no: Para cargas nuevas, AWS propone Step Functions con AWS Systems Manager Run Command (con el agente de SSM en el servidor) o flujos híbridos con Amazon MWAA. Si el objetivo es solo copiar archivos desde on-premises, se piensa en AWS DataSync.

  • «copiar datos de forma periódica entre S3, DynamoDB, bases de datos y Redshift»

    Data Pipeline tenía actividades ya hechas para copiar datos, cargar en Redshift, ejecutar SQL o lanzar trabajos en EMR, y plantillas como exportar una tabla de DynamoDB a S3.

    Cuándo no: Para clientes nuevos no es una opción: la guía de migración recomienda AWS Glue para este tipo de copias y transformaciones. Para copias de seguridad de DynamoDB existen sus propias funciones de backup y exportación.

Suele ir con

  • Amazon S3
  • Amazon EMR
Estudiar AWS Data Pipeline →

Analítica

AWS Glue

Servicio serverless de integración de datos para descubrir, preparar, mover e integrar datos de muchas fuentes. Ofrece trabajos ETL y un Data Catalog centralizado cuyos datos se pueden consultar con Amazon Athena, Amazon EMR y Amazon Redshift Spectrum.

Frases del examen que apuntan aquí

  • «servicio de ETL sin servidores para preparar datos para análisis»

    AWS Glue ejecuta jobs de extracción, transformación y carga sin que haya clústeres que aprovisionar: se define el job y el servicio pone la capacidad y la libera al terminar.

    Cuándo no: Si se necesita control directo del clúster o herramientas del ecosistema Hadoop más allá de Spark, encaja mejor Amazon EMR. Si lo que se pide es migrar una base de datos a AWS, la respuesta es AWS DMS, no Glue.

  • «descubrir automáticamente el esquema de los datos almacenados en S3»

    Un crawler de Glue recorre el almacén de datos, deduce el formato y el esquema y crea o actualiza las tablas en el Data Catalog, incluidas las particiones.

    Cuándo no: Si lo que hay que descubrir son datos sensibles (como información personal) dentro de los objetos de S3, el servicio indicado suele ser Amazon Macie, no un crawler.

  • «un catálogo central de metadatos para Athena, EMR y Redshift Spectrum»

    El AWS Glue Data Catalog guarda las definiciones de tablas una sola vez y lo usan Athena, EMR, Redshift Spectrum y los jobs de Glue. Es compatible con Hive Metastore, así que puede reemplazarlo.

    Cuándo no: Si además hay que controlar quién ve qué tablas, columnas o filas del lago de datos, la pieza que lo resuelve es AWS Lake Formation, que trabaja sobre ese mismo catálogo.

  • «limpiar y normalizar datos sin escribir código»

    AWS Glue DataBrew y la interfaz visual de Glue Studio permiten preparar datos con clics: DataBrew trae cientos de transformaciones listas y Glue Studio genera el código de Spark.

    Cuándo no: Si la preparación de datos forma parte de un flujo completo para construir, entrenar y desplegar modelos de aprendizaje automático, el escenario puede apuntar a Amazon SageMaker AI.

  • «transformaciones complejas sobre datos de streaming antes de guardarlos»

    Glue puede leer flujos de Amazon Kinesis Data Streams o de Apache Kafka y aplicarles ETL con Spark, incluidos joins y escritura particionada.

    Cuándo no: Si basta con entregar el flujo a S3, Redshift u OpenSearch con transformaciones ligeras, la FAQ de Glue recomienda Amazon Data Firehose (antes Kinesis Data Firehose), que es más simple.

Suele ir con

  • Amazon S3
  • Amazon Athena
  • AWS Lake Formation
Estudiar AWS Glue →