Arkinu
Comparador de servicios de AWS

Amazon EMR vs AWS Glue: diferencias y cuándo usar cada uno

Amazon EMR
AWS Glue

Se confunden a menudo en el examenLas preguntas suelen ofrecer uno como distractor del otro: fíjate en la frase del escenario que inclina la balanza.

Analítica

Amazon EMR

Plataforma gestionada de clústeres para ejecutar frameworks de big data como Apache Hadoop y Apache Spark. Sirve para procesar y analizar grandes volúmenes de datos y moverlos desde y hacia almacenes como Amazon S3 y Amazon DynamoDB.

Frases del examen que apuntan aquí

  • «procesar grandes volúmenes de datos con Apache Spark, Hadoop o Hive»

    Amazon EMR ejecuta frameworks de big data de código abierto (Spark, Hive, Trino, Flink, entre otros) sobre clústeres administrados, sobre EKS o en modo serverless.

    Cuándo no: Si solo se necesita ETL sin administrar infraestructura, AWS Glue suele ser la respuesta. Si son consultas SQL interactivas sobre S3, Amazon Athena.

  • «control total sobre el clúster y el software instalado»

    EMR sobre EC2 permite elegir tipos de instancia, instalar software propio con bootstrap actions, conectarse por SSH al nodo primario y ajustar la configuración de Hadoop y Spark.

    Cuándo no: Si el escenario prioriza no gestionar servidores, la opción es EMR Serverless o AWS Glue; el control del clúster es justo lo que se cede a cambio.

  • «reducir costos con instancias Spot en un procesamiento por lotes que tolera interrupciones»

    En EMR, los nodos task solo aportan cómputo y no guardan datos de HDFS, así que suelen ir en instancias Spot: si AWS los reclama, no se pierden datos de HDFS. Que el trabajo siga depende de que su proceso principal (application master) no corra en esos nodos, algo que se configura según la versión de EMR.

    Cuándo no: Los nodos core guardan HDFS y quitarlos puede perder datos; ponerlos en Spot exige cuidado. Si el lote no es de big data sino trabajos en contenedores o scripts, se piensa en AWS Batch.

  • «un clúster que se apague solo al terminar el trabajo»

    Con la terminación automática, el clúster se apaga cuando acaban todos sus pasos (clúster transitorio); como los datos de entrada y salida están en S3, no se pierden.

    Cuándo no: Si hay que ejecutar Spark de vez en cuando sin crear ni apagar clústeres, EMR Serverless o AWS Glue eliminan esa gestión por completo.

  • «ejecutar aplicaciones Spark sin aprovisionar ni administrar clústeres»

    EMR Serverless ejecuta Spark y Hive asignando y liberando workers por trabajo, sin clústeres que dimensionar.

    Cuándo no: Para ETL serverless con catálogo integrado también encaja AWS Glue; para análisis interactivo con Spark en notebooks de Python sin gestionar recursos, también existe Athena para Apache Spark.

Suele ir con

  • Amazon S3
  • Amazon DynamoDB
Estudiar Amazon EMR →

Analítica

AWS Glue

Servicio serverless de integración de datos para descubrir, preparar, mover e integrar datos de muchas fuentes. Ofrece trabajos ETL y un Data Catalog centralizado cuyos datos se pueden consultar con Amazon Athena, Amazon EMR y Amazon Redshift Spectrum.

Frases del examen que apuntan aquí

  • «servicio de ETL sin servidores para preparar datos para análisis»

    AWS Glue ejecuta jobs de extracción, transformación y carga sin que haya clústeres que aprovisionar: se define el job y el servicio pone la capacidad y la libera al terminar.

    Cuándo no: Si se necesita control directo del clúster o herramientas del ecosistema Hadoop más allá de Spark, encaja mejor Amazon EMR. Si lo que se pide es migrar una base de datos a AWS, la respuesta es AWS DMS, no Glue.

  • «descubrir automáticamente el esquema de los datos almacenados en S3»

    Un crawler de Glue recorre el almacén de datos, deduce el formato y el esquema y crea o actualiza las tablas en el Data Catalog, incluidas las particiones.

    Cuándo no: Si lo que hay que descubrir son datos sensibles (como información personal) dentro de los objetos de S3, el servicio indicado suele ser Amazon Macie, no un crawler.

  • «un catálogo central de metadatos para Athena, EMR y Redshift Spectrum»

    El AWS Glue Data Catalog guarda las definiciones de tablas una sola vez y lo usan Athena, EMR, Redshift Spectrum y los jobs de Glue. Es compatible con Hive Metastore, así que puede reemplazarlo.

    Cuándo no: Si además hay que controlar quién ve qué tablas, columnas o filas del lago de datos, la pieza que lo resuelve es AWS Lake Formation, que trabaja sobre ese mismo catálogo.

  • «limpiar y normalizar datos sin escribir código»

    AWS Glue DataBrew y la interfaz visual de Glue Studio permiten preparar datos con clics: DataBrew trae cientos de transformaciones listas y Glue Studio genera el código de Spark.

    Cuándo no: Si la preparación de datos forma parte de un flujo completo para construir, entrenar y desplegar modelos de aprendizaje automático, el escenario puede apuntar a Amazon SageMaker AI.

  • «transformaciones complejas sobre datos de streaming antes de guardarlos»

    Glue puede leer flujos de Amazon Kinesis Data Streams o de Apache Kafka y aplicarles ETL con Spark, incluidos joins y escritura particionada.

    Cuándo no: Si basta con entregar el flujo a S3, Redshift u OpenSearch con transformaciones ligeras, la FAQ de Glue recomienda Amazon Data Firehose (antes Kinesis Data Firehose), que es más simple.

Suele ir con

  • Amazon S3
  • Amazon Athena
  • AWS Lake Formation
Estudiar AWS Glue →