Arkinu
Comparador de servicios de AWS

Amazon Kinesis vs Amazon SQS: diferencias y cuándo usar cada uno

Amazon Kinesis
Amazon SQS

Se confunden a menudo en el examenLas preguntas suelen ofrecer uno como distractor del otro: fíjate en la frase del escenario que inclina la balanza.

Analítica

Amazon Kinesis

Familia de servicios para datos en streaming. Kinesis Data Streams recoge y procesa flujos de registros en tiempo real con aplicaciones consumidoras propias, y Amazon Data Firehose entrega el streaming, sin escribir aplicaciones, a destinos como Amazon S3, Amazon Redshift o Amazon OpenSearch Service.

Frases del examen que apuntan aquí

  • «recopilar y procesar datos de streaming en tiempo real»

    Kinesis Data Streams recibe flujos continuos de registros (clics, logs, telemetría) y los deja disponibles para las aplicaciones consumidoras en cuestión de segundos o menos.

    Cuándo no: Si solo hay que llevar esos datos a Amazon S3, Amazon Redshift u Amazon OpenSearch Service sin escribir consumidores y se toleran unos segundos o minutos de retraso, encaja mejor Amazon Data Firehose. Si la empresa ya usa Apache Kafka, se piensa en Amazon MSK; si lo que llega es video, en Amazon Kinesis Video Streams.

  • «varias aplicaciones deben leer los mismos datos al mismo tiempo»

    En un data stream, cada aplicación consumidora lee el flujo completo de forma independiente: una puede calcular métricas mientras otra archiva, sin quitarse los registros entre sí.

    Cuándo no: Si cada mensaje debe procesarlo un solo trabajador y luego desaparecer, el patrón es una cola (Amazon SQS). Si el mensaje debe empujarse a varios suscriptores como notificación, se piensa en Amazon SNS.

  • «volver a procesar los datos de los últimos días»

    Kinesis Data Streams conserva los registros durante el periodo de retención, así que un consumidor puede volver a leerlos desde un punto anterior, por ejemplo tras corregir un error.

    Cuándo no: La retención por defecto es de 24 horas; para más tiempo hay que ampliarla y tiene costo. Si se trata de guardar el histórico durante meses o años para consultarlo, lo habitual es archivarlo en Amazon S3 (por ejemplo, con Firehose).

  • «cargar datos de streaming en Amazon S3, Amazon Redshift o Amazon OpenSearch Service sin administrar aplicaciones»

    Amazon Data Firehose es un servicio de entrega administrado: los productores envían datos y Firehose los agrupa, opcionalmente los transforma y los entrega al destino configurado.

    Cuándo no: Firehose acumula datos por tamaño o por tiempo antes de entregarlos, así que es casi en tiempo real, no instantáneo. Si se necesita procesar cada registro con lógica propia, con varios consumidores o con reprocesamiento, se usa Kinesis Data Streams.

  • «convertir los datos a Apache Parquet antes de guardarlos en Amazon S3»

    Firehose puede convertir registros JSON a formatos columnares como Parquet u ORC y particionar los datos en S3 durante la entrega, lo que abarata y acelera las consultas posteriores.

    Cuándo no: Si la transformación es un ETL por lotes complejo sobre datos que ya están almacenados, encaja mejor AWS Glue. Si basta con consultar los datos tal como están en S3, Amazon Athena puede leerlos sin conversión previa.

  • «procesar en orden los registros de cada dispositivo»

    La partition key decide a qué shard va cada registro; los registros con la misma clave van al mismo shard y se leen en el orden en que se escribieron.

    Cuándo no: Si lo que se necesita es orden más confirmación y borrado mensaje a mensaje por un único consumidor, una cola FIFO de Amazon SQS con message group ID puede encajar mejor.

Suele ir con

  • AWS Lambda
  • Amazon S3
  • Amazon Redshift
  • Amazon OpenSearch Service
Estudiar Amazon Kinesis →

Integración de aplicaciones

Amazon SQS

Cola de mensajes gestionada que guarda los mensajes hasta que un consumidor los procesa y los borra, o hasta que vence su periodo de retención (máximo 14 días). Sirve para desacoplar los componentes de un sistema distribuido y absorber picos de carga como búfer de peticiones.

Frases del examen que apuntan aquí

  • «desacoplar los componentes de la aplicación»

    Una cola se pone entre quien produce el trabajo y quien lo procesa: el productor deja el mensaje y sigue, y el consumidor lo recoge cuando puede. Si uno de los dos falla o va lento, el otro no se entera.

    Cuándo no: Si el mismo mensaje debe llegar a varios destinos a la vez, el patrón es publicación/suscripción (Amazon SNS), y si hay que enrutar eventos según su contenido o reaccionar a eventos de servicios de AWS o de terceros, suele encajar mejor Amazon EventBridge.

  • «absorber picos de tráfico sin perder solicitudes»

    La cola guarda los mensajes mientras los consumidores no dan abasto, así que el pico se convierte en un retraso de procesamiento en lugar de en solicitudes perdidas.

    Cuándo no: Solo sirve si el trabajo puede hacerse de forma asíncrona. Si el usuario necesita la respuesta en el momento, la solución va por escalar la capa que responde (por ejemplo, con un balanceador y Auto Scaling), no por encolar.

  • «procesar los mensajes en el orden exacto en que se enviaron y sin duplicados»

    Las colas FIFO de Amazon SQS mantienen el orden dentro de cada grupo de mensajes y evitan procesar dos veces el mismo mensaje.

    Cuándo no: Una cola estándar no garantiza ni el orden ni la ausencia de duplicados. Y si varios consumidores deben leer el mismo flujo de datos o reprocesarlo en tiempo real, se piensa en Amazon Kinesis Data Streams, no en una cola.

  • «aislar los mensajes que no se pudieron procesar para analizarlos después»

    Una dead-letter queue recibe los mensajes que los consumidores no lograron procesar tras varios intentos, para que no bloqueen la cola y se puedan revisar.

    Cuándo no: Si el escenario pide reintentar o capturar fallos de una función de AWS Lambda invocada de forma asíncrona, o de un flujo de AWS Step Functions, la respuesta puede estar en la configuración de ese servicio y no en una cola de SQS.

  • «cada tarea debe procesarla un solo trabajador»

    En una cola, un mensaje recibido queda oculto para los demás consumidores durante el tiempo de visibilidad; el trabajador que lo procesa lo borra al terminar.

    Cuándo no: Si la tarea debe notificarse a varios sistemas a la vez, cada uno con su propia copia, la pista apunta a Amazon SNS (a menudo combinado con varias colas de SQS).

Suele ir con

  • AWS Lambda
  • Amazon SNS
Estudiar Amazon SQS →