Arkinu
Comparador de servicios de AWS

Amazon Kinesis vs Amazon Managed Streaming for Apache Kafka (Amazon MSK): diferencias y cuándo usar cada uno

Amazon Kinesis
Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Se confunden a menudo en el examenLas preguntas suelen ofrecer uno como distractor del otro: fíjate en la frase del escenario que inclina la balanza.

Analítica

Amazon Kinesis

Familia de servicios para datos en streaming. Kinesis Data Streams recoge y procesa flujos de registros en tiempo real con aplicaciones consumidoras propias, y Amazon Data Firehose entrega el streaming, sin escribir aplicaciones, a destinos como Amazon S3, Amazon Redshift o Amazon OpenSearch Service.

Frases del examen que apuntan aquí

  • «recopilar y procesar datos de streaming en tiempo real»

    Kinesis Data Streams recibe flujos continuos de registros (clics, logs, telemetría) y los deja disponibles para las aplicaciones consumidoras en cuestión de segundos o menos.

    Cuándo no: Si solo hay que llevar esos datos a Amazon S3, Amazon Redshift u Amazon OpenSearch Service sin escribir consumidores y se toleran unos segundos o minutos de retraso, encaja mejor Amazon Data Firehose. Si la empresa ya usa Apache Kafka, se piensa en Amazon MSK; si lo que llega es video, en Amazon Kinesis Video Streams.

  • «varias aplicaciones deben leer los mismos datos al mismo tiempo»

    En un data stream, cada aplicación consumidora lee el flujo completo de forma independiente: una puede calcular métricas mientras otra archiva, sin quitarse los registros entre sí.

    Cuándo no: Si cada mensaje debe procesarlo un solo trabajador y luego desaparecer, el patrón es una cola (Amazon SQS). Si el mensaje debe empujarse a varios suscriptores como notificación, se piensa en Amazon SNS.

  • «volver a procesar los datos de los últimos días»

    Kinesis Data Streams conserva los registros durante el periodo de retención, así que un consumidor puede volver a leerlos desde un punto anterior, por ejemplo tras corregir un error.

    Cuándo no: La retención por defecto es de 24 horas; para más tiempo hay que ampliarla y tiene costo. Si se trata de guardar el histórico durante meses o años para consultarlo, lo habitual es archivarlo en Amazon S3 (por ejemplo, con Firehose).

  • «cargar datos de streaming en Amazon S3, Amazon Redshift o Amazon OpenSearch Service sin administrar aplicaciones»

    Amazon Data Firehose es un servicio de entrega administrado: los productores envían datos y Firehose los agrupa, opcionalmente los transforma y los entrega al destino configurado.

    Cuándo no: Firehose acumula datos por tamaño o por tiempo antes de entregarlos, así que es casi en tiempo real, no instantáneo. Si se necesita procesar cada registro con lógica propia, con varios consumidores o con reprocesamiento, se usa Kinesis Data Streams.

  • «convertir los datos a Apache Parquet antes de guardarlos en Amazon S3»

    Firehose puede convertir registros JSON a formatos columnares como Parquet u ORC y particionar los datos en S3 durante la entrega, lo que abarata y acelera las consultas posteriores.

    Cuándo no: Si la transformación es un ETL por lotes complejo sobre datos que ya están almacenados, encaja mejor AWS Glue. Si basta con consultar los datos tal como están en S3, Amazon Athena puede leerlos sin conversión previa.

  • «procesar en orden los registros de cada dispositivo»

    La partition key decide a qué shard va cada registro; los registros con la misma clave van al mismo shard y se leen en el orden en que se escribieron.

    Cuándo no: Si lo que se necesita es orden más confirmación y borrado mensaje a mensaje por un único consumidor, una cola FIFO de Amazon SQS con message group ID puede encajar mejor.

Suele ir con

  • AWS Lambda
  • Amazon S3
  • Amazon Redshift
  • Amazon OpenSearch Service
Estudiar Amazon Kinesis →

Analítica

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Servicio totalmente gestionado para crear y ejecutar aplicaciones que usan Apache Kafka para procesar datos en streaming. Ejecuta versiones open source de Kafka, así que las aplicaciones y herramientas existentes funcionan sin cambiar el código.

Frases del examen que apuntan aquí

  • «migrar a AWS aplicaciones que ya usan Apache Kafka sin cambiar su código»

    Amazon MSK ejecuta Apache Kafka open source, así que los productores, consumidores y herramientas de Kafka existentes siguen funcionando: solo cambian la dirección del clúster.

    Cuándo no: Si no hay Kafka de por medio y se empieza de cero con streaming, Amazon Kinesis Data Streams suele ser la opción más sencilla. Si la aplicación usa protocolos de mensajería como JMS o AMQP con un broker tradicional, se piensa en Amazon MQ.

  • «reducir el trabajo de operar clústeres de Apache Kafka»

    MSK se encarga de aprovisionar los brokers, sustituir los que fallan, replicar los datos entre zonas de disponibilidad, aplicar parches y actualizar versiones.

    Cuándo no: Con MSK Provisioned todavía se eligen tipo y número de brokers. Si el escenario pide no dimensionar ni escalar capacidad en absoluto, apunta a MSK Serverless.

  • «ejecutar Kafka sin dimensionar ni escalar la capacidad del clúster»

    MSK Serverless aprovisiona y escala la capacidad solo, reparte las particiones y cobra por los datos que se transmiten y se retienen.

    Cuándo no: MSK Serverless exige autenticación con IAM y no admite las ACL de Kafka. Si se necesitan otros métodos de autenticación o control fino de la configuración de los brokers, encaja MSK Provisioned.

  • «mover datos entre Kafka y bases de datos o Amazon S3 con conectores administrados»

    MSK Connect ejecuta conectores de Kafka Connect sin servidores que administrar: los de origen llevan datos de sistemas externos a los topics y los de destino los sacan hacia otros sistemas.

    Cuándo no: Si solo hay que llevar los datos de un topic de MSK a S3 sin código, Amazon Data Firehose también puede leer de MSK y entregar en S3. Si no hay Kafka y se trata de migrar o replicar una base de datos, se piensa en AWS DMS.

  • «replicar los topics de Kafka en otra región para resistir una caída regional»

    MSK Replicator copia los datos, la configuración de los topics y los offsets de los grupos de consumidores entre clústeres de MSK, también entre regiones, con topologías activa-activa o activa-pasiva.

    Cuándo no: MSK Replicator solo replica entre clústeres de la misma cuenta. Y si lo que se necesita es alta disponibilidad dentro de una región, basta con la replicación entre zonas de disponibilidad que ya hace el clúster.

Estudiar Amazon Managed Streaming for Apache Kafka (Amazon MSK) →