Analítica
Amazon Kinesis
Familia de servicios para datos en streaming. Kinesis Data Streams recoge y procesa flujos de registros en tiempo real con aplicaciones consumidoras propias, y Amazon Data Firehose entrega el streaming, sin escribir aplicaciones, a destinos como Amazon S3, Amazon Redshift o Amazon OpenSearch Service.
Frases del examen que apuntan aquí
«recopilar y procesar datos de streaming en tiempo real»
Kinesis Data Streams recibe flujos continuos de registros (clics, logs, telemetría) y los deja disponibles para las aplicaciones consumidoras en cuestión de segundos o menos.
Cuándo no: Si solo hay que llevar esos datos a Amazon S3, Amazon Redshift u Amazon OpenSearch Service sin escribir consumidores y se toleran unos segundos o minutos de retraso, encaja mejor Amazon Data Firehose. Si la empresa ya usa Apache Kafka, se piensa en Amazon MSK; si lo que llega es video, en Amazon Kinesis Video Streams.
«varias aplicaciones deben leer los mismos datos al mismo tiempo»
En un data stream, cada aplicación consumidora lee el flujo completo de forma independiente: una puede calcular métricas mientras otra archiva, sin quitarse los registros entre sí.
Cuándo no: Si cada mensaje debe procesarlo un solo trabajador y luego desaparecer, el patrón es una cola (Amazon SQS). Si el mensaje debe empujarse a varios suscriptores como notificación, se piensa en Amazon SNS.
«volver a procesar los datos de los últimos días»
Kinesis Data Streams conserva los registros durante el periodo de retención, así que un consumidor puede volver a leerlos desde un punto anterior, por ejemplo tras corregir un error.
Cuándo no: La retención por defecto es de 24 horas; para más tiempo hay que ampliarla y tiene costo. Si se trata de guardar el histórico durante meses o años para consultarlo, lo habitual es archivarlo en Amazon S3 (por ejemplo, con Firehose).
«cargar datos de streaming en Amazon S3, Amazon Redshift o Amazon OpenSearch Service sin administrar aplicaciones»
Amazon Data Firehose es un servicio de entrega administrado: los productores envían datos y Firehose los agrupa, opcionalmente los transforma y los entrega al destino configurado.
Cuándo no: Firehose acumula datos por tamaño o por tiempo antes de entregarlos, así que es casi en tiempo real, no instantáneo. Si se necesita procesar cada registro con lógica propia, con varios consumidores o con reprocesamiento, se usa Kinesis Data Streams.
«convertir los datos a Apache Parquet antes de guardarlos en Amazon S3»
Firehose puede convertir registros JSON a formatos columnares como Parquet u ORC y particionar los datos en S3 durante la entrega, lo que abarata y acelera las consultas posteriores.
Cuándo no: Si la transformación es un ETL por lotes complejo sobre datos que ya están almacenados, encaja mejor AWS Glue. Si basta con consultar los datos tal como están en S3, Amazon Athena puede leerlos sin conversión previa.
«procesar en orden los registros de cada dispositivo»
La partition key decide a qué shard va cada registro; los registros con la misma clave van al mismo shard y se leen en el orden en que se escribieron.
Cuándo no: Si lo que se necesita es orden más confirmación y borrado mensaje a mensaje por un único consumidor, una cola FIFO de Amazon SQS con message group ID puede encajar mejor.
Suele ir con
- AWS Lambda
- Amazon S3
- Amazon Redshift
- Amazon OpenSearch Service