Amazon MSK Replicator ahora replica datos desde clústeres externos a MSK Standard

Introducción

Hasta ahora, los equipos que necesitaban replicar datos desde clústeres Apache Kafka externos hacia Amazon MSK dependían de brokers MSK Express o de herramientas personalizadas como MirrorMaker 2.0. Esto limitaba opciones para entornos donde MSK Standard (el broker estándar de Amazon) era la elección predeterminada por su equilibrio entre costo y rendimiento.

Con el anuncio del Amazon MSK Replicator para brokers Standard —publicado en julio de 2026—, los equipos de infraestructura pueden replicar datos desde cualquier clúster Kafka externo (on-premises, en AWS, o en otros proveedores) directamente hacia MSK Standard. Esto simplifica escenarios críticos como:

• Migración de cargas de trabajo desde Kafka autogestionado a MSK Standard.
• Implementación de estrategias de disaster recovery con clústeres MSK como destino de réplica.
• Distribución de datos entre entornos híbridos y multi-nube.

El cambio más relevante es la eliminación de la restricción anterior: antes, MSK Replicator solo soportaba réplicas hacia brokers MSK Express. Ahora, esta funcionalidad está disponible para MSK Standard, manteniendo compatibilidad con autenticación SASL/SCRAM y agregando soporte para mTLS.

Qué ocurrió

El 15 de julio de 2026, AWS anunció que Amazon MSK Replicator extiende su soporte para replicar datos desde clústeres Apache Kafka externos hacia MSK Standard brokers. Esta funcionalidad se suma a la existente para MSK Express, pero con un enfoque clave: permitir réplicas hacia brokers Standard, que son los más utilizados por su relación costo-rendimiento.

Funcionalidades clave del lanzamiento

1. Réplica desde clústeres externos a MSK Standard:

– Autenticación mediante SASL/SCRAM (ya soportada) y mTLS (nuevo).

– Réplica bidireccional: desde MSK Standard a clústeres externos (para failback o distribución multi-nube).

1. Gestión simplificada de réplicas:

– Sincroniza offsets de consumer groups en ambas direcciones, permitiendo mover productores y consumidores de forma independiente sin riesgo de pérdida de datos.

1. Disponibilidad global:

Contexto técnico

El componente base es MSK Replicator, un servicio de AWS que automatiza la réplica entre clústeres Kafka sin necesidad de infraestructura personalizada. Antes de este lanzamiento, solo soportaba réplicas hacia MSK Express. Ahora, al extenderlo a MSK Standard, AWS cierra una brecha clave para equipos que priorizan costo sobre latencia en entornos de producción.

Impacto para DevOps / Infraestructura / Cloud / Seguridad

Para equipos de DevOps e Infraestructura

• Eliminar la necesidad de mantener herramientas como MirrorMaker 2.0 o scripts personalizados para réplicas hacia MSK Standard.
• Centralización de la réplica en un servicio gestionado por AWS, con integración nativa con IAM, CloudWatch y VPC.

• Posibilidad de migrar cargas de trabajo desde Kafka autogestionado (on-premises o en otras nubes) a MSK Standard con mínima interrupción.
• Soporte para arquitecturas híbridas: por ejemplo, un clúster en AWS replicando datos desde un data center local hacia MSK Standard como destino de disaster recovery.

• MSK Standard es un 40% más económico que MSK Express por GB transferido (según página de precios de AWS).
• La réplica con mTLS (ahora soportada) permite cifrar datos en tránsito sin sobrecargar CPU en los brokers, ya que el procesamiento se delega a AWS.

Para equipos de Seguridad

• mTLS como opción para autenticar clústeres externos hacia MSK Standard, lo que reduce riesgos de suplantación de identidad (spoofing).
• SASL/SCRAM sigue siendo la opción predeterminada, pero ahora con mayor granularidad en permisos mediante IAM.

• La réplica con mTLS cumple con requisitos de cifrado en tránsito (ej: estándar PCI DSS 4.0 para transacciones financieras).
• AWS gestiona el ciclo de vida de los certificados TLS, simplificando auditorías.

• Punto de atención: equipos deben validar que los clústeres externos cumplan con los requisitos de TLS 1.3 o superior. Configuraciones con TLS 1.2 o inferior podrían exponer datos a vulnerabilidades como CVE-2021-44228 (Log4Shell afecta a versiones antiguas de TLS, aunque no directamente a MSK).

Detalles técnicos

Requisitos del sistema

El proceso de réplica se configura mediante la CLI de AWS o la API de MSK Replicator. Ejemplo mínimo con SASL/SCRAM:

# Crear un task de réplica
aws msk create-replication-task \
  --source-cluster-arn "arn:aws:kafka:us-east-1:123456789012:cluster/my-external-kafka/abcd1234-5678-90ef-ghij-klmnopqrstuv" \
  --source-topic-names "ventas,inventario" \
  --destination-cluster-arn "arn:aws:kafka:us-east-1:123456789012:cluster/my-msk-standard/abcd1234-5678-90ef-ghij-klmnopqrstuv" \
  --destination-topic-names "ventas-replica,inventario-replica" \
  --replication-mode "SOURCE_TO_DESTINATION" \
  --sasl-scram-auth "username=kafka-user,password=XXXXXX"

Para mTLS, se usa una configuración similar pero con:

--mtls-auth "certificate-arn=arn:aws:acm:us-east-1:123456789012:certificate/xxxxxx-xxxx-xxxx-xxxx-xxxxxxxx"

Límites y consideraciones

• Régimen de réplica: Hasta 100 topics por task (configurable en batches).
• Latencia: Depende de la configuración del clúster externo. AWS recomienda probar con:

  aws msk describe-replication-task --task-arn "arn:aws:kafka:us-east-1:123456789012:replication-task/abcd1234"
  

• Sincronización de offsets: Los consumer groups se sincronizan bidireccionalmente, pero los equipos deben validar que los offsets no generen duplicados en el destino.
• Costo: MSK Replicator tiene un costo por GB replicado (ver precios). Para MSK Standard, el costo es menor que para MSK Express.

Integración con otros servicios

• IAM: Los permisos se gestionan con políticas como:

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": [
          "kafka:CreateReplicationTask",
          "kafka:DescribeReplicationTask"
        ],
        "Resource": "arn:aws:kafka:*:*:replication-task/*"
      }
    ]
  }
  

• CloudWatch: Métricas clave como BytesInPerSec, BytesOutPerSec, y ReplicationLag se exponen automáticamente.

Qué deberían hacer los administradores y equipos técnicos

1. Validar compatibilidad del clúster externo

# Ejecutar en un broker externo
kafka-broker-api-versions.sh --version

openssl s_client -connect <external-broker-host>:9092 -showcerts -state

2. Configurar el entorno en AWS

aws msk create-replication-task \
  --source-cluster-arn "arn:aws:kafka:region:account:cluster/external-kafka/abc123" \
  --destination-cluster-arn "arn:aws:kafka:region:account:cluster/msk-standard/xyz456" \
  --replication-mode "SOURCE_TO_DESTINATION" \
  --mtls-auth "certificate-arn=arn:aws:acm:region:account:certificate/def789" \
  --destination-topic-names "topic1,topic2" \
  --source-topic-names "topic1,topic2" \
  --tags "Environment=prod,Team=platform"

aws msk describe-replication-task --task-arn "arn:aws:kafka:region:account:replication-task/ghi789"

• ReplicationStatus: Debe ser RUNNING.
• ReplicationLag: Menor a 1 segundo (para entornos de baja latencia).

3. Configurar autenticación y permisos

# Crear usuario en el clúster externo (ejemplo con Kafka CLI)
kafka-configs.sh --alter --bootstrap-server <external-broker>:9092 \
  --entity-type users --entity-name kafka-user \
  --add-config 'SCRAM-SHA-512=[iterations=8192,password=xxxxxx]'

# Subir el certificado a AWS Certificate Manager (ACM)
aws acm import-certificate --certificate fileb://cert.pem --private-key fileb://key.pem

# Asignar política al rol/usuario de IAM
aws iam put-role-policy \
  --role-name MSKReplicatorRole \
  --policy-name MSKReplicatorPolicy \
  --policy-document file://msk-replicator-policy.json

4. Monitorear y ajustar

{
  "AlarmName": "MSKReplicatorHighLag",
  "MetricName": "ReplicationLag",
  "Namespace": "AWS/MSK",
  "Statistic": "Average",
  "Period": 60,
  "EvaluationPeriods": 5,
  "Threshold": 1000,
  "ComparisonOperator": "GreaterThanThreshold",
  "Dimensions": [
    {
      "Name": "ReplicationTaskArn",
      "Value": "arn:aws:kafka:region:account:replication-task/*"
    }
  ]
}

aws msk update-replication-task \
  --task-arn "arn:aws:kafka:region:account:replication-task/ghi789" \
  --consumer-config '{"BatchSize": 5000, "FetchMaxBytes": 5242880}'

5. Planificar migraciones o DR

1. Configurar réplica en modo bidireccional (origen externo → destino MSK Standard).
2. Validar que los consumer groups en el destino consuman datos correctamente.
3. Reconfigurar productores/consumidores para apuntar a MSK Standard.
4. Desmontar el clúster externo.

1. Configurar réplica desde el clúster principal a un MSK Standard en otra región.
2. Probar failover manual:

   aws kafka start-replication-task-failover --task-arn "arn:aws:kafka:region:account:replication-task/ghi789" --failover-mode "PRIMARY_TO_SECONDARY"
   

1. Validar consistencia de datos con herramientas como kafka-verifiable-consumer.

Conclusión

El lanzamiento de MSK Replicator para brokers Standard cierra una brecha crítica para equipos que buscan migrar cargas de trabajo Kafka a AWS sin sacrificar flexibilidad operativa. La capacidad de replicar datos desde clústeres externos (on-premises o en otras nubes) hacia MSK Standard con autenticación SASL/SCRAM o mTLS simplifica escenarios clave:

• Migraciones a costo reducido (MSK Standard es hasta un 40% más económico que MSK Express).
• Estrategias de disaster recovery con réplicas en regiones alternativas.
• Distribución de datos en arquitecturas híbridas o multi-nube.

Para equipos de DevOps e Infraestructura, el mayor beneficio es la eliminación de infraestructura personalizada para réplicas, reemplazada por un servicio gestionado con integración nativa a AWS. Sin embargo, la transición requiere:

1. Validar compatibilidad de versiones en clústeres externos.
2. Configurar autenticación segura (especialmente mTLS).
3. Monitorear métricas de latencia y lag de réplica.

AWS sigue expandiendo MSK Replicator, pero este lanzamiento es un paso clave para homogeneizar entornos Kafka en AWS con opciones de costo optimizado.

Fuentes

• AWS: Amazon MSK Replicator ahora soporta réplicas desde clústeres externos a MSK Standard
• AWS MSK Replicator Documentation
• AWS MSK Pricing
• AWS Regional Services (para verificar disponibilidad)