Intégrer Amazon MSK à ClickHouse

Remarque : la politique affichée dans la vidéo est permissive et destinée uniquement à une prise en main rapide. Consultez les recommandations IAM relatives au principe du moindre privilège ci-dessous.

• que vous connaissez ClickHouse Connector Sink,
• que vous connaissez Amazon MSK et les connecteurs MSK. Nous vous recommandons le guide Getting Started d’Amazon MSK ainsi que le guide MSK Connect.

1. Assurez-vous de bien connaître le ClickHouse Connector Sink
2. Créez une instance MSK.
3. Créez et attribuez un IAM role.
4. Téléchargez un fichier jar depuis la page Release du ClickHouse Connect Sink.
5. Installez le fichier jar téléchargé sur la page Custom plugin dans la console Amazon MSK.
6. Si le connector communique avec une instance ClickHouse publique, activez l’accès à Internet.
7. Renseignez le nom du topic, le hostname de l’instance ClickHouse et le mot de passe dans la config.

connector.class=com.clickhouse.kafka.connect.ClickHouseSinkConnector
tasks.max=1
topics=<topic_name>
ssl=true
security.protocol=SSL
hostname=<hostname>
database=<database_name>
password=<password>
ssl.truststore.location=/tmp/kafka.client.truststore.jks
port=8443
value.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
exactlyOnce=true
username=default
schemas.enable=false

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "MSKClusterAccess",
      "Effect": "Allow",
      "Action": [
        "kafka:DescribeCluster",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2",
        "kafka:ListClusters",
        "kafka:ListClustersV2"
      ],
      "Resource": "*"
    },
    {
      "Sid": "KafkaAuthorization",
      "Effect": "Allow",
      "Action": [
        "kafka-cluster:Connect",
        "kafka-cluster:DescribeCluster",
        "kafka-cluster:DescribeGroup",
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:ReadData"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalGlueSchemaRegistry",
      "Effect": "Allow",
      "Action": [
        "glue:GetSchema*",
        "glue:ListSchemas",
        "glue:ListSchemaVersions"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalSecretsManager",
      "Effect": "Allow",
      "Action": [
        "secretsmanager:GetSecretValue"
      ],
      "Resource": [
        "arn:aws:secretsmanager:<region>:<account-id>:secret:<your-secret-name>*"
      ]
    },
    {
      "Sid": "OptionalS3Read",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::<your-bucket>/<optional-prefix>/*"
    }
  ]
}

• Utilisez le bloc Glue uniquement si vous utilisez AWS Glue Schema Registry.
• Utilisez le bloc Secrets Manager uniquement si vous récupérez les données d’authentification/truststores depuis Secrets Manager. Limitez la portée de l’ARN.
• Utilisez le bloc S3 uniquement si vous chargez des artefacts (par exemple, un truststore) depuis S3. Limitez la portée au bucket/préfixe.

consumer.max.poll.records=[NUMBER OF RECORDS]
consumer.max.partition.fetch.bytes=[NUMBER OF RECORDS * RECORD SIZE IN BYTES]

consumer.max.poll.records=500
consumer.max.partition.fetch.bytes=1048576

1. Créer un sous-réseau privé : Créez un nouveau sous-réseau dans votre VPC et définissez-le comme sous-réseau privé. Ce sous-réseau ne doit pas avoir d’accès direct à Internet.
2. Créer une passerelle NAT : Créez une passerelle NAT dans un sous-réseau public de votre VPC. La passerelle NAT permet aux instances de votre sous-réseau privé d’accéder à Internet ou à d’autres services AWS, tout en empêchant Internet d’initier une connexion vers ces instances.
3. Mettre à jour la table de routage : Ajoutez une route qui redirige le trafic à destination d’Internet vers la passerelle NAT.
4. Vérifier la configuration des groupes de sécurité et des ACL réseau : Configurez vos groupes de sécurité et vos ACL réseau (listes de contrôle d’accès) pour autoriser le trafic approprié.
   1. Des ENI des workers MSK Connect vers les brokers MSK sur le port TLS (généralement 9094).
   2. Des ENI des workers MSK Connect vers le point de terminaison ClickHouse : 9440 (TLS natif) ou 8443 (HTTPS).
   3. Autorisez le trafic entrant sur le SG du broker depuis le SG des workers MSK Connect.
   4. Pour ClickHouse auto-hébergé, ouvrez le port configuré sur votre serveur (8123 par défaut pour HTTP).
5. Attacher les groupes de sécurité à MSK : Assurez-vous que ces groupes de sécurité sont attachés à votre cluster MSK et aux workers MSK Connect.
6. Connectivité à ClickHouse Cloud :
   1. Point de terminaison public + liste d’autorisation d’IP : nécessite une sortie NAT depuis les sous-réseaux privés.
   2. Connectivité privée lorsqu’elle est disponible (par ex. VPC peering/PrivateLink/VPN). Assurez-vous que les noms d’hôte/la résolution DNS du VPC sont activés et que le DNS peut résoudre le point de terminaison privé.
7. Valider la connectivité (liste de contrôle rapide) :
   1. Depuis l’environnement du connecteur, résolvez le DNS bootstrap MSK et établissez une connexion TLS vers le port du broker.
   2. Établissez une connexion TLS à ClickHouse sur le port 9440 (ou 8443 pour HTTPS).
   3. Si vous utilisez des services AWS (Glue/Secrets Manager), autorisez le trafic sortant vers ces points de terminaison.