Skip to main content

​
Процесс онбординга

Клиенты могут начать процесс онбординга, связавшись с нами. Для этого клиентам нужна выделенная учетная запись AWS и информация о регионе, который они будут использовать. В настоящее время запускать сервисы BYOC можно только в тех регионах, которые поддерживаются в ClickHouse Cloud.

​
Подготовьте учетную запись AWS

Для лучшей изоляции рекомендуется подготовить отдельную учетную запись AWS для размещения развертывания ClickHouse BYOC. Однако можно также использовать общую учетную запись и существующий VPC. Подробности см. ниже в разделе Setup BYOC Infrastructure. Имея эту учетную запись и исходный адрес электронной почты администратора организации, вы можете обратиться в службу поддержки ClickHouse.

​
Инициализация BYOC

Первичную настройку BYOC можно выполнить либо с помощью шаблона CloudFormation, либо с помощью модуля Terraform. В обоих случаях создаётся одна и та же роль IAM, которая позволяет контроллерам BYOC из ClickHouse Cloud управлять вашей инфраструктурой. Обратите внимание: ресурсы S3, VPC и вычислительные ресурсы, необходимые для запуска ClickHouse, в эту первоначальную настройку не входят.

​
Шаблон CloudFormation

Шаблон CloudFormation для BYOC

​
Модуль Terraform

Модуль Terraform для BYOC

​
Настройка инфраструктуры BYOC

После создания стека CloudFormation вам будет предложено настроить инфраструктуру, включая S3, VPC и кластер EKS, в облачной консоли. Некоторые параметры нужно определить на этом этапе, так как позже изменить их будет нельзя. В частности:
  • Регион, который вы хотите использовать: вы можете выбрать любой из общедоступных регионов, доступных для ClickHouse Cloud.
  • Диапазон VPC CIDR для BYOC: по умолчанию для диапазона VPC CIDR BYOC используется 10.0.0.0/16. Если вы планируете использовать пиринг VPC с другой учетной записью, убедитесь, что диапазоны CIDR не пересекаются. Выделите для BYOC подходящий диапазон CIDR с минимальным размером /22, чтобы разместить необходимые рабочие нагрузки.
  • Зоны доступности для BYOC VPC: если вы планируете использовать пиринг VPC, согласование зон доступности между исходной и BYOC-учетными записями поможет снизить затраты на межзонный трафик. В AWS суффиксы зон доступности (a, b, c) могут соответствовать разным идентификаторам физических зон в разных учетных записях. Подробности см. в руководстве AWS.

​
VPC под управлением клиента

По умолчанию ClickHouse Cloud создаёт выделенную VPC для лучшей изоляции в вашем BYOC-развертывании. Однако вы также можете использовать существующую VPC в своей учетной записи. Для этого требуется специальная конфигурация, и такие изменения необходимо согласовать с поддержкой ClickHouse. Настройте существующую VPC
  1. Выделите как минимум 3 приватные подсети в 3 разных зонах доступности для использования ClickHouse Cloud.
  2. Убедитесь, что каждая подсеть имеет как минимум диапазон CIDR /23 (например, 10.0.0.0/23), чтобы обеспечить достаточное количество IP-адресов для развертывания ClickHouse.
  3. Добавьте тег kubernetes.io/role/internal-elb=1 в каждую подсеть, чтобы обеспечить корректную настройку балансировщика нагрузки.

BYOC VPC Subnet

BYOC VPC Subnet Tags
  1. Настройте шлюзовую конечную точку S3 Если в вашей VPC ещё не настроена шлюзовая конечная точка S3, вам нужно будет создать её, чтобы обеспечить безопасное приватное взаимодействие между вашей VPC и Amazon S3. Эта конечная точка позволяет сервисам ClickHouse получать доступ к S3 без выхода в публичный интернет. Ниже приведён пример конфигурации.

BYOC S3 Endpint
Свяжитесь с поддержкой ClickHouse Создайте тикет в поддержку, указав следующую информацию:
  • Идентификатор вашей учетной записи AWS
  • Регион AWS, в котором вы хотите развернуть сервис
  • Идентификатор вашей VPC
  • Идентификаторы приватных подсетей, которые вы выделили для ClickHouse
  • Зоны доступности, в которых находятся эти подсети

​
Дополнительно: настройка пиринга VPC

Чтобы создать или удалить пиринг VPC для ClickHouse BYOC, выполните следующие шаги:

​
Шаг 1: Включите частный балансировщик нагрузки для ClickHouse BYOC

Свяжитесь со службой поддержки ClickHouse, чтобы включить частный балансировщик нагрузки.

​
Шаг 2. Создайте пиринговое соединение

  1. Перейдите на панель мониторинга VPC в аккаунте ClickHouse BYOC.
  2. Выберите Peering Connections.
  3. Нажмите Create Peering Connection.
  4. В поле VPC Requester укажите ClickHouse VPC ID.
  5. В поле VPC Accepter укажите идентификатор целевой VPC. (При необходимости выберите другую учётную запись)
  6. Нажмите Create Peering Connection.

BYOC Создание пирингового соединения

​
Шаг 3. Примите запрос на пиринговое соединение

Перейдите в аккаунт для peering и на странице (VPC -> Peering connections -> Actions -> Accept request) одобрите этот запрос на пиринг VPC.
BYOC Принятие пирингового соединения

​
Шаг 4. Добавьте пункт назначения в таблицы маршрутизации VPC ClickHouse

В аккаунте ClickHouse BYOC:
  1. Выберите Route Tables на панели мониторинга VPC.
  2. Найдите идентификатор VPC ClickHouse. Измените каждую таблицу маршрутизации, связанную с приватными подсетями.
  3. Нажмите кнопку Edit на вкладке Routes.
  4. Нажмите Add another route.
  5. Введите диапазон CIDR целевой VPC в поле Destination.
  6. Выберите “Peering Connection” и идентификатор пирингового соединения в поле Target.

BYOC Добавление таблицы маршрутизации

​
Шаг 5. Добавьте пункт назначения в таблицы маршрутизации целевой VPC

В AWS-аккаунте, где настроен peering,
  1. Выберите Route Tables на панели панель мониторинга VPC.
  2. Найдите целевой VPC ID.
  3. Нажмите кнопку Edit на вкладке Routes.
  4. Нажмите Add another route.
  5. Введите диапазон CIDR VPC ClickHouse в поле Destination.
  6. Выберите “Peering Connection” и ID пирингового соединения в поле Target.

BYOC: добавление маршрута в таблицу маршрутизации

​
Шаг 6: Измените группу безопасности, чтобы разрешить доступ из VPC, подключённой через пиринг

В аккаунте ClickHouse BYOC необходимо обновить настройки Security Group, чтобы разрешить трафик из вашей VPC, подключённой через пиринг. Обратитесь в службу поддержки ClickHouse, чтобы запросить добавление входящих правил, включающих CIDR-диапазоны вашей VPC, подключённой через пиринг.
Теперь сервис ClickHouse должен быть доступен из VPC, подключённой через пиринг. Для частного доступа к ClickHouse выделяются частный балансировщик нагрузки и конечная точка, обеспечивающие безопасное подключение из VPC пользователя, подключённой через пиринг. Частная конечная точка соответствует формату публичной конечной точки с суффиксом -private. Например:
  • Публичная конечная точка: h5ju65kv87.mhp0y4dmph.us-west-2.aws.byoc.clickhouse.cloud
  • Частная конечная точка: h5ju65kv87-private.mhp0y4dmph.us-west-2.aws.byoc.clickhouse.cloud
При необходимости, после того как вы убедитесь, что пиринг работает, можно запросить удаление публичного балансировщика нагрузки для ClickHouse BYOC.

​
Процесс обновления

Мы регулярно обновляем программное обеспечение, включая версии базы данных ClickHouse, ClickHouse Operator, EKS и других компонентов. Хотя мы стремимся выполнять обновления без простоев (например, поэтапные обновления и перезапуски), некоторые из них, такие как смена версии ClickHouse и обновления узлов EKS, могут повлиять на работу сервиса. Клиенты могут задать окно обслуживания (например, каждый вторник в 1:00 ночи по PDT), чтобы такие обновления выполнялись только в это запланированное время.
Окна обслуживания не распространяются на исправления, связанные с безопасностью и уязвимостями. Такие обновления выполняются вне планового цикла, при этом мы заранее связываемся с клиентами, чтобы согласовать подходящее время и свести к минимуму влияние на работу сервиса.

​
Роли IAM для CloudFormation

​
Bootstrap роль IAM

Bootstrap роль IAM имеет следующие разрешения:
  • Операции с EC2 и VPC: Требуются для настройки VPC и кластеров EKS.
  • Операции с S3 (например, s3:CreateBucket): Нужны для создания бакетов для хранилища BYOC в ClickHouse.
  • Разрешения route53:*: Требуются внешнему DNS для настройки записей в Route 53.
  • Операции IAM (например, iam:CreatePolicy): Нужны контроллерам для создания дополнительных ролей (подробности см. в следующем разделе).
  • Операции EKS: Ограничены ресурсами, имена которых начинаются с префикса clickhouse-cloud.

​
Дополнительные роли IAM, создаваемые контроллером

Помимо ClickHouseManagementRole, создаваемой через CloudFormation, контроллер создаст несколько дополнительных ролей. Эти роли берут на себя приложения, работающие в EKS-кластере клиента:
  • Роль экспортера состояния
    • Компонент ClickHouse, который передаёт в ClickHouse Cloud информацию о состоянии сервиса.
    • Требует разрешения на запись в очередь SQS, принадлежащую ClickHouse Cloud.
  • Контроллер балансировщика нагрузки
    • Стандартный контроллер AWS для балансировщика нагрузки.
    • Контроллер EBS CSI для управления томами сервисов ClickHouse.
  • External-DNS
    • Публикует конфигурацию DNS в Route 53.
  • Cert-Manager
    • Выпускает TLS-сертификаты для доменов сервиса BYOC.
  • Cluster Autoscaler
    • При необходимости изменяет размер группы узлов.
Роли K8s-control-plane и k8s-worker предназначены для сервисов AWS EKS. Наконец, data-plane-mgmt позволяет компоненту Control Plane в ClickHouse Cloud синхронизировать необходимые пользовательские ресурсы, такие как ClickHouseCluster и Istio Virtual Service/Gateway.

​
Сетевые границы

В этом разделе рассматриваются различные типы сетевого трафика в клиентский BYOC VPC и из него:
  • Входящий: трафик, поступающий в клиентский BYOC VPC.
  • Исходящий: трафик, исходящий из клиентского BYOC VPC и направляемый во внешний пункт назначения.
  • Публичный: сетевая конечная точка, доступная из общедоступного интернета.
  • Приватный: сетевая конечная точка, доступная только через приватные соединения, такие как пиринг VPC, VPC Private Link или Tailscale.
Входной шлюз Istio развёрнут за AWS NLB для приёма клиентского трафика ClickHouse. Входящий, публичный (может быть приватным) Шлюз входного трафика Istio выполняет терминацию TLS. Сертификат, выпущенный CertManager с использованием Let’s Encrypt, хранится как секрет в кластере EKS. Трафик между Istio и ClickHouse шифруется средствами AWS, поскольку они находятся в одном VPC. По умолчанию входной шлюз общедоступен с фильтрацией по списку разрешённых IP-адресов. Клиенты могут настроить пиринг VPC, чтобы сделать его приватным и отключить публичный доступ. Мы настоятельно рекомендуем настроить IP-фильтр, чтобы ограничить доступ.

​
Доступ для устранения неполадок

Входящий, публичный (может быть приватным) Инженерам ClickHouse Cloud требуется доступ для устранения неполадок через Tailscale. Для развертываний BYOC им предоставляется аутентификация по сертификатам по мере необходимости.

​
Сборщик данных биллинга

Исходящий, приватный Сборщик данных биллинга собирает данные биллинга из ClickHouse и отправляет их в S3 бакет, принадлежащий ClickHouse Cloud. Он работает как sidecar-контейнер рядом с контейнером сервера ClickHouse и периодически собирает метрики CPU и памяти. Запросы в пределах одного региона маршрутизируются через сервисные конечные точки шлюза VPC.

​
Оповещения

Исходящий, публичный AlertManager настроен на отправку оповещений в ClickHouse Cloud, если кластер ClickHouse клиента работает некорректно. Метрики и журналы хранятся в BYOC VPC клиента. Сейчас журналы хранятся локально в EBS. В одном из следующих обновлений они будут храниться в LogHouse — сервисе ClickHouse в пределах BYOC VPC. Для метрик используется стек Prometheus и Thanos, который хранится локально в BYOC VPC.

​
Состояние сервиса

Исходящий трафик State Exporter отправляет сведения о состоянии сервиса ClickHouse в очередь SQS, принадлежащую ClickHouse Cloud.
Последнее изменение 3 июля 2026 г.