Kafka

HA Kafka-кластер через Strimzi Operator. Папка: infra/k8s/kafka/.

Описание

Strimzi Kafka Operator управляет Kafka-кластером в Kubernetes. Используется как шина событий.

Namespace: tech-kafka-operator (operator), tech-kafka-clusters (кластеры).
Ресурсы контроллеров: Увеличены до 1024Mi RAM с настройкой JVM Heap (-Xms: 512m, -Xmx: 768m) для стабильной работы KRaft quorum.
Node Affinity: Все компоненты Kafka жестко привязаны к нодам с cpu-version: v2.
Storage: longhorn-kafka SC.

cd infra/k8s
make kafka-install-operator
make kafka-create-cluster
make kafka-install-ui
make kafka-status

Команда	Описание
`make kafka-install-operator`	Установить Strimzi Operator
`make kafka-create-cluster`	Создать кластер `kafka-cluster`
`make kafka-install-ui`	Установить Kafka UI
`make kafka-delete-cluster`	Удалить только кластер (оператор остается)
`make kafka-status`	Проверить operator, CR, pods, services
`make kafka-uninstall`	Полный uninstall (включая данные)

Создание кластера обычно занимает 5-10 минут, наблюдение: make kafka-status.

Нет readiness у брокеров: проверить make kafka-status и логи operator.
Проблемы аутентификации: проверить secret kafka-cluster-user в tech-kafka-clusters.
Проблемы с PVC: проверить StorageClass longhorn-kafka и PVC namespace кластера.

На странице