Kubernetes

Previous Next

Обзор кластерного слоя infra/k8s/: модульная структура, порядок установки и операционные команды.

Архитектура слоя

Kubernetes — основная среда выполнения AIOps. Кластер состоит из 10 нод: - 3 Master-ноды (control-plane): ограниченные ресурсы (3GB RAM), только для системных компонентов. - 7 Worker-нод (compute): для размещения прикладных ворклоадов.

Инициализация нод и control-plane выполняется через Ansible, а кластерные модули управляются через infra/k8s/Makefile.

Топология и правила размещения

  1. Master-ноды (Control Plane):
  2. Не предназначены для пользовательских приложений.
  3. Любые tolerations на node-role.kubernetes.io/control-plane должны быть удалены из прикладных манифестов.
  4. Только статические поды и критические системные компоненты (например, node-exporter) могут там работать.
  5. CPU Versioning:
  6. Ноды разделены по поддержке инструкций процессора: cpu-version: v1 и v2.
  7. Критичные компоненты (Kafka, Sonarqube, Tempo) требуют v2.
  8. Остальные компоненты должны иметь preferred аффинити к v2 или размещаться на v1 для балансировки ресурсов.

Структура infra/k8s/

Модуль Назначение
common/ Общие ресурсы кластера: PriorityClasses и node labels
longhorn/ Storage foundation
postgres/ PostgreSQL operator + clusters
redis/ Redis operator + clusters
kafka/ Strimzi operator + clusters
vault/ Vault operator + instances
minio/ MinIO operator + tenants
ingress/ Ingress NGINX и cert-manager
logging/ Loki + Fluent Bit
monitoring/ VictoriaMetrics, Prometheus, Grafana, Alertmanager
tracing/ OpenTelemetry/Tempo stack
authentik/, sonarqube/, glitchtip/, nexus/, gitlab-runner/, k8s-dashboard/, olm/ прикладные и платформенные компоненты
scripts/ Smoke tests, validate-manifests, resource diagnostics
docs/ Runtime внутреннего docs-портала
example/ Эталонные манифесты для новых сервисов

Основные команды (из infra/k8s)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
cd infra/k8s

make help                    # Справка по всем модулям
make install-namespaces      # Создание namespaces
make install-cluster-resources
make label-nodes
make longhorn-install        # Longhorn (первым!)
make postgres-install-operator
make postgres-create-cluster
make redis-install-operator
make redis-create-cluster
make kafka-install-operator
make kafka-create-cluster
make vault-install-operator
make vault-create-instance
make ingress-install-all
make ingress-apply
make smoke-tests
make validate-manifests
make health-check

Рекомендуемый порядок установки

  1. install-namespaces + install-cluster-resources.
  2. label-nodes и подготовка нод.
  3. longhorn-install-all.
  4. Операторы (postgres/redis/kafka/vault/minio/...).
  5. Инстансы/кластеры.
  6. ingress/logging/monitoring/tracing.
  7. smoke tests и health check.

Дополнительные материалы в infra

  • infra/k8s/README.md — полная карта модулей и ресурсов.
  • infra/INSTALLATION.md — end-to-end установка всей платформенной инфраструктуры.
  • infra/ADD_NODE.md — отдельный runbook по добавлению ноды.

Связанные страницы

WireGuard Longhorn