Index

Документация по установке и использованию Redis HA кластера через Opstree Redis Operator.

Оглавление

Описание

Opstree Redis Operator - Kubernetes оператор для управления Redis кластерами с поддержкой HA режима.

Возможности

  • ✅ HA Redis Cluster режим
  • ✅ Автоматическое управление кластером
  • ✅ Мониторинг через Redis Exporter
  • ✅ Persistent storage
  • ✅ Автоматическое масштабирование

Текущая конфигурация

  • Operator namespace: tech-redis-operator
  • Clusters namespace: tech-redis-clusters
  • Storage: Longhorn (15Gi per pod, StorageClass: longhorn-redis)
  • Placement: Operator и Redis поды могут размещаться на любых нодах (masters + workers)
  • Cluster size: 3 поды (минимальный HA кластер)

Быстрый старт

1. Подготовка нод

Подготовка нод выполняется автоматически через Ansible playbook:

1
cd ../.. && make k8s-prepare-nodes

Это добавит: - На master нодах: label node-role.kubernetes.io/control-plane=true и taint node-role.kubernetes.io/control-plane:NoSchedule - На worker нодах: label node-role.kubernetes.io/worker=true

2. Установка Operator

1
2
cd infra/k8s
make redis-install-operator

Это установит Opstree Redis Operator через Helm chart из официального репозитория.

3. Создание секрета с паролем для redis-cluster

Кластер использует существующий Secret с ключом password.

Вариант A: через Makefile (интерактивно)

1
make redis-create-secret

Вариант B: вручную через kubectl

1
2
kubectl -n tech-redis-clusters create secret generic redis-cluster-secret \
  --from-literal=password=YOUR_PASSWORD

Или через YAML манифест:

1
2
3
4
5
6
7
8
apiVersion: v1
kind: Secret
metadata:
  name: redis-cluster-secret
  namespace: tech-redis-clusters
type: Opaque
stringData:
  password: YOUR_PASSWORD

Важно: - Secret должен быть в namespace tech-redis-clusters - Имя Secret должно совпадать с spec.secret.name в RedisCluster (по умолчанию redis-cluster-secret) - Секрет должен содержать ключ password с паролем

4. Создание кластера

1
make redis-create-cluster

Это создаст: - StorageClass longhorn-redis - Redis кластер redis-cluster с 3 подами

5. Проверка статуса

1
make redis-status

Архитектура

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
┌─────────────────────────────────────┐
│  tech-redis-operator                │
│  └── redis-operator (deployment)   │
└─────────────────────────────────────┘

┌─────────────────────────────────────┐
│  tech-redis-clusters                │
│                                     │
│  redis-cluster (RedisCluster CR)    │
│  ├── redis-cluster-0 (leader)       │
│  ├── redis-cluster-1 (leader)       │
│  └── redis-cluster-2 (leader)       │
│                                     │
│  Services:                          │
│  ├── redis-cluster-leader           │
│  └── redis-cluster-follower         │
└─────────────────────────────────────┘

Команды

Управление

1
2
3
4
5
6
7
8
9
make redis-install-operator   # Установка оператора
make redis-create-secret      # Создание секрета с паролем (интерактивно)
make redis-create-cluster     # Создание кластера redis-cluster
make redis-delete-cluster     # Удаление кластера (сохраняет оператор)
make redis-install-insight    # Установка RedisInsight UI
make redis-insight-port-forward # Port-forward RedisInsight (http://localhost:8001)
make redis-status             # Статус оператора и кластеров
make redis-connect            # Инструкции по подключению
make redis-uninstall          # Удаление (УДАЛЯЕТ ДАННЫЕ!)

Справка

1
make redis-help  # Справка по Redis командам

Конфигурация

Operator

Оператор устанавливается через Helm chart из официального репозитория: - Helm chart: ot-helm/redis-operator версия 0.19.0 - Helm repository: https://ot-container-kit.github.io/helm-charts/ - CRDs устанавливаются автоматически при установке Helm chart - ServiceAccount, Role, RoleBinding создаются автоматически

Кластер redis-cluster

Конфигурация в manifests/redis-operator/redis-cluster.yaml:

  • Cluster size: 3 поды (минимальный HA кластер)
  • Image: quay.io/opstree/redis:v7.2.3
  • Password: Настраивается через Secret redis-cluster-secret с ключом password
  • Storage: 15Gi per pod (Longhorn, StorageClass: longhorn-redis)
  • Resources: 250m-1 CPU, 512Mi-2Gi RAM
  • Redis Exporter: Enabled для мониторинга
  • Node placement: Любые ноды (masters + workers)
  • Pod anti-affinity: Разные ноды по kubernetes.io/hostname

StorageClass

StorageClass longhorn-redis создается автоматически при создании кластера: - Provisioner: driver.longhorn.io - Replicas: 1 - Reclaim policy: Delete - Volume binding: Immediate

Подключение

Connection Strings

1
2
3
4
5
# Leader (write)
redis-cluster-leader.tech-redis-clusters.svc.cluster.local:6379

# Follower (read)
redis-cluster-follower.tech-redis-clusters.svc.cluster.local:6379

Подключение через kubectl exec

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
# Получение пароля из секрета
REDIS_PASSWORD=$(kubectl -n tech-redis-clusters get secret redis-cluster-secret -o jsonpath='{.data.password}' | base64 -d)

# Подключение к leader поду
kubectl -n tech-redis-clusters exec -it \
  $(kubectl -n tech-redis-clusters get pod -l redis.opstreelabs.in/cluster=redis-cluster,role=leader -o jsonpath='{.items[0].metadata.name}') \
  -- redis-cli -a "$REDIS_PASSWORD"

# Проверка состояния кластера
kubectl -n tech-redis-clusters exec -it \
  $(kubectl -n tech-redis-clusters get pod -l redis.opstreelabs.in/cluster=redis-cluster,role=leader -o jsonpath='{.items[0].metadata.name}') \
  -- redis-cli -a "$REDIS_PASSWORD" CLUSTER NODES

Подключение из приложения

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
import redis
import os

# Получение пароля из переменной окружения или секрета
password = os.getenv('REDIS_PASSWORD', 'your-password')

# Подключение к leader
r = redis.Redis(
    host='redis-cluster-leader.tech-redis-clusters.svc.cluster.local',
    port=6379,
    password=password,
    decode_responses=True
)

# Использование
r.set('key', 'value')
value = r.get('key')

Примечание: Для production рекомендуется использовать Kubernetes Secrets для передачи пароля в приложение через переменные окружения или mounted volumes.

Troubleshooting

Проверка статуса оператора

1
2
kubectl -n tech-redis-operator get pods
kubectl -n tech-redis-operator logs deployment/redis-operator

Проверка статуса кластера

1
2
3
4
5
6
7
8
# Статус CR
kubectl -n tech-redis-clusters get rediscluster redis-cluster -o yaml

# Статус подов
kubectl -n tech-redis-clusters get pods -l redis.opstreelabs.in/cluster=redis-cluster

# Логи пода
kubectl -n tech-redis-clusters logs redis-cluster-0

Проверка кластера Redis

1
2
3
4
5
6
7
# Подключение к кластеру
kubectl -n tech-redis-clusters exec -it redis-cluster-0 -- redis-cli

# Внутри redis-cli
CLUSTER INFO
CLUSTER NODES
INFO replication

Проблемы с PVC

1
2
3
4
5
# Проверка PVC
kubectl -n tech-redis-clusters get pvc

# Проверка StorageClass
kubectl get storageclass longhorn-redis

Пересоздание кластера

1
2
3
4
5
# Удаление кластера
make redis-delete-cluster

# Создание заново
make redis-create-cluster

RedisInsight UI

RedisInsight - официальный GUI инструмент от Redis для управления и мониторинга Redis кластеров.

Установка

1
make redis-install-insight

Доступ

1
2
3
4
5
# Запустить port-forward
make redis-insight-port-forward

# Открыть в браузере
http://localhost:5540

Подключение к кластеру в RedisInsight

  1. Откройте RedisInsight в браузере (http://localhost:5540)
  2. Нажмите "Add Redis Database"
  3. Выберите "Redis Cluster"
  4. Введите параметры подключения:
  5. Hosts: redis-cluster-leader.tech-redis-clusters.svc.cluster.local:6379
  6. Password: (получите из секрета): 
    1
    kubectl -n tech-redis-clusters get secret redis-cluster-secret -o jsonpath='{.data.password}' | base64 -d
  7. Нажмите "Add Redis Database"

Примечание: Сервис redis-cluster-leader автоматически балансирует запросы между всеми leader подами кластера, поэтому достаточно указать один хост. Redis Cluster протокол автоматически получит информацию о топологии кластера.

Дополнительные ресурсы

← Назад к главной документации