Документация по настройке глобального балансировщика, VPN-безопасных internal-доменов и Authentik SSO в Kubernetes.

Оглавление

• Описание
• Архитектура
• Быстрый старт
• Команды
• Настройка Authentik Outpost
• Внутренние сервисы
• Публичные сервисы
• Troubleshooting

Описание

Ingress NGINX Controller и Cert-Manager обеспечивают глобальную балансировку нагрузки для Kubernetes кластера с автоматическим управлением TLS сертификатами через Let's Encrypt.

Возможности

• ✅ Глобальный балансировщик через hostNetwork (порты 80/443 на всех мастер нодах)
• ✅ Автоматическое получение TLS сертификатов (Let's Encrypt)
• ✅ VPN whitelist для внутренних сервисов (10.99.0.0/24)
• ✅ Authentik SSO для защиты внутренних сервисов
• ✅ HTTP-01 challenge для Let's Encrypt
• ✅ Автоматическое обновление сертификатов

Текущая конфигурация

• Ingress Controller: ingress-nginx (DaemonSet, hostNetwork, порты 80/443 на всех мастер нодах)
• Cert-Manager: автоматическое управление TLS сертификатами
• ClusterIssuer: Let's Encrypt Production (HTTP-01)
• VPN Network: 10.99.0.0/24 (WireGuard)
• Domain: ai-ops.tech

Архитектура

Внутренние сервисы (VPN + SSO)

• auth.internal.ai-ops.tech → Authentik UI
• s3.internal.ai-ops.tech → MinIO Browser (встроенный UI)
• longhorn.internal.ai-ops.tech → Longhorn UI
• k8s-dashboard.internal.ai-ops.tech → Kubernetes Dashboard
• redis.internal.ai-ops.tech → Redis Insight UI
• postgres.internal.ai-ops.tech → PostgreSQL Operator UI
• glitchtip.internal.ai-ops.tech → GlitchTip UI
• nexus.internal.ai-ops.tech → Nexus Repository Manager UI
• sonarqube.internal.ai-ops.tech → SonarQube UI
• vault.internal.ai-ops.tech → Vault UI
• kafka.internal.ai-ops.tech → Kafka UI

Компоненты

Быстрый старт

1. Очистка старой установки (если ingress-nginx установлен через Ansible)

Если ingress-nginx был установлен ранее через Ansible, его нужно удалить перед установкой через Helm:

1
2

cd infra/k8s
make ingress-cleanup-old

2. Установка ingress-nginx и cert-manager

1

make ingress-install-all

Эта команда: 1. Установит ingress-nginx через Helm (DaemonSet, hostNetwork, порты 80/443 на всех мастер нодах) 2. Установит cert-manager через Helm 3. Создаст ClusterIssuer для Let's Encrypt

Примечание: Если ingress-nginx был установлен ранее через Ansible, команда ingress-install-nginx автоматически обнаружит это и предложит сначала выполнить make ingress-cleanup-old.

Важно: Ingress controller будет размещен на всех мастер нодах (DaemonSet). Убедитесь, что: - Порты 80 и 443 свободны на всех мастер нодах - DNS записи для доменов указывают на IP адреса всех мастер нод (A записи) - Firewall разрешает входящие соединения на порты 80 и 443 на всех мастер нодах

2. Настройка Authentik Outpost

См. раздел Настройка Authentik Outpost

3. Применение ingress манифестов

1

make ingress-apply

4. Проверка статуса

1

make ingress-status

Важно: Убедитесь, что ClusterIssuer создан:

1

kubectl get clusterissuer letsencrypt-http

После применения ingress манифестов, cert-manager автоматически создаст Certificate ресурсы и запросит сертификаты у Let's Encrypt. Проверьте статус сертификатов:

1
2

kubectl get certificate -A
kubectl describe certificate <certificate-name> -n <namespace>

Примечание: Создание сертификатов может занять 1-2 минуты. Если сертификат не создается, см. раздел Troubleshooting.

Команды

Управление

1
2
3
4
5
6
7

make ingress-help              # Справка по Ingress командам
make ingress-install-all       # Установить ingress-nginx и cert-manager
make ingress-install-nginx     # Только ingress-nginx
make ingress-install-cert-manager  # Только cert-manager
make ingress-apply             # Применить все ingress манифесты
make ingress-status            # Статус ingress и cert-manager
make ingress-uninstall         # Удалить ingress-nginx и cert-manager

Настройка Authentik Outpost

Authentik Outpost необходим для защиты внутренних сервисов через SSO. Outpost должен быть настроен в Authentik UI.

Шаг 1: Создание Proxy Provider в Authentik

1. Откройте Authentik UI: https://auth.internal.ai-ops.tech
2. Перейдите в Applications → Providers
3. Нажмите Create → Proxy Provider
4. Заполните форму:
5. Name: nginx-proxy
6. Authorization flow: выберите существующий flow или создайте новый
7. External host: https://auth.internal.ai-ops.tech
8. Internal host: http://authentik.tech-authentik.svc.cluster.local:9000
9. Internal host SSL Validation: отключено (если используется HTTP внутри кластера)
10. Сохраните Provider

Шаг 2: Создание Application в Authentik

1. Перейдите в Applications → Applications
2. Нажмите Create
3. Заполните форму:
4. Name: Internal Services
5. Slug: internal-services
6. Provider: выберите созданный nginx-proxy
7. Launch URL: https://auth.internal.ai-ops.tech
8. Сохраните Application

Шаг 3: Создание Outpost в Authentik

1. Перейдите в Applications → Outposts
2. Нажмите Create
3. Заполните форму:
4. Name: nginx-outpost
5. Type: Proxy
6. Integration: Docker
7. Applications: выберите созданное приложение Internal Services
8. Configuration: оставьте по умолчанию
9. Сохраните Outpost

Шаг 4: Проверка Outpost

После создания Outpost, Authentik автоматически создаст необходимые endpoints: - https://auth.internal.ai-ops.tech/outpost.goauthentik.io/auth/nginx - для проверки аутентификации - https://auth.internal.ai-ops.tech/outpost.goauthentik.io/start?rd=$scheme://$host$request_uri - для редиректа на страницу входа

Эти URL используются в аннотациях ingress для внутренних сервисов.

Внутренние сервисы

Все внутренние сервисы имеют следующие характеристики:

• ✅ VPN Whitelist: доступ только из сети 10.99.0.0/24
• ✅ Authentik SSO: защита через Authentik Proxy Outpost
• ✅ TLS: автоматические сертификаты через cert-manager
• ✅ HTTPS Redirect: автоматическое перенаправление на HTTPS

Список внутренних сервисов

Аннотации для внутренних сервисов

Все внутренние ingress используют следующие аннотации:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

annotations:
  # VPN whitelist
  nginx.ingress.kubernetes.io/whitelist-source-range: "10.99.0.0/24"
  # Authentik SSO
  nginx.ingress.kubernetes.io/auth-url: "https://auth.internal.ai-ops.tech/outpost.goauthentik.io/auth/nginx"
  nginx.ingress.kubernetes.io/auth-signin: "https://auth.internal.ai-ops.tech/outpost.goauthentik.io/start?rd=$scheme://$host$request_uri"
  nginx.ingress.kubernetes.io/auth-response-headers: "X-authentik-username,X-authentik-groups,X-authentik-email"
  # Cert-manager
  cert-manager.io/cluster-issuer: "letsencrypt-http"
  # HTTPS redirect
  nginx.ingress.kubernetes.io/ssl-redirect: "true"

Создание новых ingress

Для создания нового внутреннего сервиса создайте файл в manifests/ingress/internal/ с аналогичной структурой:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: <service-name>
  namespace: <namespace>
  annotations:
    # VPN whitelist
    nginx.ingress.kubernetes.io/whitelist-source-range: "10.99.0.0/24"
    # Authentik SSO
    nginx.ingress.kubernetes.io/auth-url: "https://auth.internal.ai-ops.tech/outpost.goauthentik.io/auth/nginx"
    nginx.ingress.kubernetes.io/auth-signin: "https://auth.internal.ai-ops.tech/outpost.goauthentik.io/start?rd=$scheme://$host$request_uri"
    nginx.ingress.kubernetes.io/auth-response-headers: "X-authentik-username,X-authentik-groups,X-authentik-email"
    # Cert-manager
    cert-manager.io/cluster-issuer: "letsencrypt-http"
    # HTTPS redirect
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
spec:
  ingressClassName: nginx
  tls:
    - hosts:
        - <service>.internal.ai-ops.tech
      secretName: <service>-tls
  rules:
    - host: <service>.internal.ai-ops.tech
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: <service-name>
                port:
                  number: <port>

Troubleshooting

Ingress controller не отвечает

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# Проверить статус ingress-nginx
kubectl -n ingress-nginx get pods
kubectl -n ingress-nginx logs -l app.kubernetes.io/component=controller

# Проверить сервис
kubectl -n ingress-nginx get svc ingress-nginx-controller

# Проверить размещение на всех мастер нодах
kubectl -n ingress-nginx get pods -o wide
kubectl -n ingress-nginx get pods -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}'

# Проверить доступность портов на всех мастер нодах (должны быть доступны на портах 80 и 443)

Cert-manager не выдает сертификаты

Важно: Если вы видите фейковый сертификат "Kubernetes Ingress Controller Fake Certificate" в браузере, это означает, что cert-manager не смог создать валидный сертификат. Наиболее частая причина - отсутствие ClusterIssuer.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# Проверить статус cert-manager
kubectl -n cert-manager get pods
kubectl -n cert-manager logs -l app.kubernetes.io/component=controller

# Проверить ClusterIssuer (ОБЯЗАТЕЛЬНО!)
kubectl get clusterissuer letsencrypt-http
kubectl describe clusterissuer letsencrypt-http

# Если ClusterIssuer отсутствует, создайте его:
# cd infra/k8s/ingress
# make ingress-install-cert-manager
# или вручную:
# kubectl apply -f manifests/cert-manager/cert-manager/cluster-issuer.yaml

# Проверить Certificate ресурсы
kubectl get certificate -A
kubectl describe certificate <certificate-name> -n <namespace>

# Проверить CertificateRequest
kubectl get certificaterequest -A
kubectl describe certificaterequest <request-name> -n <namespace>

# Проверить Challenge (HTTP-01)
kubectl get challenge -A
kubectl describe challenge <challenge-name> -n <namespace>

Сертификат не создается

Возможные причины:

1. ClusterIssuer не создан (самая частая причина):

   1 2 3 4 5 6

   # Проверить наличие ClusterIssuer kubectl get clusterissuer letsencrypt-http # Если отсутствует, создать: cd infra/k8s/ingress make ingress-install-cert-manager

2. DNS записи неправильно настроены: домен должен указывать на IP адреса всех мастер нод (A записи)

   1 2 3 4

   # Проверить DNS nslookup auth.internal.ai-ops.tech dig auth.internal.ai-ops.tech # Должны быть возвращены IP адреса всех мастер нод

3. HTTP-01 challenge недоступен: cert-manager должен иметь доступ к .well-known/acme-challenge/ пути

   1 2 3

   # Проверить доступность challenge пути curl -I http://auth.internal.ai-ops.tech/.well-known/acme-challenge/test # Должен вернуть 404 (это нормально для несуществующего challenge)

4. Порт 80 недоступен из интернета: Let's Encrypt должен иметь возможность обратиться к домену по HTTP на порту 80

   1 2 3

   # Проверить доступность порта 80 на всех мастер нодах telnet <master-node-ip> 80 # Повторить для каждой мастер ноды

5. Лимиты Let's Encrypt: не более 50 сертификатов в неделю на домен

1
2
3
4
5
6
7
8

# Проверить события Certificate
kubectl describe certificate <certificate-name> -n <namespace>

# Проверить логи cert-manager
kubectl -n cert-manager logs -l app.kubernetes.io/component=controller | grep -i "certificate\|challenge\|acme"

# Проверить статус секрета с сертификатом
kubectl -n <namespace> get secret <secret-name> -o yaml

Authentik SSO не работает

1. Проверьте Outpost: убедитесь, что Outpost создан и активен в Authentik UI
2. Проверьте URL: убедитесь, что URL в аннотациях ingress совпадают с URL Outpost
3. Проверьте доступность Authentik: https://auth.internal.ai-ops.tech должен быть доступен

1
2
3
4
5
6

# Проверить ingress для Authentik
kubectl -n tech-authentik get ingress authentik
kubectl -n tech-authentik describe ingress authentik

# Проверить доступность Authentik
curl -k https://auth.internal.ai-ops.tech/outpost.goauthentik.io/auth/nginx

VPN whitelist не работает

1. Проверьте IP адрес: убедитесь, что ваш IP находится в диапазоне 10.99.0.0/24
2. Проверьте WireGuard: убедитесь, что VPN подключен и работает
3. Проверьте аннотации: убедитесь, что аннотация whitelist-source-range присутствует

1
2
3
4
5

# Проверить аннотации ingress
kubectl get ingress -A -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.metadata.namespace}{"\t"}{.metadata.annotations.nginx\.ingress\.kubernetes\.io/whitelist-source-range}{"\n"}{end}'

# Проверить логи ingress-nginx
kubectl -n ingress-nginx logs -l app.kubernetes.io/component=controller | grep -i "whitelist\|403\|forbidden"

Сервис недоступен через ingress

1. Проверьте сервис: убедитесь, что сервис существует и имеет правильный порт
2. Проверьте ingress: убедитесь, что ingress правильно настроен
3. Проверьте endpoints: убедитесь, что у сервиса есть активные endpoints

1
2
3
4
5
6
7
8
9

# Проверить сервис
kubectl -n <namespace> get svc <service-name>

# Проверить ingress
kubectl -n <namespace> get ingress <ingress-name>
kubectl -n <namespace> describe ingress <ingress-name>

# Проверить endpoints
kubectl -n <namespace> get endpoints <service-name>

Проблемы с DNS

1. Проверьте DNS записи: убедитесь, что домены указывают на IP адреса всех мастер нод (A записи)
2. Проверьте внешний балансировщик: убедитесь, что внешний балансировщик правильно настроен
3. Проверьте порты на всех мастер нодах: убедитесь, что порты 80 и 443 открыты и доступны

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# Проверить DNS
nslookup auth.internal.ai-ops.tech
dig auth.internal.ai-ops.tech
# Должны быть возвращены IP адреса всех мастер нод

# Проверить доступность портов на всех мастер нодах
telnet <master-node-ip> 80
telnet <master-node-ip> 443
# Повторить для каждой мастер ноды

# Проверить, что ingress-nginx работает на всех мастер нодах
kubectl -n ingress-nginx get pods -o wide
curl -I http://<master-node-ip>/
# Повторить для каждой мастер ноды

Дополнительные ресурсы

• 📚 Ingress NGINX Documentation
• 📚 Cert-Manager Documentation
• 📚 Authentik Documentation
• 📚 Let's Encrypt Documentation

← Назад к главной документации