Index

# GlitchTip

Документация по установке и использованию GlitchTip в Kubernetes.

Оглавление

Описание

GlitchTip - это форк Sentry с открытым исходным кодом, который предоставляет платформу для мониторинга ошибок и производительности приложений.

Возможности

  • ✅ Мониторинг ошибок в реальном времени
  • ✅ Отслеживание производительности приложений
  • ✅ Интеграция с различными языками программирования и фреймворками
  • ✅ Уведомления и алерты
  • ✅ Совместимость с Sentry SDK

Текущая конфигурация

  • Namespace: tech-glitchtip
  • Database: PostgreSQL (pg-public cluster)
  • Cache/Queue: Встроенный Valkey (Redis-compatible, standalone mode)
  • Placement: Поды могут размещаться на мастерах и воркерах
  • Resources: Минимальные (100m-500m CPU, 256Mi-512Mi RAM)
  • Ingress: Отключен (используется port-forward или внешний nginx)
  • Domain: https://glitchtip.internal.ai-ops.tech

Быстрый старт

1. Подготовка нод

Подготовка нод выполняется автоматически через Ansible playbook:

1
cd ../.. && make k8s-prepare-nodes

2. Проверка зависимостей

Убедитесь, что PostgreSQL кластер pg-public запущен:

1
make postgres-status

Если кластер не создан:

1
2
make postgres-install-operator
make postgres-create-cluster

3. Создание секретов

Создайте секреты с необходимыми данными:

1
make glitchtip-create-secret

Вам будет предложено ввести: 1. SECRET_KEY - Django secret key (сгенерируйте случайную строку, например: openssl rand -hex 32) 2. PostgreSQL password - пароль для пользователя glitchtip в PostgreSQL

Примечание: REDIS_URL не требуется - GlitchTip использует встроенный Valkey по умолчанию.

Важно: После создания секрета, создайте пользователя и базу данных в PostgreSQL:

1
2
3
4
5
6
7
8
9
-- Подключитесь к PostgreSQL
kubectl -n tech-postgres-databases exec -it \
  $(kubectl -n tech-postgres-databases get pod -l cluster-name=pg-public,spilo-role=master -o jsonpath='{.items[0].metadata.name}') \
  -- psql -U postgres

-- Создайте пользователя и базу данных
CREATE USER glitchtip WITH PASSWORD 'your_password';
CREATE DATABASE glitchtip OWNER glitchtip;
GRANT ALL PRIVILEGES ON DATABASE glitchtip TO glitchtip;

4. Установка GlitchTip

1
make glitchtip-install

Это создаст: - GlitchTip deployment через Helm chart - Service для доступа к GlitchTip

5. Проверка статуса

1
make glitchtip-status

6. Доступ к GlitchTip

1
make glitchtip-port-forward

Откройте в браузере: http://localhost:8080

Примечание: При первом запуске GlitchTip создаст административного пользователя. Следуйте инструкциям на экране.

7. Доступ к Flower (Celery Monitoring)

1
make glitchtip-flower-port-forward

Откройте в браузере: http://localhost:5555

Flower предоставляет веб-интерфейс для мониторинга Celery workers, задач и очередей.

Архитектура

Компоненты

Компонент Namespace Расположение Описание
Web Pods tech-glitchtip Любые ноды Веб-сервер GlitchTip (1 реплика)
Worker Pods tech-glitchtip Любые ноды Celery workers для обработки задач
Beat Pod tech-glitchtip Любые ноды Celery beat scheduler
Flower Pod tech-glitchtip Любые ноды Celery monitoring UI
Valkey Pod tech-glitchtip Любые ноды Встроенный Redis-compatible брокер (1 реплика)
PostgreSQL tech-postgres-databases Worker ноды База данных (pg-public)

Схема подключений

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
┌─────────────────────────────────────┐
│  tech-glitchtip                     │
├─────────────────────────────────────┤
│  glitchtip-web (1 replica)          │
│  ├── Django application            │
│  └── Resources: 100m-500m CPU      │
│                                      │
│  glitchtip-worker (1 replica)       │
│  ├── Celery worker                 │
│  └── Resources: 100m-400m CPU      │
│                                      │
│  glitchtip-beat (1 replica)          │
│  └── Celery beat scheduler         │
│                                      │
│  glitchtip-flower (1 replica)         │
│  ├── Celery monitoring UI           │
│  └── Resources: 50m-300m CPU        │
│                                      │
│  glitchtip-valkey (1 replica)        │
│  ├── Redis-compatible broker        │
│  └── Resources: 100m-200m CPU      │
│                                      │
│  glitchtip-web (Service)            │
│  └── ClusterIP: 80                 │
│                                      │
│  glitchtip-flower (Service)         │
│  └── ClusterIP: 80                 │
│                                      │
│  glitchtip-valkey (Service)         │
│  └── ClusterIP: 6379               │
└─────────────────────────────────────┘
              │
              ├── PostgreSQL
              ▼
┌─────────────────────────────────────┐
│  tech-postgres-databases            │
│  └── pg-public (PostgreSQL)         │
│      └── Database: glitchtip        │
└─────────────────────────────────────┘

Команды

Управление

1
2
3
4
5
6
7
8
9
make glitchtip-help              # Справка по GlitchTip командам
make glitchtip-add-repo          # Добавить Helm репозиторий
make glitchtip-create-secret     # Создать секреты (интерактивно)
make glitchtip-install          # Установить GlitchTip
make glitchtip-status            # Статус GlitchTip
make glitchtip-port-forward      # Port-forward к localhost:8080
make glitchtip-flower-port-forward # Port-forward Flower к localhost:5555
make glitchtip-connect           # Инструкции по подключению
make glitchtip-uninstall         # Удалить GlitchTip (данные в PostgreSQL сохраняются)

Конфигурация

Helm Values

Основные настройки в charts/glitchtip/values.yaml:

  • Image: glitchtip/glitchtip:v5.2.0
  • Domain: https://glitchtip.internal.ai-ops.tech
  • Resources: Минимальные (100m-500m CPU, 256Mi-512Mi RAM)
  • Replicas:
  • Web: 1 реплика
  • Worker: 1 реплика
  • Beat: 1 реплика
  • Flower: 1 реплика
  • Valkey: 1 реплика
  • PostgreSQL: Внешний кластер pg-public
  • Valkey/Redis: Встроенный Valkey (standalone mode, Redis-compatible, без persistent storage)
  • CELERY_BROKER_URL: Автоматически настроен на redis://glitchtip-valkey:6379/0
  • Tolerations: Разрешено размещение на control-plane нодах
  • Node Selector: Пустой (разрешено размещение везде)

PostgreSQL Connection

GlitchTip подключается к PostgreSQL через:

  • Host: pg-public.tech-postgres-databases.svc.cluster.local:5432
  • Database: glitchtip
  • Username: glitchtip
  • Password: Из секрета glitchtip-secrets (ключ DATABASE_URL)

Valkey/Redis Connection

GlitchTip использует встроенный Valkey (Redis-compatible) по умолчанию:

  • Встроенный Valkey: Автоматически настраивается Helm chart
  • Режим: Standalone (не cluster mode, совместим с Celery)
  • Storage: Отключен (dataStorage.enabled: false) - данные хранятся в памяти
  • Ресурсы: 100m-200m CPU, 128Mi-256Mi RAM
  • Service: glitchtip-valkey.tech-glitchtip.svc.cluster.local:6379
  • CELERY_BROKER_URL: Автоматически настроен на redis://glitchtip-valkey:6379/0 для всех компонентов

Внешний Redis (опционально):

Если нужно использовать внешний Redis, укажите REDIS_URL в секрете glitchtip-secrets. Это отключит встроенный Valkey.

Создание секретов

Вариант A: через Makefile (интерактивно)

1
make glitchtip-create-secret

Вариант B: вручную через kubectl

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# Генерация SECRET_KEY
SECRET_KEY=$(openssl rand -hex 32)

# PostgreSQL connection string (with SSL)
DATABASE_URL="postgresql://glitchtip:YOUR_PASSWORD@pg-public.tech-postgres-databases.svc.cluster.local:5432/glitchtip?sslmode=require"

# Создание секрета (REDIS_URL не требуется - используется встроенный Valkey)
kubectl -n tech-glitchtip create secret generic glitchtip-secrets \
  --from-literal=SECRET_KEY="$SECRET_KEY" \
  --from-literal=DATABASE_URL="$DATABASE_URL"

Или через YAML манифест:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
apiVersion: v1
kind: Secret
metadata:
  name: glitchtip-secrets
  namespace: tech-glitchtip
type: Opaque
stringData:
  SECRET_KEY: "your-secret-key-here"
  DATABASE_URL: "postgresql://glitchtip:password@pg-public.tech-postgres-databases.svc.cluster.local:5432/glitchtip?sslmode=require"
  # REDIS_URL не требуется - используется встроенный Valkey

Подключение

Service Endpoint

1
glitchtip-web.tech-glitchtip.svc.cluster.local:80

Port-Forward

GlitchTip Web: 

1
make glitchtip-port-forward

Затем откройте в браузере: http://localhost:8080

Flower (Celery Monitoring): 

1
make glitchtip-flower-port-forward

Затем откройте в браузере: http://localhost:5555

Подключение через внешний nginx

GlitchTip настроен с доменом https://glitchtip.internal.ai-ops.tech. В будущем можно настроить nginx для проксирования запросов:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
server {
    listen 80;
    server_name glitchtip.internal.ai-ops.tech;

    location / {
        proxy_pass http://glitchtip-web.tech-glitchtip.svc.cluster.local:80;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

Подключение из приложения

GlitchTip совместим с Sentry SDK. Пример для Python:

1
2
3
4
5
6
import sentry_sdk

sentry_sdk.init(
    dsn="http://YOUR_PUBLIC_KEY@glitchtip-web.tech-glitchtip.svc.cluster.local:80/PROJECT_ID",
    traces_sample_rate=1.0,
)

Примечание: Для получения DSN необходимо: 1. Зарегистрироваться в GlitchTip (через веб-интерфейс) 2. Создать проект 3. Получить DSN из настроек проекта

Troubleshooting

GlitchTip pods не запускаются

1
2
3
4
5
6
7
8
# Проверить логи
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=web

# Проверить статус подов
kubectl -n tech-glitchtip get pods -o wide

# Проверить события
kubectl -n tech-glitchtip get events --sort-by='.lastTimestamp'

Проблемы с подключением к PostgreSQL

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
# Проверить секрет
kubectl -n tech-glitchtip get secret glitchtip-secrets

# Проверить DATABASE_URL (должен содержать ?sslmode=require)
kubectl -n tech-glitchtip get secret glitchtip-secrets -o jsonpath='{.data.DATABASE_URL}' | base64 -d

# Если DATABASE_URL не содержит sslmode=require, пересоздайте секрет:
make glitchtip-create-secret

# Проверить подключение к PostgreSQL
kubectl -n tech-postgres-databases exec -it \
  $(kubectl -n tech-postgres-databases get pod -l cluster-name=pg-public,spilo-role=master -o jsonpath='{.items[0].metadata.name}') \
  -- psql -U postgres -c "\l" | grep glitchtip

# Проверить логи GlitchTip на ошибки подключения
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=web | grep -i "database\|postgres\|connection"

Проблемы с подключением к Valkey

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
# Проверить статус Valkey пода
kubectl -n tech-glitchtip get pods -l app.kubernetes.io/component=valkey

# Проверить логи Valkey
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=valkey --tail=50

# Проверить сервис Valkey
kubectl -n tech-glitchtip get svc glitchtip-valkey

# Проверить переменные окружения (CELERY_BROKER_URL должен быть настроен)
kubectl -n tech-glitchtip exec -it $(kubectl -n tech-glitchtip get pod -l app.kubernetes.io/component=flower -o jsonpath='{.items[0].metadata.name}') -- env | grep CELERY_BROKER_URL

# Проверить логи GlitchTip на ошибки подключения
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=beat | grep -i "redis\|valkey\|connection\|error"
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=worker | grep -i "redis\|valkey\|connection\|error"

# Проверить логи Celery Beat (часто проблема с Redis видна здесь)
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=beat --tail=50

Примечание: GlitchTip использует встроенный Valkey по умолчанию. Внешний Redis не требуется, но может быть настроен опционально через REDIS_URL в секрете. CELERY_BROKER_URL автоматически настраивается на redis://glitchtip-valkey:6379/0 для всех компонентов (beat, worker, flower).

Проблемы с Flower

Если Flower не может подключиться к Valkey:

1
2
3
4
5
6
7
8
# Проверить, что CELERY_BROKER_URL настроен
kubectl -n tech-glitchtip exec -it $(kubectl -n tech-glitchtip get pod -l app.kubernetes.io/component=flower -o jsonpath='{.items[0].metadata.name}') -- env | grep CELERY_BROKER_URL

# Проверить доступность Valkey из пода Flower
kubectl -n tech-glitchtip exec -it $(kubectl -n tech-glitchtip get pod -l app.kubernetes.io/component=flower -o jsonpath='{.items[0].metadata.name}') -- sh -c "nc -zv glitchtip-valkey 6379"

# Проверить логи Flower
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=flower --tail=50

Решение: Убедитесь, что CELERY_BROKER_URL настроен в env.normal в values.yaml: 

1
2
3
env:
  normal:
    CELERY_BROKER_URL: "redis://glitchtip-valkey:6379/0"

GlitchTip не отвечает

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# Проверить health check
kubectl -n tech-glitchtip exec -it \
  $(kubectl -n tech-glitchtip get pod -l app.kubernetes.io/component=web -o jsonpath='{.items[0].metadata.name}') \
  -- curl http://localhost:80/health

# Проверить ресурсы
kubectl -n tech-glitchtip top pod

# Проверить limits
kubectl -n tech-glitchtip describe pod -l app.kubernetes.io/component=web | grep -A 5 "Limits\|Requests"

Проблемы с миграциями

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# Проверить статус migration job
kubectl -n tech-glitchtip get jobs -l app.kubernetes.io/component=migration

# Проверить логи migration job
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=migration --tail=50

# Запустить миграции вручную (если нужно)
kubectl -n tech-glitchtip exec -it \
  $(kubectl -n tech-glitchtip get pod -l app.kubernetes.io/component=web -o jsonpath='{.items[0].metadata.name}') \
  -- bin/run-migrate.sh

Проблемы с Celery workers

1
2
3
4
5
6
7
8
# Проверить статус workers
kubectl -n tech-glitchtip get pods -l app.kubernetes.io/component=worker

# Проверить логи workers
kubectl -n tech-glitchtip logs -l app.kubernetes.io/component=worker --tail=50

# Проверить статус beat
kubectl -n tech-glitchtip get pods -l app.kubernetes.io/component=beat

Метрики Prometheus

GlitchTip поддерживает экспорт метрик для Prometheus через эндпоинт /metrics.

Настройка

ServiceMonitor для сбора метрик автоматически применяется при установке/обновлении GlitchTip через Makefile.

ServiceMonitor: - Namespace: tech-monitoring - Name: glitchtip-web - Endpoint: /metrics на порту http (80) - Interval: 30s

Проверка метрик

1. Проверить что ServiceMonitor создан:

1
2
kubectl -n tech-monitoring get servicemonitor glitchtip-web
kubectl -n tech-monitoring describe servicemonitor glitchtip-web

2. Проверить targets в Prometheus:

1
2
3
4
5
# Port-forward Prometheus
make monitoring-port-forward-prometheus

# Откройте http://localhost:9090/targets
# Найдите "glitchtip-web" в списке targets

3. Проверить метрики:

В Prometheus UI (http://localhost:9090/graph):

1
2
3
4
5
# Проверить что метрики собираются
up{job="glitchtip-web"}

# Посмотреть метрики GlitchTip
{job="glitchtip-web"}

4. Проверить эндпоинт метрик напрямую:

1
2
3
4
5
# Port-forward к GlitchTip
make glitchtip-port-forward

# Проверить метрики
curl http://localhost:8080/metrics

Примечания

  • Метрики доступны только если GlitchTip настроен для их экспорта (по умолчанию включено в версии v5.2.0+)
  • Если метрики не собираются, проверьте что:
  • ServiceMonitor имеет label prometheus: monitoring
  • Service glitchtip-web существует и имеет правильные labels
  • Эндпоинт /metrics доступен на сервисе

Дополнительные ресурсы

← Назад к главной документации