Сроки хранения данных и логов в платформе AIOps.
Принципы
- Минимизация: хранить только столько, сколько нужно для работы продукта, расследования инцидентов и выполнения требований (compliance, аудит).
- Явные сроки: для каждого типа данных зафиксирован срок хранения и способ удаления (TTL, джоба, партиционирование с дропом старых партиций).
- Согласование: retention операционных данных, логов и аналитики согласован с владельцами и при необходимости с юридическими требованиями.
Области применения
| Тип данных | Типичный retention | Примечания |
|---|---|---|
| Операционные БД (users, credentials, accounts) | По жизненному циклу сущности | Удаление по запросу пользователя или по политике деактивации; бэкапы — по Backup & Recovery. |
| Outbox (outbox_events) | После успешной публикации и grace period (например, 7 дней) | Партиции по дате; дроп старых партиций по расписанию. |
| Кеш (Redis) | TTL по ключу (минуты–часы) | Нет долгосрочного хранения; данные восстанавливаются из БД. |
| Логи приложений | 30–90 дней (настраивается) | Loki или аналог; сжатие и tiered storage при необходимости. |
| Аудит-логи | По compliance (1–7 лет в зависимости от требований) | Отдельное хранилище, append-only; доступ по ролям. |
| Метрики | Raw 15–30 дней, агрегаты дольше | Prometheus/VictoriaMetrics; downsampling для долгосрочных дашбордов. |
| События Kafka | По топику (например, 7–30 дней) | Зависит от потребителей и необходимости переобработки. |
| Бэкапы | По RPO и политике (например, 30 дней) | См. Backup & Recovery. |
| Аналитика (DWH, витрины) | По решению владельца (месяцы–годы) | Согласовано с Access policies и compliance. |
Конкретные цифры задаются внутренними политиками и договорами; при изменении — обновление документации и уведомление заинтересованных сторон.
Реализация
- PostgreSQL: партиционирование по дате для больших таблиц (outbox); скрипты или джобы для удаления/архивации старых партиций.
- Kafka: retention.ms и retention.bytes на уровне топика; мониторинг размера топиков.
- Loki/Prometheus: конфигурация retention в Helm/операторе; при необходимости экспорт в object storage с жизненным циклом.
- Аудит: хранение в отдельном хранилище с политикой неизменяемости и retention по регламенту.
Связанные страницы
- Backup & Recovery — retention бэкапов
- Access policies — кто имеет доступ к данным в период хранения
- Audit logging — хранение аудит-логов
- Event Schema Catalog — топики и настройки Kafka
- Privacy & Compliance — требования по данным