Раздел описывает архитектуру данных: источники, контракты, события, хранилища и качество данных.
По задаче
| Задача | Документ |
|---|---|
| Откуда берутся данные, кто владелец | Data Overview, Source Systems |
| Схемы событий Kafka, типы событий | Event Schema Catalog |
| Контракты gRPC, REST, событий | Data Contracts |
| Аналитика, DWH, витрины | Data Warehouse, Data Marts, ETL/ELT |
| Качество, lineage, retention, доступ | Data Quality, Lineage, Retention, Access |
Разделы
| Страница | Описание |
|---|---|
| Обзор данных | Источники, потоки, принципы |
| Source Systems | Системы-источники данных |
| Data Contracts | Контракты между сервисами |
| Event Schema Catalog | Схемы событий Kafka |
| Data Warehouse | Аналитическое хранилище |
| Data Marts | Витрины данных |
| ETL / ELT Pipelines | Пайплайны загрузки данных |
| Data Quality | Качество и валидация |
| Lineage | Происхождение данных |
| Retention policies | Хранение и удаление |
| Access policies | Доступ к данным |
Ключевые концепции
- Database per Service — каждый сервис владеет своей БД; обмен через API и события.
- Event-Driven — асинхронный обмен через Kafka (Transactional Outbox на стороне producer).
- Контракты — proto для gRPC, JSON-схемы для событий; версионирование и обратная совместимость.
Текущие топики Kafka
identity.user.events— события пользователей (Identity service).identity.identifier.events— события идентификаторов.credential.password.events— события паролей (Credential service).
Подробнее: Event Schema Catalog, Architecture / Event Flow.
Связанные страницы
- Backend / Event-Driven Patterns — публикация событий
- Architecture / Data Flow — потоки данных
- Domains / Identity — доменная модель и события
- Analytics / Event Tracking — план трекинга для аналитики