09 / 25 · §5

CDC: из OLTP в аналитику

Евгений Езуб ·

Как данные попадают из Postgres в ClickHouse без нагрузки на боевую БД.

Схема: CDC: из OLTP в аналитику
Нажми на схему, чтобы открыть в полном размере.

Главное

  • Change Data Capture читает WAL (журнал) Postgres и превращает изменения строк в поток событий.
  • Debezium — стандартный инструмент: публикует INSERT / UPDATE / DELETE в Kafka.
  • Kafka буферизует поток, ClickHouse забирает его для аналитики почти в реальном времени.
  • Боевая БД не страдает от тяжёлых аналитических запросов.

Клей между двумя мирами

PostgreSQL → (WAL) → Debezium → Kafka → ClickHouse

Важно

CDC — не замена хорошо спроектированному API. Продумай схему событий, эволюцию схемы и ретеншн в Kafka.