RT.DataSync

RT.DataSync для синхронизации данных и структур нескольких БД GreenPlum между собой, а также частичного или полного архивирования и восстановления БД Greenplum.
Дает возможность синхронизации и архивирования данных в ХД без участия администраторов БД, хранит историю синхронизаций, архиваций и восстановлений данных. Содержит инструменты управления очередями запланированных процессов.

Ключевые функции и возможности

  1. Синхронизация данных между базами данных Greenplum силами пользователя с помощью Web-интерфейса, без привлечения администраторов БД.
  2. Синхронизация таблиц с учетом логики модели данных хранилища, например, синхронизация зависимых таблиц при синхронизации основной.
  3. Для синхронизации данных используются встроенные утилиты БД Greenplum. Инструмент для каждой таблицы автоматически определяет оптимальную утилиту синхронизации.
  4. Архивирование данных и\или структур БД Greenplum с последующей проверкой целостности данных. Доступны следующие виды архивации:
    Полное архивирование данных
    Инкрементальное архивирование данных
    Полное архивирование структуры БД (метаданных)
    Частичное архивирование структуры БД (метаданных)
  5. Настройка расписания архивирования и возможность ручного запуска архивирования.
  6. Возможность восстановления архива в ту же БД откуда она была выгружена или в любую другую БД Greenplum с подходящими структурами.
  7. Осуществляет рассылку уведомлений посредством электронной почты по списку событий в ходе процессов синхронизации, архивации и восстановления.
  8. Инструмент дает возможность синхронизации и архивирования данных в ХД без участия администраторов БД, хранит историю синхронизаций, архиваций и восстановлений данных. Содержит инструменты управления очередями запланированных процессов.

Состав компонентов

Модуль Синхронизации
Имеет пользовательский Web-интерфейс для работы со всеми основными функциями модуля.
Предназначен для синхронизации данных между БД Greenplum.
Позволяет создавать синхронизации с любым набором таблиц с помощью графического интерфейса опираясь на метаданные БД Greenplum.
Позволяет переиспользовать ранее созданные синхронизации.
Поддерживает полною и частичную (используя синтаксическую конструкцию where) синхронизацию таблиц.
Поддерживает несколько сценариев синхронизации (delete->insert или просто insert).
В зависимости от размера синхронизируемой таблицы автоматически определяет наиболее подходящую утилиту синхронизации.
Предоставляет полный лог процесса выполнения и историю запуска синхронизаций.
Позволяет управлять очередью синхронизаций: менять приоритеты выполнения, убирать синхронизации из очереди или останавливать уже работающие синхронизации.
Модуль Репликации
Имеет пользовательский Web-интерфейс для работы со всеми основными функциями модуля.
Позволяет выполнять архивирование в режиме ON-LINE без приостановки доступности сервиса или его частей.
Предоставляет возможность ограничить список выгружаемых сущностей по БД Greenplum, Схеме, Таблице, Партиции и связанных с ними объектами.
Позволяет выполнять полную или частичную архивацию БД Greenplum с сохранением целостности данных и структур. Также позволяет осуществлять архивацию только метаданных БД Greenplum.
Позволяет восстанавливать только структуры БД Greenplum из архивов, выполненных как в режиме «только метаданные», так и архивов с данными.
Поддерживает многопоточный режим архивации и восстановления.
Производит сжатие данных при архивации.
Имеет API и REST интерфейс для управления процессами архивации и восстановления из сторонних инструментов.
Jenkins
Инструмент запуска Python-скриптов синхронизаций, архивирования и восстановления данных.

Преимущества

Наличие визуального web интерфейса для настройки, управления и мониторинга процессов загрузки.
Возможность управления расписанием и очередью синхронизаций архивирования и восстановления данных.
Наличие «черных списков» объектов (объекты не входящие в состав синхронизаций. Например, большие таблицы или таблицы с персональными данными).
Настройка автоматической синхронизации зависимых объектов при синхронизации основного.
При архивировании данных выполняется автоматическая ротация существующих архивов с сохранением возможности как полного, так и частичного восстановления данных.
Возможность хранения архивов на мощностях, не совпадающих с теми что используются в кластере.

Типовые кейсы использования

Продукт применим для хранилищ данных с разделением на контуры и больших команд разработки. Особенно эффективен для хранилищ данных, находящихся в стадиях активной разработки или поддержки.

Свидетельства и сертификаты