RT.DataSync
RT.DataSync для синхронизации данных и структур нескольких БД GreenPlum между собой, а также частичного или полного архивирования и восстановления БД Greenplum.
Дает возможность синхронизации и архивирования данных в хранилище данных без участия администраторов БД, хранит историю синхронизаций, архиваций и восстановлений данных. Содержит инструменты управления очередями запланированных процессов.
Ключевые функции и возможности
-
Синхронизация данных между базами данных Greenplum силами пользователя с помощью Web-интерфейса, без привлечения администраторов БД.
-
Синхронизация таблиц с учетом логики модели данных хранилища, например, синхронизация зависимых таблиц при синхронизации основной.
-
Для синхронизации данных используются встроенные утилиты БД Greenplum. Инструмент для каждой таблицы автоматически определяет оптимальную утилиту синхронизации.
-
Архивирование данных и\или структур БД Greenplum с последующей проверкой целостности данных. Доступны следующие виды архивации:
- Полное архивирование данных
- Инкрементальное архивирование данных
- Полное архивирование структуры БД (метаданных)
- Частичное архивирование структуры БД (метаданных)
-
Настройка расписания архивирования и возможность ручного запуска архивирования.
-
Возможность восстановления архива в ту же БД откуда она была выгружена или в любую другую БД Greenplum с подходящими структурами.
-
Рассылка уведомлений посредством электронной почты по списку событий в ходе процессов синхронизации, архивации и восстановления.
-
Инструмент дает возможность синхронизации и архивирования данных в ХД без участия администраторов БД, хранит историю синхронизаций, архиваций и восстановлений данных. Содержит инструменты управления очередями запланированных процессов.
Состав компонентов
Модуль синхронизации
- Имеет пользовательский Web-интерфейс для работы со всеми основными функциями модуля.
- Поддерживает полною и частичную (используя синтаксическую конструкцию where) синхронизацию таблиц.
- Позволяет создавать синхронизации с любым набором таблиц с помощью графического интерфейса опираясь на метаданные БД Greenplum.
- Предназначен для синхронизации данных между БД Greenplum.
- Позволяет переиспользовать ранее созданные синхронизации.
- Поддерживает несколько сценариев синхронизации (delete->insert или просто insert).
- Предоставляет полный лог процесса выполнения и историю запуска синхронизаций.
- В зависимости от размера синхронизируемой таблицы автоматически определяет наиболее подходящую утилиту синхронизации.
- Позволяет управлять очередью синхронизаций: менять приоритеты выполнения, убирать синхронизации из очереди или останавливать уже работающие синхронизации.
Модуль репликации
- Имеет пользовательский web-интерфейс для работы со всеми основными функциями модуля.
- Поддерживает многопоточный режим архивации и восстановления.
- Предоставляет возможность ограничить список выгружаемых сущностей по БД Greenplum, Схеме, Таблице, Партиции и связанных с ними объектами.
- Позволяет выполнять полную или частичную архивацию БД Greenplum с сохранением целостности данных и структур. Также позволяет осуществлять архивацию только метаданных БД Greenplum.
- Позволяет выполнять архивирование в режиме ON-LINE без приостановки доступности сервиса или его частей.
- Производит сжатие данных при архивации.
- Позволяет восстанавливать только структуры БД Greenplum из архивов, выполненных как в режиме «только метаданные», так и архивов с данными.
- Имеет API и REST интерфейс для управления процессами архивации и восстановления из сторонних инструментов.
Jenkins
- Инструмент запуска Python-скриптов синхронизаций, архивирования и восстановления данных.
Преимущества
Наличие визуального web-интерфейса для настройки, управления и мониторинга процессов загрузки.
Возможность управления расписанием и очередью синхронизаций архивирования и восстановления данных.
Наличие «черных списков» объектов (объекты, не входящие в состав синхронизаций. Например, большие таблицы или таблицы с персональными данными).
Настройка автоматической синхронизации зависимых объектов при синхронизации основного.
При архивировании данных выполняется автоматическая ротация существующих архивов с сохранением возможности как полного, так и частичного восстановления данных.
Возможность хранения архивов на мощностях, не совпадающих с теми, что используются в кластере.
Типовые кейсы использования
Продукт применим для хранилищ данных с разделением на контуры и больших команд разработки. Особенно эффективен для хранилищ данных, находящихся в стадиях активной разработки или поддержки.
Свидетельства о регистрации
