RT.Warehouse
Массивно-параллельная СУБД для построения хранилищ данных.
Обеспечивает высокую степень производительности и отказоустойчивости благодаря гибкости горизонтального масштабирования, использованию в ядре продвинутого оптимизатора запросов и адаптации архитектуры для хранения и обработки больших массивов данных.
Ключевые функции и возможности
-
Обеспечивает хранение и обработку больших объемов информации — до десятков петабайтНагрузка и данные распределяются равномерно между серверами кластера. Масштабируются не только узлы, но и каналы загрузки и выгрузки данных, что существенно упрощает процесс интеграции с источниками данных и аналитическими системами.
-
Гибкость и производительность при обмене данными с внешними системамиВ RT.Warehouse реализован протокол параллельного обмена данными со сторонними системами — Platform eXtension Framework, который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3.
-
Безопасность достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного циклаКроме этого, все внутренние взаимодействия компонентов СУБД также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера — зашифрованы с помощью ключей PGP.
-
Ролевая модель доступа позволяет реализовать гибкие, изменяющиеся динамически в процессе функционирования правила разграничения доступаПомимо ограничения доступа к таблицам и другим объектам СУБД можно создать схемы ограничения к строкам и столбцам отдельных таблиц.
-
Полная совместимость с инструментом RT.DataSync для гибкого управления бэкапами и наполнением сред разработки и тестирования, который обеспечивает:синхронизацию между кластерами с разным количеством сегментовавтоматическую синхронизация процессов бэкапа с процессами регулярных загрузок
-
Коннектор Apache NiFi для параллельной загрузки данных напрямую в сегменты
-
Управление RT.Warehouse обеспечивается через интерфейс RT.ClusterManager, включающие следующие функции:автоматическая установка кластера, благодаря собственным ansible-скриптамШирокий набор метрик: состояние хостов, производительность БД, бизнес-метрики. Поддерживается передача сообщений во внешние системывозможность автоматического линейного расширения
-
Возможность параллельной загрузки/выгрузки данных различных форматов (csv, json, parquet, orc, avro)Реализация сценариев «охлаждения» данных детального слоя
-
Поддержка Point-in-time recovery. Возможность восстановления БД на заданный момент времени (Point-in-time recovery).
Состав компонентов
Решение построено на исходном коде ПО Greenplum database, использует сборку Greenplum 6.22 с последними версиями компонент и рекомендациями по настройке конфигурации.
Набор скриптов SQL, Shell, Python для:
регулярный vacuum, analyze таблиц системного каталога
инструменты анализа лога событий
функции мониторинга блокировок представлений и очередей
функции подготовки и сжатия партиций для исторических данных
мониторинг исчерпания счетчика транзакций
Набор инструментов для миграции данных со старых версий
Преимущества

Техническая поддержка и консультации пользователей на русском языке, полноценный комплект технической и эксплуатационной документации. Время простоя при обновлении ПО или линейном масштабировании не более 8 часов.

Гибкие варианты поставки и развертывания решения: от самостоятельной установки дистрибутива в инфраструктуре Заказчика до использования готового решения в облачной инфраструктуре дата-центров Ростелекома и его партнеров.

Программный продукт зарегистрирован в реестре отечественного программного обеспечения.
Типовые кейсы использования

Поскольку RT.Warehouse поддерживает сложные запросы, обрабатывающие большие объемы данных, в том числе сложные аналитические функции, она эффективно может использоваться для построения корпоративного хранилища данных, BI-аналитики, AD-HOC запросов и data science.