RT.Warehouse

Массивно-параллельная СУБД для построения хранилищ данных
Обеспечивает высокую степень производительности и отказоустойчивости благодаря гибкости горизонтального масштабирования, использованию в ядре продвинутого оптимизатора запросов и адаптации архитектуры для хранения и обработки больших массивов данных

Ключевые функции и возможности

  1. Обеспечивает хранение и обработку больших объемов информации — до десятков петабайт
    • Нагрузка и данные распределяются равномерно между серверами кластера. Масштабируются не только узлы, но и каналы загрузки и выгрузки данных, что существенно упрощает процесс интеграции с источниками данных и аналитическими системами
  2. Гибкость и производительность при обмене данными с внешними системами
    • В RT.Warehouse реализован протокол параллельного обмена данными со сторонними системами — Platform eXtension Framework, который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3
  3. Безопасность достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла
    • Кроме этого, все внутренние взаимодействия компонентов СУБД также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера — зашифрованы с помощью ключей PGP (на уровне таблиц, либо колонок в таблицах)
  4. Ролевая модель доступа позволяет реализовать гибкие, изменяющиеся динамически в процессе функционирования правила разграничения доступа
    • Помимо ограничения доступа к таблицам и другим объектам СУБД можно создать схемы ограничения к строкам и столбцам отдельных таблиц
  5. Коннектор Apache NiFi для параллельной загрузки данных напрямую в сегменты
  6. Управление RT.Warehouse обеспечивается через интерфейс RT.ClusterManager, включающие следующие функции:
    • Автоматическая установка кластера, благодаря собственным ansible-скриптам
    • Интерфейсы мониторинга состояния кластера: утилизация ресурсов на сегмент-серверах, утилизация ресурсных групп, объем баз/схем, объем таблиц системного каталога
    • Возможность линейного расширения
    • Гибкое управление крон-заданиями
    • Обновление версий компонентов
  7. Возможность параллельной загрузки/выгрузки данных из Hadoop различных форматов (csv, json, parquet, orc, avro)
    • Реализация сценариев «охлаждения» данных детального слоя

Состав компонентов

Решение построено на исходном коде ПО Greenplum database, использует сборку Greenplum 6.26.1 с последними версиями компонент и рекомендациями по настройке конфигурации.
  • расширение diskquota 2.2.2 для контроля использования дискового пространства
  • утилиты gpbackup 1.30.4 и wal-g 3.0.2 для работы с бэкапами
  • расширение postgis 2.1.5 для работы с геоданными
  • модуль работы с внешними системами PXF 6.5.0
Набор скриптов SQL, Shell, Python для:
  • регулярный vacuum, analyze таблиц системного каталога
  • инструменты анализа лога событий
  • функции мониторинга блокировок представлений и очередей
  • функции подготовки и сжатия партиций для исторических данных
  • мониторинг исчерпания счетчика транзакций
Набор инструментов для миграции данных со старых версий

Преимущества

Техническая поддержка и консультации пользователей на русском языке, полноценный комплект технической и эксплуатационной документации
Гибкие варианты поставки и развертывания решения: от самостоятельной установки дистрибутива в инфраструктуре Заказчика до использования готового решения в облачной инфраструктуре дата-центров Ростелекома и его партнеров
Программный продукт зарегистрирован в реестре отечественного программного обеспечения (реестровая запись №11558 от 24.09.2021)

Типовые кейсы использования

Поскольку RT.Warehouse поддерживает сложные запросы, обрабатывающие большие объемы данных, в том числе сложные аналитические функции, она эффективно может использоваться для построения корпоративного хранилища данных, BI-аналитики, AD-HOC запросов и data science

Свидетельства о регистрации

Документация и релизы

Подробная и актуальная информация о продукте: руководства, справочные материалы, инструкции по установке, статьи по настройке и эксплуатации ПО, а также подробные заметки о релизах, информирующие о новых функциях, исправлениях и обновлениях