RT.Streaming

Инструмент для эффективного управления процессами изменения, выгрузки и загрузки данных, позволяющий настроить потоковую или пакетную обработку данных из различных источников.
Решает задачи корпоративной шины обмена данными: способен получать и обрабатывать данные из многочисленных внешних систем, хранить их в течение нужного для бизнеса периода времени и возвращать потребителям с удобной для них нагрузкой.

Ключевые функции и возможности

  1. Обеспечивает безостановочный и отказоустойчивый обмен данными между различными системами компании, позволяет:
    • строить потоковые конвейеры данных в реальном времени, которые надежно передают данные между системами или приложениями
    • разрабатывать потоковые приложения в реальном времени, которые преобразуют или реагируют на потоки данных
    • хранить потоки записей, задавая нужный период хранения данных
    • разграничивать права доступа к потокам данных, изолируя критически важную информацию от несанкционированного доступа
  2. Предоставляет возможности создания событийной архитектуры.
  3. Имеет визуальный интерфейс, позволяющий соединить различные источники и потребителей данных, организовать pipe-line и запланировать регулярность его выполнения.
  4. Позволяет организовать планирование сложных последовательностей задач с помощью создания направленных ацикличных графов (DAG) и отслеживать статус выполнения.
  5. Гибкость и масштабируемость системы: всегда можно добавить в кластер новые серверы без остановки работы системы или же исключить ненужные.

Состав компонентов

Компонент Версия
Kafka
3.4.0
Nifi
1.27.0
Airflow
2.5.0 и 2.8.3

Преимущества

Техническая поддержка и консультации пользователей на русском языке, полноценный комплект технической и эксплуатационной документации.
Гибкие варианты поставки и развертывания решения: от самостоятельной установки дистрибутива в инфраструктуре Заказчика до использования готового решения в облачной инфраструктуре дата-центров Ростелекома и его партнеров.
Набор коннекторов собственной разработки для Apache NiFi.
Совместимость и возможность интеграции с Hadoop и GreenPlum.
Возможность интеграции с различными источниками данных с помощью odbc/jdbc драйверов.
Множество коннекторов для загрузки и чтения из Kafka.
Удобный пользовательский интерфейс для NiFi и Airflow. Простая организация разработки и тестирования.
Поддержка различных процессов загрузки данных:
  • Batch
  • Realtime
  • NRT
Управление с помощью RT.ClusterManager:
  • автоматическая установка кластера, благодаря собственным ansible-скриптам
  • мониторинг и отслеживание состояния каждого компонента системы
  • возможность гибкого масштабирования
Программный продукт зарегистрирован в реестре отечественного программного обеспечения.

Типовые кейсы использования

Свидетельства о регистрации