Deckhouse Platform для данных

Модули Deckhouse Platform, позволяющие создавать платформы хранения и обработки данных.

Готовое решение для построения платформы хранения и обработки данных

Deckhouse Platform предоставляет готовую инфраструктуру для построения любых хранилищ как гиперконвергентного типа, так и с полностью разделёнными слоями хранения и обработки данных, подходящих для реализации любых задач OLTP (DBaaS) и OLAP (Lakehouse). Архитектура решения рассчитана на гибридные и распределённые среды и работает «из коробки» в любом кластере Deckhouse Platform.

Снижение капитальных и операционных затрат, оптимизация совокупной стоимости владения (TCO).

Гибкое масштабирование, независимость ресурсов и эффективное использование существующей инфраструктуры.

Быстрое развёртывание кластеров по готовым шаблонам архитектур под конкретные бизнес⁠-⁠задачи.

Основные компоненты и возможности

Унифицированное решение для создания хранилищ любой сложности

Deckhouse Platform позволяет запускать хранилища и вычисления в любом кластере Deckhouse. Решение включает встроенные механизмы автоматизации (бэкапы, IAM, мониторинг) и поддерживает установку собственных дистрибутивов ПО для хранения и обработки данных.

Архитектурное разделение Storage и Compute

Масштабирование становится ещё более гибким, обеспечивает независимость ресурсов и позволяет эффективнее использовать существующее оборудование.

Единый слой хранения в любом окружении

Слой хранения объединяет сторонние СХД, SDS и локальные диски в общий слой, разделённый на 3 уровня, и работает в любых кластерах Deckhouse. Он масштабируется горизонтально и упрощает репликацию данных и реализацию гибридных сценариев.

Встроенный MetaStore и поддержка Lakehouse

Сервис MetaStore встроен в платформу и работает «из коробки», обеспечивая управление метаданными в архитектуре Lakehouse.

ИИ⁠-⁠агенты, упрощающие эксплуатацию сервисов

Встроенные ИИ⁠-⁠агенты анализируют поведение и работу сервисов, рекомендуют настройки, подсказывают оптимальные конфигурации и могут прогнозировать потенциальные сбои на основе собранных данных.

Шаблоны архитектур под задачи бизнеса

Готовые развёртываемые шаблоны покрывают типовые задачи — от аналитических хранилищ до antifraud⁠-⁠платформ, CRM и отчётности.

Сценарии использования

Обеспечение работы корпоративных приложений
  • Риски, связанные с отказоустойчивостью бизнес⁠-⁠критичных ИТ⁠-⁠систем (CBS, ERP, CRM и др.), снижаются при переходе на инфраструктуру с единым управлением
  • Скорость вывода новых продуктов и сервисов увеличивается с улучшением технических характеристик ключевых ИТ⁠-⁠систем
  • Операционные затраты сокращаются за счёт автоматизации управления и обслуживания
Аналитические хранилища
  • Капитальные затраты сокращаются при более эффективном использовании имеющегося оборудования в аналитических хранилищах для ключевых процессов — кредитный конвейер, antifraud и др.
  • Экономическая эффективность растёт при ускорении расчёта ключевой отчётности: BI, регуляторной и маркетинговой (campaign performance)
  • Оптимизируется TCO хранилищ при разделении слоёв хранения и вычислений и частичном размещении данных в публичных облаках
Искусственный интеллект
  • Размещение части ИИ⁠-⁠вычислений с дорогих GPU на более дешёвые CPU/RAM помогает снизить затраты на ИИ⁠-⁠инфраструктуру
  • Затраты на разработку ИИ⁠-⁠сервисов снижаются при использовании готовых векторных хранилищ с встроенным поиском и feature store, доступных как сервис и не требующих сопровождения

Как устроена работа с данными в Deckhouse Platform

Входные данные: Postgres, Kafka, Spark и другие сервисы создаются по единому сценарию с предсказуемым поведением и одинаковым интерфейсом

Managed Service Class: шаблон от администратора избавляет от ошибок, ограничивает неправильные конфигурации и позволяет разработчикам запускать сервисы без участия команды эксплуатации

Обработка данных: пользовательская конфигурация проверяется по правилам администратора и сохраняется в системе при успешной валидации

Синхронизация состояния: контроллер сравнивает описанное состояние с реальным и синхронизирует их, отражая статус в Conditions

Возможности: «из коробки» доступны мониторинг, IAM, снапшоты, встроенное TLS и управление хранилищем

Поддержка любых типов хранилищ с единым слоем управления: Storage работает с локальными, реплицируемыми и распределёнными томами в блочном и файловом режиме. Управление осуществляется через единый слой, без выделенных storage⁠-⁠узлов, с полной автоматизацией операций

Гиперконвергентная архитектура: диски вычислительных узлов используются как хранилище, без выделенных storage⁠-⁠узлов. Это упрощает архитектуру и повышает утилизацию ресурсов

Отказоустойчивость и производительность: платформа сохраняет работоспособность при сбоях узлов и дисков, а также восстанавливает данные даже при отказе управляющего слоя, что повышает надёжность инфраструктуры

Гибкое масштабирование и миграция без простоя: хранилище поддерживает онлайн⁠-⁠масштабирование, создание снапшотов «на лету» и миграцию данных между узлами без остановки сервисов, а также поддерживает работу с файлами, превышающими размер одного физического диска

Интеграция с внешними хранилищами: поддерживается подключение к внешним СХД с аппаратными снапшотами и подключением по iSCSI/FC

Для кого

CTO

Deckhouse Platform обеспечивает масштабируемую архитектуру с независимым развитием compute и storage, снижая TCO, упрощая разработку и ускоряя запуск продуктов за счёт встроенных сервисов, декларативного управления и принципов Platform Engineering.

CDO

Решение позволяет запускать DWH, ML и стриминг⁠-⁠решения в любых кластерах без препятствий со стороны инфраструктуры, ускоряя реализацию сценариев за счёт шаблонов и автоматизации.

CIO

Унифицированная архитектура на базе Kubernetes снижает CAPEX и OPEX, легко вписываясь в утверждённый стек. Централизованное self⁠-⁠service управление упрощает сопровождение и обслуживание инфраструктуры.

Производители коммерческих дистрибутивов открытого ПО хранения и обработки данных

Интеграция в DDO позволяет стать частью платформы DKP, масштабировать продажи вместе с «Флант» и трансформировать решение (ETL, СУБД, Compute Engine) в managed⁠-⁠сервис на базе контейнеризации или виртуализации от Deckhouse. Создание такого сервиса обеспечивается полным набором функций: Orchestration, DR, Backup, Runtime, Billing, UI, IAM

Производители платформ управления данными:

DDO минимизирует затраты на низкоуровневые компоненты, предоставляя базовые инфраструктурные сервисы и фреймворк для внедрения open⁠-⁠source решений. Партнёр⁠-⁠производитель платформ управления данными получает комплексное решение на базе Kubernetes и дополнительный канал продаж

Компании специализирующиеся на интеграции и консалтинге

Концентрация на одном технологическом домене снижает затраты на формирование и управление дополнительными командами специалистов

Презентации и обзоры

Читайте в блоге