Структура Cubisio

Модули Cubisio могут функционировать совместно в виде интегрированной среды, так и быть встроенным в сторонние системы в виде фреймворка.

Источники данных

В Cubisio реализовано четыре способа взаимодействия с источниками данных

Подключение к внешним СУБД

Одна из ключевых возможностей Cubisio – заимодействие со сторонними базами «на лету» без необходимости копирования данных в свои внутренние структуры.
Этот подход незаменим при работе с постоянно используемыми корпоративными данными, копирование которых может быть затруднительным в силу ограничений аппаратных ресурсов и внутренних процессов компаний. Также он демонстрирует более высокую эффективность в тех ситуациях, где данные периодически обновляются.

Импорт данных из файлов

В Cubisio загрузка данных из файлов осуществляется в два этапа – сначала пользователь в своей рабочей области настраивает парсер файлов, после чего запускает процедуру импорта в любую подключенную СУБД или внутреннее хранилище.
Это позволяет пользователю подготовить данные к загрузке в базу – разбить по таблицам, настроить колонки и выполнить предварительные преобразования.

Взаимодействие с веб-сервисами

В системе реализован конструктор, позволяющий настроить модель взаимодействия с внешним веб-сервисом на базе HTTP протокола, использовать его как элемент модели данных и взаимодействовать с ним так же как с СУБД

Извлечение из открытых источников

Cubisio интегрирован со средствами автоматизации браузера и управления сценариями краулинга, используя которые пользователь может конструировать процессы загрузки данных со страниц веб-сайтов. Также на базе кластера Cubisio может быть сконфигурирована инфраструктура для эффективной массовой загрузки информации из открытых источников.

Формирование модели данных (куба)

Куб - ключевой элемент, который позволяет объединить несколько источников в единую многомерную модель данных

Вся работа по созданию куба происходит исключительно в графическом редакторе – добавление источников из рабочей области на панель конструирования, определение набора полей для помещения в куб, связывание источников и описание измерений.

Элементы конструкции куба в любой момент времени могут быть визуализированы в виде таблицы с данными.

Все аналитические запросы к кубу проходят через ряд преобразований и в конечном итоге выполняются непосредственно на стороне СУБД. Если какая-то из подключенных СУБД не поддерживает требуемых функций, куб выполняет их самостоятельно.

Куб может быть использован сторонними системами как самостоятельный компонент, позволяющий связывать разнородные источники. Он обладает собственным API в виде языка запросов в формате JSON и доступен через HTTP протокол.

Создание срезов (анализ)

С помощью срезов пользователь формирует куб, извлекает из него наборы данных, рассчитывает дополнительные показатели и создаёт новые изменения

Для конструирования срезов Cubisio предлагает графический редактор с широким спектром встроенных функций преобразования данных и математических операторов для расчета всевозможных показателей.

Процесс конструирования среза сопровождается отображением результатов в виде таблицы с данными.

В качестве источника данных у среза может выступать другой срез. Таким образом могут порождаться цепочки срезов, с помощью которых аналитик может последовательно выполнять преобразования данных, добавляя в каждый последующий срез новые вычисления.

По аналогии с кубом срезы также могут быть использованы сторонними системами для извлечения данных посредством HTTP-API.

Автоматизация обработки данных (ETL)

Cubisio оснащен визуальным конструктором схем автоматизации управления процессами сбора и обработки данных

Конструирование алгоритма обработки данных осуществляется перетаскиванием функциональных блоков из библиотеки в рабочую область без необходимости кодирования.

Широкий спектр применения блоков обработки данных:
Математическое и статистическое моделирование;Классификация и кластеризация данных;Построение прогностических моделей;Машинное обучение;Обработка текстов и изображений;Анализ финансовых рынков и др.

Библиотека функциональных блоков легко расширяется путем подключения плагинов с наборами операторов, покрывающих требуемую предметную область.

Запуск аналитических процессов также возможен в режиме отладки и пошагового выполнения процесса для его доработки на лету.

Описание предметной области

Для моделирования связанных структур данных в Cubisio предусмотрен редактор онтологий

Редактор онтологий позволяет наглядно (на диаграмме) задать перечень взаимосвязанных сущностей (типов данных), которые помогут аналитику формализовать и описать практически любую предметную область.

Для каждой сущности могут быть заданы методы обработки данных и способы их отображения.

Онтологии могут быть расширены или уточнены другими онтологиями. Это позволяет связывать разные предметные области.

Виджеты

Cubisio включает предлагает широкие возможности визуализации данных и результатов обработки,включая графы, карты, линии времени, интерактивные drill-down отчеты с диаграммами, графики и схемы

Интерактивность

Виджеты и презентации интерактивны и могут динамично перестраиваться по мере обновления данных и применения глобальных и контекстных фильтров. Это позволяет применять их в качестве информационных табло на видеостенах конференц-залов или ситуационных центров.

Тонкая настройка

Большой набор опций в настройках виджетов и возможность связывать их с данными позволят детально задать внешний вид и управлять поведением виджетов.

Многоуровневая вложенность

Виджеты поддерживают многоуровневую вложенность. Примером того могут быть диаграммы, вложенные в ячейки таблицы, фотографии людей в узлах графа или размеченный текст во всплывающей подсказке на карте.

Ассоциативность

Виджеты, скомпонованные в презентацию, начинают взаимодействовать между собой. Так, при совершении пользователем какого-либо действия на одном виджете, например поиска или фильтрации данных, остальные виджеты немедленно обновляются.

Отчуждаемость

Виджеты отчуждаемы и могут быть бесшовно встроены в сторонние веб-приложения с сохранением всех своих качеств и возможностью управлять ими из приложения при помощи API.

Фильтрация

С помощью встроенного в презентацию глобального фильтра можно последовательно усекать выборку, что позволяет исследовать данные под разными углами и при разных условиях.

Аналитический граф

Аналитический граф позволит пользователю наглядно проводить исследование данных путем поэтапного применения к ним операторов преобразования

Аналитический граф – это диаграмма, где данные, сущности онтологий, операторы и виджеты встречаются вместе. Это позволяет пользователю наглядно формировать схемы глубокой аналитической обработки, опираясь на содержимое данных.

Созданные схемы могут функционировать в автономном режиме, позволяя пользователю наблюдать изменения в реальном времени.

Используемые на графе объекты (коллекции данных, виджеты) могут быть повторно использованы в кубах, на дэшбордах и в отчетах.