8 800 700 55 73
Вся информация о NEKTA Мы создаем современные IoT решения для различных сфер бизнеса подробнее

Все преимущества ClickHouse в NEKTA

Новости и статьи
777
3 мин. чтения

Мы развиваем продукты NEKTA и постоянно ищем пути, как сделать их еще быстрее, лучше и удобнее для пользователей. Одним из примеров такой оптимизации стало использование возможностей ClickHouse от платформы Yandex Cloud в наших разработках.


ClickHouse
  – это быстрая,  отказоустойчивая и масштабируемая система управления базами данных, которая идеально подошла для задач продуктов экосистемы NEKTA в плане сбора и хранения данных, а также аналитических задач нашей IoT-платформы.

ПАРА СЛОВ О ТИПАХ БАЗ ДАННЫХ

Тип системы управления базами данных (СУБД) – принципиальный вопрос, и ее выбор напрямую влияет на скорость и эффективность работы программного продукта. Ключевое отличие универсальных строковых и столбцовых СУБД  заключается в формате хранения данных. Основная суть в том, что разный порядок хранения данных применим для различных сценариев работы.

В частности, сбор, хранение и аналитика данных для интеллектуального учета ресурсов и реализации IoT-решений предполагает базы данных, которые порой достигают нескольких миллиардов строк. В таких условиях универсальные строчные СУБД работают очень медленно, либо начинают потреблять большое количество серверных мощностей. Всё это сказывается на скорости работы системы и существенно затрудняет ее масштабирование.

Чтобы ускорить процесс построение отчётов, мы используем колоночные СУБД, которые изначально хранят данные в колонках. Когда один столбец содержит единственный набор значений, поэтому проще строить отчёты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн.

О ПРЕИМУЩЕСТВАХ CLICKHOUSE

ClickHouse представляет собой столбцовую систему управления базами данных (СУБД) для онлайн-обработки аналитических запросов (OLAP). Позволяет создавать мощную аналитику с помощью SQL-запросов в режиме реального времени.

В колоночной системе сжатие данных работает очень хорошо. Ведь смысл колоночного решения заключаются в том, что данные из одной колонки хранятся, по сути, в одном файле и, если у них примерно одинаковый формат написания, то сжатие  проходит очень эффективно. Тогда как хранение по строкам подразумевает, что в файл объединяются данных разных форматов и размера, и поэтому сравнительно хуже сжимается.

Очень быстро отвечает на аналитические запросы по обновляемым в реальном времени данным, что идеально подходит для использования в интерактивных приложениях.

Система способна масштабироваться. до десятков триллионов записей и петабайтов данных. Использование ClickHouse открывает новые возможности, которые раньше было трудно даже представить: теперь мы можем сохранять весь поток данных без предварительной агрегации и быстро формировать отчёты в любых разрезах.

НОВЫЕ ВОЗМОЖНОСТИ NEKTA

Использование технологии ClickHouse в работе продуктов NEKTA позволило нам успешно решить сразу несколько актуальных задач:

Тепловые карты в режиме реального времени

 

• Карта полноты сбора данных.

 

• Сверка архивов с профилями мощности по электроэнергии.

 

• Наличие нештатных ситуации.

 

• Отклонения от нормативов.

Ускорение отклика системы

 

• Ускорение загрузки данных по устройствам.

 

• Уменьшение времени формирования отчетов.

 

• Ускорение отображения инфраструктурного отчета.

Аналитика и статистика

• Подсчет статистики по устройствам.

• Расчет и прогнозирование данных в режиме реального времени.

• Построение аналитических графиков и диаграмм.

• Перспектива использования ML.

Ощущают ли в своей работе пользователи NEKTA эту техническую оптимизацию? Конечно! Теперь наши продукты работают еще быстрее, еще лучше отрабатывают задачи по формирования отчетов онлайн, еще надежней защищены от технических сбоев и имеют просто огромный потенциал для масштабирования. И всё это на высшем уровне защиты данных!

 

Мы постоянно поддерживаем и дорабатываем продукты NEKTA, внедряем новые технологии и решения, чтобы оставаться флагманом в сфере IoT. Наши специалисты постоянно следят за IT-трендами, отбирают лучшие решения и внедряют их, чтобы ваша работа в NEKTA была максимально приятной и эффективной.

Вера Лабутина, PR отдел NEKTA

Рассказывает про новости NEKTA и события IOT-отрасли. Участвует в продвижении продуктов, организации мероприятий для партнеров и развитии бренда NEKTA.

 


Хотите узнавать о новых публикациях не заходя на сайт?

Подписывайтесь на анонсы в ВК и Телеграме

NEKTA
777