Мы развиваем продукты NEKTA и постоянно ищем пути, как сделать их еще быстрее, лучше и удобнее для пользователей. Одним из примеров такой оптимизации стало использование возможностей ClickHouse от платформы Yandex Cloud в наших разработках.
ClickHouse – это быстрая, отказоустойчивая и масштабируемая система управления базами данных, которая идеально подошла для задач продуктов экосистемы NEKTA в плане сбора и хранения данных, а также аналитических задач нашей IoT-платформы.
ПАРА СЛОВ О ТИПАХ БАЗ ДАННЫХ
Тип системы управления базами данных (СУБД) – принципиальный вопрос, и ее выбор напрямую влияет на скорость и эффективность работы программного продукта. Ключевое отличие универсальных строковых и столбцовых СУБД заключается в формате хранения данных. Основная суть в том, что разный порядок хранения данных применим для различных сценариев работы.
В частности, сбор, хранение и аналитика данных для интеллектуального учета ресурсов и реализации IoT-решений предполагает базы данных, которые порой достигают нескольких миллиардов строк. В таких условиях универсальные строчные СУБД работают очень медленно, либо начинают потреблять большое количество серверных мощностей. Всё это сказывается на скорости работы системы и существенно затрудняет ее масштабирование.
Чтобы ускорить процесс построение отчётов, мы используем колоночные СУБД, которые изначально хранят данные в колонках. Когда один столбец содержит единственный набор значений, поэтому проще строить отчёты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн.
О ПРЕИМУЩЕСТВАХ CLICKHOUSE
ClickHouse представляет собой столбцовую систему управления базами данных (СУБД) для онлайн-обработки аналитических запросов (OLAP). Позволяет создавать мощную аналитику с помощью SQL-запросов в режиме реального времени.
В колоночной системе сжатие данных работает очень хорошо. Ведь смысл колоночного решения заключаются в том, что данные из одной колонки хранятся, по сути, в одном файле и, если у них примерно одинаковый формат написания, то сжатие проходит очень эффективно. Тогда как хранение по строкам подразумевает, что в файл объединяются данных разных форматов и размера, и поэтому сравнительно хуже сжимается.
Очень быстро отвечает на аналитические запросы по обновляемым в реальном времени данным, что идеально подходит для использования в интерактивных приложениях.
Система способна масштабироваться. до десятков триллионов записей и петабайтов данных. Использование ClickHouse открывает новые возможности, которые раньше было трудно даже представить: теперь мы можем сохранять весь поток данных без предварительной агрегации и быстро формировать отчёты в любых разрезах.
НОВЫЕ ВОЗМОЖНОСТИ NEKTA
Использование технологии ClickHouse в работе продуктов NEKTA позволило нам успешно решить сразу несколько актуальных задач:
Тепловые карты в режиме реального времени
• Карта полноты сбора данных.
• Сверка архивов с профилями мощности по электроэнергии.
• Наличие нештатных ситуации.
• Отклонения от нормативов.
Ускорение отклика системы
• Ускорение загрузки данных по устройствам.
• Уменьшение времени формирования отчетов.
• Ускорение отображения инфраструктурного отчета.
Аналитика и статистика
• Подсчет статистики по устройствам.
• Расчет и прогнозирование данных в режиме реального времени.
• Построение аналитических графиков и диаграмм.
• Перспектива использования ML.
Ощущают ли в своей работе пользователи NEKTA эту техническую оптимизацию? Конечно! Теперь наши продукты работают еще быстрее, еще лучше отрабатывают задачи по формирования отчетов онлайн, еще надежней защищены от технических сбоев и имеют просто огромный потенциал для масштабирования. И всё это на высшем уровне защиты данных!
Мы постоянно поддерживаем и дорабатываем продукты NEKTA, внедряем новые технологии и решения, чтобы оставаться флагманом в сфере IoT. Наши специалисты постоянно следят за IT-трендами, отбирают лучшие решения и внедряют их, чтобы ваша работа в NEKTA была максимально приятной и эффективной.
Вера Лабутина, PR отдел NEKTA
Рассказывает про новости NEKTA и события IOT-отрасли. Участвует в продвижении продуктов, организации мероприятий для партнеров и развитии бренда NEKTA.
Для тех, кто ценит свое время
Будьте в курсе последних новостей разработки, кейсов наших партнеров и интеграции оборудования. Все самое интересное в нашей рассылке.
Хотите узнавать о новых публикациях не заходя на сайт?
Подписывайтесь на анонсы в ВК и Телеграме
