Новости

MONQ 5.0: анализ логов, супербыстрое подключение любого источника данных и возможность использования системы для событий безопасности

2 июня команда MONQ Digital Lab выпустила новую версию платформы.

MONQ 5.0 теперь решает четыре основных IT-юзкейса: помимо UX-мониторинга, зонтичного мониторинга и автоматизации процессов, у платформы появились возможности анализа логов. Кроме того, к системе можно практически моментально подключить любой источник данных.

5-я версия серьезно расширяет возможности MONQ и позволяет обрабатывать и хранить любые данные на входе, в том числе и неструктурированные логи. Платформу теперь можно использовать не только для событий систем мониторинга ИТ, но для любых событий (например, для событий безопасности). Расширенные возможности синтетических триггеров позволяют объединить в одной проблеме события из инфраструктурного мониторинга, систем ИТ-безопасности и синтетических тестов. Таким образом, на платформе MONQ можно построить SIEM-решение.

В версии 5.0 появился принципиально новый функционал.

1. Новый компонент платформы — MONQ Collector, который заменил коннекторы к системам мониторинга. Важным преимуществом сборщика данных является возможность обработки сырых данных и превращения их в JSON. Подключить новую систему мониторинга или любой другой источник данных на вход платформы может теперь и обычный инженер отдела эксплуатации, что значительно упрощает внедрение и затраты при подключении новых источников.

MONQ Collector состоит из следующих функциональных блоков:

  • Приемник потоков данных. Это максимально легковесная программа — точка прослушивания HTTP. Программа обёртывает базовую информацию в модель (_id, _aggregatedAt, _connector, _sourceType, _source) и отправляет сообщение в препроцессор на обработку. Программа также проводит валидацию ключа коннектора, а также валидацию входной модели в зависимости от типа входных данных (если формат JSON — то валидность JSON в целом, если это XML, то валидность XML в целом (без схемы)).

  • Препроцессор событий. Препроцессор запускает обработчик входного сообщения, если он есть. Обработчик может:

а) выполнять парсинг и превращение текста в JSON;
б) выполнять обработку пакетных событий — выделять из этих событий единичные элементы. Фактически это парсинг: например, события от Prometheus приходят в полу-batch формате;
в) выполнять преобразование входной модели. Например, добавлять вычисляемое поле или менять тип поля в модели;
г) добавлять кастомные метки для событий.

  • Анализатор схемы БД сообщения.

  • Анализатор формирует модель для базы данных, согласно схемы, записанной в коннекторе, создает эту схему исходя из модели JSON или добавляет нужные поля. Выполняет валидацию данных, согласно схеме. Если находит несоответствия в типах полей — отражает в логах.

2. Новый экран по работе с первичными событиями. Экран позволяет пользователями анализировать и работать с принимаемыми логами. В текущей версии пользователь сможет работать с первичными событиями всех потоков, доступных его рабочей группе (а не только по одному индексу, как это сделано в ряде конкурирующих решений). Для этого предоставлен достаточно широкий набор инструментов:

  • таблица первичных событий;
  • визуализация количества событий за период;
  • детальный просмотр событий;
  • автообновление событий посредством протокола WebSocket;
  • строки поиска — используется всем знакомый по Elastic Search синтаксис полнотекстового поиска Lucene.

Экраны работы с первичными данными









3. Новый функционал в модуле правила и действия. Теперь можно настраивать не только действия по открытию/закрытию проблемы, но и при ее подтверждении.
Многие события, поступающие в систему, относятся к существующим проблемам и их “подтверждают”, но пользователи хотели бы получать сообщения по таким событиям. Теперь пользователь может в настройках указать опцию выполнения операции по подтверждению проблемы. Эта опция доступна для всех операций, за исключением “Закрытия инцидента в HPSM”.

Подтверждение статуса синтетического триггера вызывает проверку правил по уже открытым по данному синтетическим триггерам проблемам. В случае успешного прохождения правила запускаются связанные с этим правилом операции, у которых стоит отметка “Подтверждение события”.

Выполненные операции “Подтверждение события” выводятся в подробной информации в виджете “События за период” во вкладке “Действия”.

4. Унификация шаблонов сообщений. В конструкторе сообщений убран функционал разделения шаблона на начало и конец. Обновление затрагивает все операции.Произведена миграция исторических настроек для операций, которые запускаются как по началу, так и по окончанию проблем, и при этом имеют разные шаблоны на начало и конец. Такие операции преобразованы в две операции. Одна — на начало проблемы с соответствующим шаблоном, а вторая — на конец проблемы. Настройки времени активности сохранены.

5. Добавление опций в запуск скриптов. В операцию “Запуск скрипта” добавлены опции запуска как по подтверждению, так и по завершению проблемы.

6. Переработана административная панель:

  • появилась возможность писать свои плагины. Пока только для оповещений, в дальнейшем этот функционал будет расширен и на другие части продукта.
  • доступно управление библиотеками для написания скриптов. Добавление своих библиотек позволяет серьезно расширит возможности работы с модулем Автоматон.

Экраны работы с модулем Автоматон






Познакомиться с возможностями MONQ можно ближе на демонстрации или получив презентацию системы.

Несколько деталей о MONQ, которые вы могли пропустить

MONQ – AIOps-платформа для анализа логов, UX-мониторинга и автоматизированного инцидент-менеджмента. Российский конкурент западным решениям, единственное решение для непрерывного UX-мониторинга.

Система создана для компаний, в которых финансовые показатели и репутация зависят от стабильной работы IT.

MONQ повышает производительность труда IT-подразделений с помощью искусственного интеллекта и автоматизации, создает условия для эффективной коллаборации команд.

Платформа в десятки раз сокращает число обрабатываемых человеком алертов, позволяет централизовать IT-мониторинг, автоматически выявляет важные для бизнеса события и запускает систему автохилинга. MONQ в несколько раз повышает эффективность обнаружения источников проблем и увеличивает скорость расследования инцидентов в IT на 70-95%.

Разработка MONQ Digital lab — резидента «Сколково», которой пользуются ведущие российские компании. Победитель Cybercsecurity Challenge 2020 и Startup Village 2020.