2 июня команда Monq Digital Lab выпустила новую версию платформы.
Monq 5.0 теперь решает четыре основных IT-юзкейса: помимо UX-мониторинга, зонтичного мониторинга и автоматизации процессов, у платформы появились возможности анализа логов. Кроме того, к системе можно практически моментально подключить любой источник данных.
5-я версия серьезно расширяет возможности Monq и позволяет обрабатывать и хранить любые данные на входе, в том числе и неструктурированные логи. Платформу теперь можно использовать не только для событий систем мониторинга ИТ, но для любых событий (например, для событий безопасности). Расширенные возможности синтетических триггеров позволяют объединить в одной проблеме события из инфраструктурного мониторинга, систем ИТ-безопасности и синтетических тестов. Таким образом, на платформе Monq можно построить SIEM-решение.
В версии 5.0 появился принципиально новый функционал.
1. Новый компонент платформы — Monq Collector, который заменил коннекторы к системам мониторинга. Важным преимуществом сборщика данных является возможность обработки сырых данных и превращения их в JSON. Подключить новую систему мониторинга или любой другой источник данных на вход платформы может теперь и обычный инженер отдела эксплуатации, что значительно упрощает внедрение и затраты при подключении новых источников.
Monq Collector состоит из следующих функциональных блоков:
а) выполнять парсинг и превращение текста в JSON;
б) выполнять обработку пакетных событий — выделять из этих событий единичные элементы. Фактически это парсинг: например, события от Prometheus приходят в полу-batch формате;
в) выполнять преобразование входной модели. Например, добавлять вычисляемое поле или менять тип поля в модели;
г) добавлять кастомные метки для событий.
2. Новый экран по работе с первичными событиями. Экран позволяет пользователями анализировать и работать с
принимаемыми логами. В текущей версии пользователь сможет работать с первичными событиями всех потоков, доступных его рабочей группе (а не только по одному индексу, как это сделано в ряде конкурирующих решений). Для этого предоставлен достаточно широкий набор инструментов:
Экраны работы с первичными данными
Monq 5.0 теперь решает четыре основных IT-юзкейса: помимо UX-мониторинга, зонтичного мониторинга и автоматизации процессов, у платформы появились возможности анализа логов. Кроме того, к системе можно практически моментально подключить любой источник данных.
5-я версия серьезно расширяет возможности Monq и позволяет обрабатывать и хранить любые данные на входе, в том числе и неструктурированные логи. Платформу теперь можно использовать не только для событий систем мониторинга ИТ, но для любых событий (например, для событий безопасности). Расширенные возможности синтетических триггеров позволяют объединить в одной проблеме события из инфраструктурного мониторинга, систем ИТ-безопасности и синтетических тестов. Таким образом, на платформе Monq можно построить SIEM-решение.
В версии 5.0 появился принципиально новый функционал.
1. Новый компонент платформы — Monq Collector, который заменил коннекторы к системам мониторинга. Важным преимуществом сборщика данных является возможность обработки сырых данных и превращения их в JSON. Подключить новую систему мониторинга или любой другой источник данных на вход платформы может теперь и обычный инженер отдела эксплуатации, что значительно упрощает внедрение и затраты при подключении новых источников.
Monq Collector состоит из следующих функциональных блоков:
- Приемник потоков данных. Это максимально легковесная программа — точка прослушивания HTTP. Программа обёртывает базовую информацию в модель (_id, _aggregatedAt, _connector, _sourceType, _source) и отправляет сообщение в препроцессор на обработку. Программа также проводит валидацию ключа коннектора, а также валидацию входной модели в зависимости от типа входных данных (если формат JSON — то валидность JSON в целом, если это XML, то валидность XML в целом (без схемы)).
- Препроцессор событий. Препроцессор запускает обработчик входного сообщения, если он есть. Обработчик может:
а) выполнять парсинг и превращение текста в JSON;
б) выполнять обработку пакетных событий — выделять из этих событий единичные элементы. Фактически это парсинг: например, события от Prometheus приходят в полу-batch формате;
в) выполнять преобразование входной модели. Например, добавлять вычисляемое поле или менять тип поля в модели;
г) добавлять кастомные метки для событий.
- Анализатор схемы БД сообщения.
- Анализатор формирует модель для базы данных, согласно схемы, записанной в коннекторе, создает эту схему исходя из модели JSON или добавляет нужные поля. Выполняет валидацию данных, согласно схеме. Если находит несоответствия в типах полей — отражает в логах.
2. Новый экран по работе с первичными событиями. Экран позволяет пользователями анализировать и работать с
принимаемыми логами. В текущей версии пользователь сможет работать с первичными событиями всех потоков, доступных его рабочей группе (а не только по одному индексу, как это сделано в ряде конкурирующих решений). Для этого предоставлен достаточно широкий набор инструментов:
- таблица первичных событий;
- визуализация количества событий за период;
- детальный просмотр событий;
- автообновление событий посредством протокола WebSocket;
- строки поиска — используется всем знакомый по Elastic Search синтаксис полнотекстового поиска Lucene.
Экраны работы с первичными данными
3. Новый функционал в модуле правила и действия. Теперь можно настраивать не только действия по открытию/закрытию проблемы, но и при ее подтверждении.
Многие события, поступающие в систему, относятся к существующим проблемам и их “подтверждают”, но пользователи хотели бы получать сообщения по таким событиям. Теперь пользователь может в настройках указать опцию выполнения операции по подтверждению проблемы. Эта опция доступна для всех операций, за исключением “Закрытия инцидента в HPSM”.
Подтверждение статуса синтетического триггера вызывает проверку правил по уже открытым по данному синтетическим триггерам проблемам. В случае успешного прохождения правила запускаются связанные с этим правилом операции, у которых стоит отметка “Подтверждение события”.
Выполненные операции “Подтверждение события” выводятся в подробной информации в виджете “События за период” во вкладке “Действия”.
4. Унификация шаблонов сообщений. В конструкторе сообщений убран функционал разделения шаблона на начало и конец. Обновление затрагивает все операции.Произведена миграция исторических настроек для операций, которые запускаются как по началу, так и по окончанию проблем, и при этом имеют разные шаблоны на начало и конец. Такие операции преобразованы в две операции. Одна — на начало проблемы с соответствующим шаблоном, а вторая — на конец проблемы. Настройки времени активности сохранены.
5. Добавление опций в запуск скриптов. В операцию “Запуск скрипта” добавлены опции запуска как по подтверждению, так и по завершению проблемы.
6. Переработана административная панель:
Экраны работы с модулем Автоматон
Многие события, поступающие в систему, относятся к существующим проблемам и их “подтверждают”, но пользователи хотели бы получать сообщения по таким событиям. Теперь пользователь может в настройках указать опцию выполнения операции по подтверждению проблемы. Эта опция доступна для всех операций, за исключением “Закрытия инцидента в HPSM”.
Подтверждение статуса синтетического триггера вызывает проверку правил по уже открытым по данному синтетическим триггерам проблемам. В случае успешного прохождения правила запускаются связанные с этим правилом операции, у которых стоит отметка “Подтверждение события”.
Выполненные операции “Подтверждение события” выводятся в подробной информации в виджете “События за период” во вкладке “Действия”.
4. Унификация шаблонов сообщений. В конструкторе сообщений убран функционал разделения шаблона на начало и конец. Обновление затрагивает все операции.Произведена миграция исторических настроек для операций, которые запускаются как по началу, так и по окончанию проблем, и при этом имеют разные шаблоны на начало и конец. Такие операции преобразованы в две операции. Одна — на начало проблемы с соответствующим шаблоном, а вторая — на конец проблемы. Настройки времени активности сохранены.
5. Добавление опций в запуск скриптов. В операцию “Запуск скрипта” добавлены опции запуска как по подтверждению, так и по завершению проблемы.
6. Переработана административная панель:
- появилась возможность писать свои плагины. Пока только для оповещений, в дальнейшем этот функционал будет расширен и на другие части продукта.
- доступно управление библиотеками для написания скриптов. Добавление своих библиотек позволяет серьезно расширит возможности работы с модулем Автоматон.
Экраны работы с модулем Автоматон
Познакомиться с возможностями Monq можно ближе на демонстрации или получив презентацию системы.
Несколько деталей о Monq, которые вы могли пропустить
Monq – AIOps-платформа для анализа логов, UX-мониторинга и автоматизированного инцидент-менеджмента. Российский конкурент западным решениям, единственное решение для непрерывного UX-мониторинга.
Система создана для компаний, в которых финансовые показатели и репутация зависят от стабильной работы IT.
Monq повышает производительность труда IT-подразделений с помощью искусственного интеллекта и автоматизации, создает условия для эффективной коллаборации команд.
Платформа в десятки раз сокращает число обрабатываемых человеком алертов, позволяет централизовать IT-мониторинг, автоматически выявляет важные для бизнеса события и запускает систему автохилинга. Monq в несколько раз повышает эффективность обнаружения источников проблем и увеличивает скорость расследования инцидентов в IT на 70-95%.
Разработка Monq Digital lab — резидента «Сколково», которой пользуются ведущие российские компании. Победитель Cybercsecurity Challenge 2020 и Startup Village 2020.
Несколько деталей о Monq, которые вы могли пропустить
Monq – AIOps-платформа для анализа логов, UX-мониторинга и автоматизированного инцидент-менеджмента. Российский конкурент западным решениям, единственное решение для непрерывного UX-мониторинга.
Система создана для компаний, в которых финансовые показатели и репутация зависят от стабильной работы IT.
Monq повышает производительность труда IT-подразделений с помощью искусственного интеллекта и автоматизации, создает условия для эффективной коллаборации команд.
Платформа в десятки раз сокращает число обрабатываемых человеком алертов, позволяет централизовать IT-мониторинг, автоматически выявляет важные для бизнеса события и запускает систему автохилинга. Monq в несколько раз повышает эффективность обнаружения источников проблем и увеличивает скорость расследования инцидентов в IT на 70-95%.
Разработка Monq Digital lab — резидента «Сколково», которой пользуются ведущие российские компании. Победитель Cybercsecurity Challenge 2020 и Startup Village 2020.