Системы видеоаналитики – это программы, которые позволяют проанализировать видеопоток или изображения и сделать выводы, такие как подсчет объектов на изображении, параметры объектов, их поведение (траектория, характер движения и т.п.)  

Система видеоаналитики позволяет посчитать количество объектов на видеоhttps://github.com/ahmetozlu/tensorflow_object_counting_api/blob/master/README.md

Вот некоторые требования, которые зачастую предъявляются к программе видеоаналитики:

  • Обнаруживать только целевые объекты, игнорировать те, аналитика по которым вам не нужна.
  • Посчитать количество целевых объектов.
  • Определить цвет целевых объектов.
  • Определить скорость целевых объектов.
  • Экспортировать результат видеоаналитики в файл .csv или в базу данных в качестве отчета об анализе.
  • Сохранить обнаруженные объекты как изображения в файлы или на удаленный сервер.
  • Иметь базу готовых моделей и использовать новые модели которые будут дообучаться для обнаружения специфических кейсов, новых объектов и т.п.
  • Показать результаты обнаружения и подсчета в режиме реального времени (для демонстрации).
  • Обрабатывать с одинаковым успехом изображения или видео в зависимости от требований.

Как работает система видеоаналитики?

В программе видеоаналитики исходное видео читается кадр за кадром. Каждый кадр обрабатывается нейронной сетью. Это цикл, который продолжает работать до конца видео.  Общий принцип работы системы видеоаналитики изображен на иллюстрации ниже:

Как работает система видеоаналитики?Для определения объектов используются модели на базе нейронных сетей типа CNN (convolutional neural network, сверточные нейронные сети, о них читайте тут) и SSD (Single Shot MultiBox Detector)

Подход SSD был опубликован в конце ноября 2016 года и привел к новому рекорду с точки зрения производительности и точности для задач обнаружения объектов.

В названии  “Single Shot MultiBox Detector”:

  • Single Shot означает, что задачи локализации и классификации объектов выполняются за один проход сети.
  • MultiBox - так называется методика поиска ограничивающего прямоугольника.
  • Detector -  нейронная сеть работает как классификатор (детектор) объектов.

Таким образом мы можем классифицировать за 1 проход несколько разных объектов и на одном кадре определять и людей и животных и транспорт и т.п. Программа подсчета объектов на видео, например,  может считать разные типы объектов и учитывать их нахождение в определенной зоне.

Нейронная сеть также способна “сопровождать” объекты, таким образом определив на одном из кадров машину как Car_001 она будет Car_001 и на других кадрах, тем самым вы будете понимать, что это одна и та же машина, а не каждый раз новая.

Система видеоаналитики позволяет распознавать и "сопровождать" мащины в кадреhttps://github.com/ahmetozlu/tensorflow_object_counting_api/blob/master/README.md

Помимо упомянутых нейронных сетей архитектур CNN или SSD для видеоаналитики применяются еще другие модели, в зависимости от поставленной задачи.

Системы видеоаналитики реального времени

Нейронные сети на основе SSD-подхода интересны еще тем, что дают возможность использовать миниатюрные и мобильные устройства для видеоаналитики в реальном времени. 

В статье о “железе” для нейронных сетей мы писали о TPU типа Google Coral - так вот с помощью таких систем подсчет и классификация объектов в реальном времени возможны и доступны без использования больших стационарных рабочих станций или GPU-серверов. Это особенно интересно для кейсов интерактивной и креативной рекламы, где на indoor или outdoor конструкции устанавливается устройство, которое обрабатывает видео и позволяет рекламе взаимодействовать с пользователем. 

Если вам интересна разработка ПО для видеоанализа или вы хотите использовать видеоаналитику как часть другого программного продукта, обращайтесь к нам: поможем понять, какие именно системы нужны для вашего бизнеса, подскажем лучшие современные возможности, чтобы решения приносили больше прибыли при меньших затратах.

21.01.2020
Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.