Мы в Evergreen уже не первый год создаем продукты по распознаванию на основе нейронных сетей. У нас есть наработки в области систем распознавания и визуального поиска для разных видов бизнеса. Если вы интересуетесь распознаванием лиц или хотите использовать его в вашем проекте, можем предложить вам готовый продукт — систему распознавания и сравнения лиц по фото Face ID.

Страница Face ID

Для того, чтобы нейронная сеть умела распознавать объекты и образы на картинке, нужно ей для начала "показать", что именно там находится. Для этого и предназначена разметка.

Разметка изображений (Image Annotation, аннотирование изображений, аннотация изображений) является неотъемлемой частью разработки искусственного интеллекта, и это одна из основных задач в технологии компьютерного зрения. Аннотированные изображения нужны в качестве вводных данных для обучения нейронных сетей: распознавание объектов на изображениях позволяет компьютерам "видеть" окружающий мир подобно человеку. 

Ручная разметка объектов на изображениях — трудоемкая и довольно затратная задача, особенно если нужно разметить большие наборы данных. Для тех, кто подробно интересуется технологией, мы поместили описание некоторых задач под кат.

Разметка изображений (нажмите, чтобы развернуть)

это задача, выполняемая человеком, которая заключается в добавлении меток к изображению для создания обучающих выборок для алгоритмов компьютерного зрения (аннотирование). Разработчики искусственного интеллекта, как правило, аннотируют изображения вручную с использованием специальных программ или инструментов для разметки — выделяют границы объектов и создают к ним текстовые подписи.

Услуги по разметке изображений включают:

  • bounding boxes — вокруг объектов, которые нужно разметить, рисуют векторные 2D-прямоугольники;
  • 3D-кубоиды — почты то же самое, что и 2D-прямоугольники, только они еще показывают приблизительную глубину объектов;
  • линии и сплайны — это обозначение прямых или изогнутых линий на изображениях: пути, тротуары, дороги и пр. Эта техника используется для распознавания полос движения и границ, а также планирования траекторий беспилотных автомобилей, дронов, складских роботов и во многих других случаях;
  • семантическая сегментация — все объекты на картинке аннотируются согласно списку семантических меток;
  • попиксельная сегментация;
  • полигональная сегментация — используется для сегментации объектов неправильной формы и чтобы точно очертить все контуры объекта;
  • классификация изображений — процесс присвоения единственной метки целому изображению.

Автоматическая аннотация изображений (Automatic Image Annotation, также известная как автоматическая маркировка изображений) — это процесс, в котором компьютер автоматически присваивает метаданные цифровому изображению (подписи или метки), используя соответствующие ключевые слова для описания его визуального содержания. Подробнее об автоматическом описании изображений вы можете прочитать в нашей статье

Существующие алгоритмы разметки изображений можно разделить на две категории: 

  • методы обучения на основе моделей — они исследуют корреляцию между визуальными характеристиками и их семантическим значением для обнаружения функции отображения с помощью машинного обучения или моделей представления знаний для разметки изображений;
  • модели на основе базы данных — они сразу выдают последовательность вероятных меток (лейблов) в соответствии с уже аннотированными изображениями в базе данных.

Инструменты для разметки на основе нейронных сетей позволяют выделять объекты намного быстрее и эффективнее, обрабатывать значительно большее количество изображений, автоматизируют основную массу ручных задач, и их можно дополнительно обучать более точному распознаванию новых изображений.

Пример аннотирования

Источник: https://github.com/

 

Open source инструменты для разметки изображений

Мы подобрали несколько решений с открытым исходным кодом, которые могут облегчить жизнь разметчиков данных. Их также можно использовать в качестве базы для разработки кастомных инструментов.

LabelImg — базовый инструмент аннотирования

Бесплатный опенсорсный графический инструмент для разметки изображений, написанный на Python, который используется для выделения объектов на картинке. Аннотации можно сохранить как XML-файлы в формате PASCAL VOC/YOLO. LabelImg позволяет создавать прямоугольники (bounding boxes) для разметки объектов в графическом интерфейсе Qt. Мы в Evergreen использовали это решение при подготовке датасетов для обучения нейронных сетей в нескольких наших проектах по распознаванию.

CVAT — универсальный редактор для разметки данных

CVAT — бесплатный инструмент с открытым исходным кодом для разметки цифровых изображений и видео, а также удобной подготовки наборов данных для алгоритмов компьютерного зрения. Он позволяет размечать данные для нескольких задач машинного обучения: распознавания объектов, классификации и сегментации изображений. CVAT поддерживает ряд дополнительных компонентов: Deep Learning Deployment Toolkit (компонент в составе OpenVINO), NVIDIA CUDA Toolkit, TensorFlow Object Detection API и другие.

Инструмент CVAT

Источник: https://github.com/opencv/cvat

 

Auto_Annotate — 2D-разметка с помощью нейронки

Это решение с открытым исходным кодом для автоматизированной разметки изображений. Класс Python под названием 'generate XML' размечает изображения через умозаключение предварительно обученной модели, чтобы определить позиции ограничивающих прямоугольников. Скрипт также использует репозиторий TensorFlow для обучения. Полученные в результате изображения (с разметкой в форме bounding boxes) и XML можно после этого открыть в LabelImg.

 Автоматическое аннотирование

Источник: https://medium.com/

Коммерческие утилиты для разметки изображений

Мы составили для вас подборку из нескольких интересных платных решений, созданных для облегчения процесса аннотирования изображений в коммерческих, научных и других проектах.

Hasty.ai — автоматическая разметка данных с AI

Платформа предлагает несколько инструментов аннотирования на основе ИИ (DEXTR, прогнозирование классификации, помощник по обнаружению объектов и сегментации и др.) наряду с инструментами ручной разметки. Автоматически нанесенные контуры объектов можно подкорректировать вручную для повышения точности и качества разметки. Вы также можете использовать собственные наборы данных для дальнейшего обучения алгоритмов по обнаружению объектов и сегментации.

V7 Darwin — попиксельная разметка изображений на базе нейросети

Автоматизированный инструмент разметки на основе ИИ, который работает со всеми данными и автоматически генерирует полигональные и попиксельные маски. Можно задать область для распознавания — алгоритм глубокого обучения определит наиболее заметный объект или его видимую часть и нанесет разметку. Благодаря использованию искусственного интеллекта Darwin может генерировать очень точные маски с первого раза.

Dataloop — разметка больших массивов данных

Облачная платформа для аннотирования, состоящая из множества приложений для автоматизации процесса подготовки данных для ритейла, робототехники, автономных транспортных средств, точного земледелия и не только. Инструменты разметки Dataloop работают со всеми видами изображений (картинки, видео). Вы можете интегрировать модели deep learning и автоматизировать процесс разметки, используя предварительно обученные классы. Специалист по разметке данных затем только проверяет точность контуров и вносит необходимые изменения, что ускоряет процесс аннотации.

Наша команда в Evergreen успешно использует TensorFlow — систему машинного обучения с открытым исходным кодом — для обучения глубоких нейронных сетей в наших разработках, например, чтобы интегрировать визуальный поиск и распознавания объектов в системы клиентов. Хотите узнать больше интересного о кейсах Evergreen? Свяжитесь с нами прямо сейчас.

Вместо вывода

Разметка данных на изображениях или видео необходима для "скармливания" моделям глубинного обучения информации о том, что изображено на картинке. Так компьютеры и машины учатся лучше узнавать и распознавать объекты.

Специалисты Evergreen давно работают с технологиями машинного обучения и искусственного интеллекта. Можем создать, поддерживать и усовершенствовать индивидуальное решение для клиента: быстро построить MVP на базе опенсорсного решения, развивать проект по мере роста, с выгодой для заказчика и возможностью масштабирования в будущем.

Если вы ищете решения для вашего бизнеса или онлайн-проекта на основе искусственного интеллекта — не стесняйтесь обращаться к нам. Будем рады предложить вам продукт, использующий передовые технологии машинного обучения — просто позвоните или заполните форму.

22.07.2020
Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.