Сверточная нейронная сеть - СНС, CNN – основной инструмент для классификации и распознавания объектов, лиц на фотографиях, распознавания речи. Есть множество вариантов применения CNN, такие как Deep Convolutional Neural Network (DCNN),  Region-CNN (R-CNN), Fully Convolutional Neural Networks (FCNN), Mask R-CNN и другие.

Мы будем говорить в первую очередь о CNN для изображений, но “свертка” – универсальная операция. Её можно применить для любого сигнала, будь то данные с датчиков, аудиосигнал или картинка.

Поскольку все статьи о сверточных сетях начинаются со сложного и непонятного объяснения что такое свертка, мы не будем об этом писать. Это совершенно необязательное знание, если вы не планируете стать математиком в области нейронных сетей.

Итак, у нас стоит задача выделить на картинке какой-то объект, например,  автомобиль. Человек легко понимает что перед ним автомобиль и распознает его по тысяче мелких признаков. Но как обучить машину что “этот набор точек на картинке – автомобиль”?  Ответ на этот вопрос лежит не в понятии сверточной сети – с этой задачей может справиться и самая старая нейронная сеть на персептронах.

Сверточная же нейронная сеть за счет применения специальной операции – собственно свертки – позволяет одновременно уменьшить количество хранимой в памяти информации, за счет чего лучше справляется с картинками более высокого разрешения, и выделить опорные признаки изображения, такие как ребра, контуры или грани. На следующем уровне обработки из этих ребер и граней можно распознать повторяемые фрагменты текстур, которые дальше могут сложиться в фрагменты изображения.

По сути каждый слой нейронной сети использует собственное преобразование. Если на первых слоях сеть оперирует такими понятиями как “ребра”, “грани” и т.п, то дальше используются понятия “текстура”, “части объектов”. В результате такой проработки мы можем правильно классифицировать картинку или выделить на конечном шаге искомый объект на изображении.

CNN распознавание изображений

Для чего применяют сверточные нейронные сети?

Сверточные нейронные сети применяются довольно широко и в различных областях. Ниже мы рассмотрим простые прикладные примеры того, как можно применять GAN и CNN в бизнесе.

Классификация изображений и сигналов с помощью нейросетей

Первой и, по сути, самой тривиальной задачей, которую научились решать с помощью нейронных сетей, стала классификация изображений. Как мы уже писали выше, большинство примеров указано именно на изображениях. Но, по сути, можно классифицировать любые сигналы.

Классификация изображений CNN

Классификации с помощью CNN активно применяются в медицине: можно обучить нейронную сеть классификации болезней или симптомов, например, для МРТ-диагностики.

CNN в диагностике заболеваний

В агробизнесе разрабатывается и внедряется методика анализа и распознавания изображений, при которой данные получают от открытых спутников, таких как LSAT, и используют для прогнозирования будущей урожайности конкретных земель.

CNN прогнозирование урожайности

Распознавание объектов – object detection – с помощью нейронных сетей

Распознавание объектов на фото и видео с помощью нейронных сетей применяется в беспилотном транспорте, видеонаблюдении, системах контроля доступа, системах “умного дома” и так далее.

CNN в беспилотном транспорте

Встречается также маскированное распознавание объектов с выделением контура, при котором мы также можем получать четкие контуры объекта при помощи сверточных нейронных сетей.

CNN распознавание контуров

Определение марки и модели конкретной техники с помощью машинного обучения

Определить конкретную модель и марку объекта среди нескольких визуально очень похожих? Возможно. Более того, мы в Evergreen уже решили эту задачу машинного обучения в кейсе определения модели пульта по фото. Кейс решался при помощи нейронных сетей с использованием фреймворка Tensorflow.

Нейронные сети для распознавания лиц и людей

Распознавание лиц означает возможность выделять лица на изображениях. А затем, при помощи нейросетей CNN, распознавать лицо конкретного человека. Видеодемонстрацию того, как работает распознавание лиц на базе нейронных сетей, сделанное в Evergreen, можно посмотреть здесь.

CNN Распознавание лиц

Также нейронные сети можно использовать для выделения людей или отдельных частей тела человека на фото или видео, для построения их скелетов, поз. Такой подход применяется, например, для видеоаналитики.

CNN поиск людей и их частей тела на фото\видео

Трехмерная реконструкция лиц и объектов по фотографии при помощи сверточных нейронных сетей

 На данный момент существует несколько конкурирующих моделей, позволяющих получить трехмерные модели лица (3DMM) всего по одной фотографии. Помимо реконструкции лиц сверточные сети применяют также для реконструкции других трехмерных объектов по фото.

CNN трехмерная реконструкция лиц

Распознавание речи и анализ эмоциональной тональности текста

Сверточные нейронные сети можно применять не только для решения задач компьютерного зрения. Например, недавно Facebook AI Research выложила в открытый доступ wav2letter ++ – свою технологию распознавания речи, основанную на CNN.

Также существуют статьи и исследования специалистов AI-сферы, в которых предлагается применять CNN для анализа эмоциональной тональности текста, то есть области, вообще далекой от сигналов и изображений.

Вместо заключения: что можно реально разработать, используя сверточные нейронные сети CNN

CNN на сегодня – “рабочая лошадка” в области нейронных сетей. Используется преимущественно для решения задач компьютерного зрения, хотя может применяться также для работы с аудио и любыми данными, которые можно представить в виде матриц.

У нас в Evergreen уже есть целый ряд кейсов с использованием этой технологии: и распознавание техпаспортов, а также загранпаспортов, и поиск точной модели техники по фотографии в базе интернет-магазина. Мы также активно продвигаем идею использовать распознавание и классификацию документов по фото вместе с RPA для повышения эффективности бизнес-процессов.

Есть идея, какую рутинную работу по распознаванию или классификации вы хотите переложить на машину? Поделитесь ею с нами. Мы будем рады найти подходящий метод решения.

01.02.2019
Рейтинг: 0 / 5 (0)