Улучшение изображения (Image Enhancement) — процесс улучшения качества картинки без потери информации до получения желаемого визуального результата (разрешение, цвет и стиль) или подготовка фото для дальнейшего анализа в различных программах компьютерного зрения: распознавания объектов, классификации, интерпретации изображений. Повышение качества изображения обычно включает ряд преобразований: шумоподавление, улучшение размытого фото, повышение разрешения, контрастности, осветление темной фотографии, устранение оптических искажений и т.д. 

Постобработка изображений — неотъемлемая и важная часть процесса создания фото. Она нужна для устранения распространенных недостатков фотоснимков, в том числе:

  • недоэкспонирование;
  • переэкспонирование;
  • низкая контрастность;
  • контровое освещение объекта съемки;
  • неправильный баланс цвета;
  • расфокус и многое другое.

Популярные фоторедакторы, например, Adobe Photoshop, Adobe Lightroom или RawTherapee, предлагают различные наборы инструментов для ретуши изображений и давно лидируют на рынке. Тем не менее, качество результата обработки сильно зависит от навыков и эстетического восприятия ретушеров, а оно субъективно. К тому же редактирование цифровых фото вручную обычно занимает много времени.

Преимущества автоматической обработки фото
на основе AI

Современные сервисы для автокоррекции фото значительно облегчают и упрощают процесс ретуширования для всех пользователей. Фоторедакторы на основе искусственного интеллекта делают все то же самое, что ретушер бы делал вручную в фотошопе, и в то же время позволяют вам полностью управлять процессом. Автоматическая ретушь помогает:

  • придать снимкам, сделанным на простую камеру, профессиональный вид и улучшить качество изображения;
  • экономить время, позволяя программе выполнять всю работу взамен ручного редактирования;
  • печатным и издательским компаниям — улучшить процесс цветокоррекции изображений для журналов, маркетинговых кампаний и не только.

Алгоритмы улучшения качества картинок не ограничиваются цифровой фотографией. Они применяются для обработки медицинских изображений, например, в радиологии, где ИИ не только помогает повысить качество самого изображения, но и может обнаружить определенные заболевания. Об ИИ в медицине мы уже писали здесь

“Умное” повышение качества изображений дает хорошие результаты, которые в дальнейшем можно использовать в различных системах компьютерного зрения:

  • улучшение инфракрасных снимков крайне важно для приложений Smart City ("Умный город"); 
  • программы для обработки видео и фото в криминалистике, например, Amped FIVE, позволяют восстановить очертания машины в движении, измерять объекты на снимках с места преступления, обнаруживать лица на размытых/темных фотографиях, улучшать четкость текста на фото — мы видели подобное в фильмах о ФБР и CSI;
  • когда нужно увеличить резкость фото в условиях дымки и тумана — можно использовать для интерполяции и измерения расстояния между объектами при различных атмосферных условиях в разработке визуальных систем для беспилотного транспорта. 

Как нейросеть улучшает фотографии. Примеры open source решений

Глубокое обучение (Deep Learning) — относительно новая область машинного обучения (Machine Learning), и его можно эффективно применять для обработки изображений. Различные типы нейронных сетей можно использовать для решения различных задач по улучшению качества изображения, например, для удаления шума, восстановления изображений с высоким разрешением из данных изображений с низким разрешением (супер-разрешение). 

Мы подобрали несколько интересных решений и расскажем, как глубокая нейросеть-фоторедактор поможет вам автоматически улучшать качество картинок.

Deep Photo Enhancer — улучшение картинок плохого качества с помощью нейронок

Deep Photo Enhancer использует GAN (Generative Adversarial Networks — генеративно-состязательные нейронные сети) и непарные алгоритмы обучения. Deep Photo Enhancer предлагает метод улучшения изображений на основе изучения фотографий. Нейроны учатся находить общие характеристики в наборе образцов изображений (например, уровень контрастности, баланс белого, цветовая гамма) и затем применять эти характеристики к улучшенному изображению так, чтобы сохранялся смысл оригинальной картинки. Этот метод требует использования исходных изображений высокого качества, и его можно в дальнейшем персонализировать.

Супер-разрешение фото с использованием Neural Enhance

Алгоритмы глубокого обучения позволяют научить нейронную сеть увеличивать изображения в 2 или даже 4 раза, что позволяет повысить качество снимков с низким разрешением. Глубокие нейронные сети (GAN, глубокие рекурсивные сверточные нейронные сети (DRCN)) способны восстанавливать фотореалистичные текстуры из изображений с очень низким разрешением: нейронная сеть “дорисовывает” детали по результатам обучения на примерах изображений. Это не на 100% точная реконструкция фотографий в HD, однако результаты впечатляют.

Использование нейросетей для улучшения изображений

Источник: https://github.com/

 

IBM/MAX Image Resolution Enhancer — нейросеть для восстановления сжатых фото

Эта развертываемая модель позволяет увеличивать размер пикселизированного изображения в 4 раза, одновременно генерируя фотореалистичные детали, используя GAN (SRGAN-tensorflow), обученный на 600 тысячах снимков OpenImages V4. Идеальным входным изображением должен быть PNG-файл размером от 100x100 до 500x500 пикселей, желательно без постобработки. Модель может генерировать детали из пикселизированного изображения, но она не подходит для коррекции размытых изображений.

Автоматическое улучшение изображений

Source: https://github.com/

Мы в Evergreen используем TensorFlow — фреймворк машинного обучения с открытым исходным кодом — для обучения нейронных сетей и давно работаем с этой системой, чтобы реализовать индивидуальные задачи визуального поиска и распознавания объектов в проектах наших клиентов. Хотите узнать больше о наших бизнес-кейсах? Свяжитесь с нами как можно скорее.

Коммерческие программы для автоматической обработки фото

В целом мы можем описать их как алгоритмы “умной” автоматизации, которые позволяют повышать качество отдельных изображений и серий фотографий. Пользователи сами выбирают автоматические фильтры, могут настроить их вручную по своему усмотрению, сохранить эти пресеты и использовать их вместо ручного редактирования.

Deep Image — повышение разрешения картинки без потери качества

Deep Image — это программное обеспечение для увеличения разрешения изображения на основе ИИ, которое использует нейронные сети (CNN и GAN) для удаления JPG артефактов и обратного преобразования изображения, восстановления его почти до исходного качества. Программа также позволяет увеличить разрешение и размер картинки в 2 и 4 раза: нейронная сеть рассчитывает, как должно выглядеть увеличенное изображение, чтобы сохранить его качество. API Deep Image можно интегрировать с сайтом, приложением или внедрить в рабочий процесс.

Luminar — универсальный AI-мультитул для улучшения фото

Работает отдельно и как плагин. Наряду с мощным функционалом для редактирования, программа содержит набор инструментов для повышения качества фото на базе ИИ, которые умеют определить и фокусироваться на конкретных областях изображения: AI Sky Replacement (замена рисунка неба на снимке), AI Skin Enhancer & Portrait Enhancer (для обработки портретов), AI Augmented Sky Tool (коррекция неба), Sunrays (добавление реалистичных солнечных лучей к изображению), AI Structure (определение областей, которые могут выглядеть насыщенней, и улучшение только их), AI Accent tool (выборочные корректировки), Smart Contrast (сохранение цветов и деталей, создание более реалистичного текстурированного изображения). Можно также удалять объекты с фото, отдельно выделять яркость зелени и многое другое.

Fotor — замена Photoshop с элементами AI

Fotor — это еще один онлайн-фоторедактор для профессиональных фотографов и любителей, позволяющий применять фильтры, автоматические эффекты и быстро редактировать изображения. Он содержит базовые и продвинутые инструменты для улучшения изображения, включая HDR-фильтры, художественно оформленный фон, текстуры и многое другое. Приложение от Fotor — GoArt — использует ИИ для преобразования фотографий в стиле произведений классической живописи: импрессионизма, фовизма, дадаизма и др.

Remini — восстановление фото с помощью AI-алгоритмов

Популярная программа для улучшения фото, созданная для восстановления старых, размытых или снимков низкого качества, сделанных на старую камеру или мобильный телефон, и повышения их четкости. Remini также может восстановить размытое видео с высокой четкостью — для удобного просмотра на больших экранах.

Приложение использует ультрасовременную генеративную технологию ИИ и не требует ручного ввода при редактировании изображений. В отличие от других приложений этого класса, в нем есть предустановленные процессы: пользователям остается только выбрать фотографию, которую они хотели бы отретушировать. Помимо улучшения картинок, программа позволяет редактировать селфи в режиме реального времени и предлагает некоторые другие интересные функции, например, превращение фото в рисунок.

Вместо заключения

Средства автоматической обработки изображений на основе ИИ, использующие алгоритмы глубокого обучения, могут помочь вам в разработке интеллектуальных приложений, внедрении элементов компьютерного зрения, обнаружении и распознавании объектов и действий на изображениях и видеозаписях. 

Наша команда в Evergreen уже много лет успешно применяет технологии искусственного интеллекта для визуального поиска, распознавания лиц и объектов при создании проектов в различных сферах бизнеса. Мы можем разработать, поддержать и масштабировать кастомный продукт для клиента: построить MVP на основе решения с открытым исходным кодом в короткие строки и экономически эффективно, поддерживать и развивать проект на каждом этапе его роста.

Ищете решение, как улучшить качество изображений для вашего проекта? Хотите использовать алгоритмы глубокого обучения для обработки изображений, распознавания образов или добавить другие элементы компьютерного зрения к вашему продукту? Обращайтесь.

27.07.2020
Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.