Покращення зображення (Image Enhancement) - процес поліпшення якості картинки без втрати інформації до отримання бажаного візуального результату (дозвіл, колір і стиль) або підготовка фото для подальшого аналізу у різних програмах комп'ютерного зору: розпізнавання об'єктів, класифікації, інтерпретації зображень. Підвищення якості зображення зазвичай включає ряд перетворень: шумозаглушення, поліпшення розмитого фото, підвищення розширення, контрастності, освітлення темної фотографії, усунення оптичних спотворень тощо.

Постобробка зображень - невід'ємна і важлива частина процесу створення фото. Вона потрібна для усунення поширених недоліків фотознімків, у тому числі:

  • недоекспонування;
  • переекспонування;
  • низька контрастність;
  • контровое освітлення об'єкту зйомки;
  • неправильний баланс кольору;
  • разфокусування і багато іншого.

Популярні фоторедактори, наприклад, Adobe Photoshop, Adobe Lightroom або RawTherapee, пропонують різні набори інструментів для ретуші зображень і давно лідирують на ринку. Проте, якість результату обробки сильно залежить від навичок і естетичного сприйняття ретушерів, а воно суб'єктивно. До того ж редагування цифрових фото вручну зазвичай займає багато часу.

Переваги автоматичної обробки фото
на основі AI

Сучасні сервіси для автокорекції фото значно полегшують і спрощують процес ретушування для всіх користувачів. Фоторедактори на основі штучного інтелекту роблять все те саме, що ретушер б робив вручну у фотошопі, і в той же час дозволяють вам повністю керувати процесом. Автоматична ретуш допомагає:

  • надати знімкам, зробленим на просту камеру, професійний вид і поліпшити якість зображення;
  • економити час, дозволяючи програмі виконувати всю роботу замість ручного редагування;
  • друкованим і видавничим компаніям - поліпшити процес корекції зображень для журналів, маркетингових кампаній і не тільки.

Алгоритми поліпшення якості картинок не обмежуються цифровою фотографією. Вони застосовуються для обробки медичних зображень, наприклад, у радіології, де АІ не тільки допомагає підвищити якість самого зображення, але і може виявити певні захворювання. Про АІ в медицині ми вже писали тут.

"Розумне" підвищення якості зображень дає хороші результати, що у подальшому можна використовувати в різних системах комп'ютерного зору:

  • поліпшення інфрачервоних знімків вкрай важливо для додатків Smart City ( "Розумне місто");
  • програми для обробки відео й фото у криміналістиці, наприклад, Amped FIVE, дозволяють відновити контури машини в русі, вимірювати об'єкти на знімках із місця злочину, визначає обличчя людей на розмитих/темних фотографіях, покращувати якість тексту на фото - ми бачили подібне у фільмах про ФБР і CSI;
  • коли потрібно збільшити різкість фото в умовах димки і туману - можна використовувати для інтерполяції та вимірювання відстані між об'єктами при різних атмосферних умовах у розробці візуальних систем для безпілотного транспорту.

Як нейромережа поліпшує фотографії. Приклади open source рішень

Глибоке навчання (Deep Learning) - відносно нова галузь машинного навчання (Machine Learning), і його можна ефективно застосовувати для обробки зображень. Різні типи нейронних мереж можна використовувати для вирішення різних завдань щодо поліпшення якості зображення, наприклад, для видалення шуму, відновлення зображень із високою роздільною здатністю з даних зображень із низьким дозволом (супер-дозвіл).

Ми підібрали кілька цікавих рішень і розповімо, як глибока нейромережа-фоторедактор допоможе вам автоматично покращувати якість картинок.

Deep Photo Enhancer — улучшение картинок плохого качества с помощью нейронок

Deep Photo Enhancer використовує GAN (Generative Adversarial Networks - генеративно-змагальні нейронні мережі) і непарні алгоритми навчання. Deep Photo Enhancer пропонує метод поліпшення зображень на основі вивчення фотографій. Нейрони вчаться знаходити загальні характеристики в наборі зразків зображень (наприклад, рівень контрастності, баланс білого, колірна гамма) і потім застосовувати ці характеристики до поліпшеного зображенню так, щоб зберігався сенс оригінальної картинки. Цей метод вимагає використання вихідних зображень високої якості, і його можна у подальшому персоналізувати.

Супер-разрешение фото с использованием Neural Enhance

Алгоритми глибокого навчання дозволяють навчити нейронну мережу збільшувати зображення в 2 або навіть 4 рази, що дозволяє підвищити якість знімків із низьким розширенням. Глибокі нейронні мережі (GAN, глибокі рекурсивні згорткові нейронні мережі (DRCN)) здатні відновлювати фотореалістичні текстури із зображень із дуже низьким розширенням: нейронна мережа "домальовує" деталі за результатами навчання на прикладах зображень. Це не на 100% точна реконструкція фотографій у HD, однак результати вражають.

Використання нейромереж для покращення зображень

Джерело: https://github.com/

 

IBM/MAX Image Resolution Enhancer — нейросеть для восстановления сжатых фото

Ця модель, що розгортується, дозволяє збільшувати розмір пікселізованого зображення в 4 рази, одночасно генеруючи фотореалістичні деталі, використовуючи GAN (SRGAN-tensorflow), навчений на 600 тисячах знімків OpenImages V4. Ідеальним вхідним зображенням повинен бути PNG-файл розміром від 100x100 до 500x500 пікселів, бажано без постобробки. Модель може генерувати деталі з пікселізованого зображення, але вона не підходить для корекції розмитих зображень.

Автоматичне покращення фото

Джерело: https://github.com/

Ми в Evergreen використовуємо TensorFlow - фреймворк машинного навчання з відкритим вихідним кодом - для навчання нейронних мереж і давно працюємо з цією системою, щоб реалізувати індивідуальні завдання візуального пошуку і розпізнавання об'єктів у проектах наших клієнтів. Хочете дізнатися більше про нашібізнес-кейсах? Зв'яжіться з нами якомога швидше.

Комерційні програми для автоматичної обробки фото

Загалом ми можемо описати їх як алгоритми "розумної" автоматизації, що дозволяють підвищувати якість окремих зображень і серій фотографій. Користувачі самі вибирають автоматичні фільтри, можуть налаштувати їх вручну на свій розсуд, зберегти ці попередні сети і використовувати їх замість ручного редагування.

Deep Image — повышение разрешения картинки без потери качества

Deep Image - програмне забезпечення для збільшення дозволу зображення на основі АІ, що використовує нейронні мережі (CNN і GAN) для видалення JPG артефактів і зворотного перетворення зображення, відновлення його майже до вихідного якості. Програма також дозволяє збільшити дозвіл і розмір картинки в 2 і 4 рази: нейронна мережа розраховує, як має виглядати збільшене зображення, щоб зберегти його якість. API Deep Image можна інтегрувати з сайтом, додатком або впровадити в робочий процес.

Luminar — універсальний AI-мультитул для покращення фото

Працює окремо і як плагін. Поряд із потужним функціоналом для редагування, програма містить набір інструментів для підвищення якості фото на базі АІ, які вміють визначити і фокусуватися на конкретних областях зображення: AI Sky Replacement (заміна малюнка неба на знімку), AI Skin Enhancer & Portrait Enhancer (для обробки портретів ), AI Augmented Sky Tool (корекція неба), Sunrays (додавання реалістичних сонячних променів до зображення), AI Structure (визначення областей, що можуть виглядати більш насиченою, і поліпшення тільки їх), AI Accent tool (вибіркові коригування), Smart Contrast (збереження кольорів і деталей, створення більш реалістичного текстурованого зображення). Можна також видаляти об'єкти з фото, окремо виділяти яскравість зелені та багато іншого.

Fotor — заміна Photoshop з елементами AI

Fotor - ще один онлайн-фоторедактор для професійних фотографів і любителів, що дозволяє застосовувати фільтри, автоматичні ефекти та швидко редагувати зображення. Він містить базові та просунуті інструменти для поліпшення зображення, у тому числі HDR-фільтри, художньо оформлений фон, текстури та багато іншого. Додаток від Fotor - GoArt - використовує АІ для перетворення фотографій у стилі творів класичного живопису: імпресіонізму, фовізму, дадаїзму та інших течій.

Remini — восстановление фото с помощью AI-алгоритмов

Популярна програма для поліпшення фото, створена для відновлення старих, розмитих або знімків низької якості, зроблених на стару камеру чи мобільний телефон, і підвищення їхньої чіткості. Remini також може відновити розмите відео з високою чіткістю - для зручного перегляду на великих екранах.

Додаток використовує ультрасучасну генеративную технологію АІ і не вимагає ручного введення при редагуванні зображень. На відміну від інших програм цього класу, в ньому є попередньо встановлені процеси: користувачам залишається тільки вибрати фотографію, яку вони хотіли б відретушувати. Крім поліпшення картинок, програма дозволяє редагувати Селфі в режимі реального часу і пропонує деякі інші цікаві функції, наприклад, перетворення фото в малюнок.

Замість висновків

Засоби автоматичної обробки зображень на основі АІ, що використовують алгоритми глибокого навчання, можуть допомогти вам у розробці інтелектуальних додатків, впровадженні елементів комп'ютерного зору, виявленні та розпізнаванні об'єктів і дій на зображеннях і відеозаписах.

Наша команда Evergreen уже багато років успішно застосовує технології штучного інтелекту для візуального пошуку, розпізнавання осіб і об'єктів при створенні проектів у різних сферах бізнесу. Ми можемо розробити, підтримати і масштабувати кастомний продукт для клієнта: побудувати MVP на основі рішення з відкритим вихідним кодом у короткі строки й економічно ефективно, підтримувати і розвивати проект на кожному етапі його зростання.

Шукаєте рішення, як поліпшити якість зображень для вашого проекту? Хочете використовувати алгоритми глибокого навчання для обробки зображень, розпізнавання образів або додати інші елементи комп'ютерного зору до вашого продукту? Звертайтеся.

27.07.2020
Зображення, використані в статті, були взяті з відкритих джерел і використовуються як ілюстрації.