Серед користувачів соцмереж відео користується набагато більшим успіхом, ніж картинки або текст. Із розвитком швидкості та якості підключення до інтернету зростає популярність онлайн-контенту та потокових відеосервісів: YouTube, Netflix, Hulu, HBO Go, Amazon Prime. Тому бренди й окремі медіаперсон, підхопивши цю тенденцію, почали активно випускати візуальний контент у високій якості, щоб відповідати вимогам аудиторії.

Для медіасфери важливо те, що зображення або відео у форматі Ultra HD можна редагувати без втрати якості картинки. До речі, про технології поліпшення зображень ми вже писали у попередній статті. Але як же старі фільми з низькою роздільною здатністю, рекламні ролики, домашнє відео? Чи можна поліпшити їхню якість для комфортного перегляду на сучасних екранах? Давайте це з'ясуємо.

Як поліпшити якість відео шляхом зміни розширення  

Для початку перерахуємо найбільш поширені типи розширення і терміни. Розширення зазвичай наводиться у форматі ширина х висота екрану у пікселях:

1920 x 1080: Full HD (High Definition)
2048 x 1080: 2K (Digital Cinema)
3840 x 2160: 4K (UHD - Ultra High Definition)
4096 x 2160: 4K (Digital Cinema)
7680 x 4320: 8K (UHD)
15360 x 8640: 16K (UHD)

На сьогодні загальноприйнятий стандарт дозволу - 4K, і ми рухаємося у бік 8K екранів. Youtube почав підтримувати 4K для завантаження відео ще у 2010 році - тоді багато виробників почали випускати недорогі камери у цьому форматі. Від тоді дисплеї і смарт-телевізори, що підтримують 4K, значно впали в ціні та завоювали популярність. Незважаючи на те, що людське око навряд чи фізично може помітити різницю в зображенні з якістю понад 4K, гонка за більш високою роздільною здатністю триває.

Найбільш повно відчути можливості своїх екранів власники Ultra HD дисплеїв можуть при перегляді нативного 4K контенту. А відео з більш низьким дозволом доводиться розтягувати на цілий екран адже, наприклад, зображення у 1080p (Full HD) містять всього чверть пікселів від картинки в 4K. Масштабувати зображення можна відразу на смарт-телевізорі, за допомогою медіаплеєра або використовувати спеціальні програми, щоб поліпшити якість відео.

Що вміє програма для покращення якості відео?

Двома словами, поліпшення відео (Video Enhancement) - це процес підвищення якості відеозапису. Професійні відеоредактори зазвичай підтримують такі функції:

- масштабування (апскейл);
- поліпшення освітлення;
- стабілізація;
- шумозаглушення;
- регулювання яскравості;
- обрізка (кроп), поворот відео, дзеркальне відображення;
- фільтри;
- ефекти й анімація.

Редагування відео для поліпшення якості може подарувати вашій старого запису друге життя.

Збільшення відео (апскейлінг) - це процес перетворення медіа з більш низьким розширенням у більш високе. Базове масштабування - це спосіб «розтягнути» зображення більш низького дозволу на більший екран, що зазвичай супроводжується погіршенням якості і втратою деталей. Щоб збільшити HD-зображення на 4K екран, доведеться заповнити додаткові 6 мільйонів пікселів. Тому програма для апскейла повинна визначити, що відображатиме кожен із цих нових пікселів, з огляду на те, що показують сусідні (інтерполяція).

Інструменти для покращення якості відео

Покращуємо відео за допомогою AI: cупер-розширення

Хоча різні алгоритми дають різну якість зображення, інтерполяція, як правило, покращує картинку у низькій роздільній здатності. Але спроба «домалювати» відсутні пікселі у більшості випадків впадає в очі. У результаті зображення займає весь 4K екран, але може виглядати розмитим або приглушеним, або мати артефакти (шумові ореоли, квадратики). При збільшені роздільної здатності відео за допомогою штучного інтелекту використовується зовсім інший підхід.  

Отримуючи картинку у низькій роздільній здатності, алгоритм глибокого навчання (зазвичай це генеративная нейронна мережа) пророкує зображення більш високої роздільної здатності, яке після стиснення б виглядало, як наш оригінал на вході. Щоб досягти такого рівня точності, нейронні мережі повинні бути попередньо навчені на мільйонах зображень. При обробці відео низького дозволу АІ-модель може «домалювати» втрачені пікселі, аналізуючи кожен кадр і підвищуючи якість експоненціально. Це дає неймовірну чіткість і детальність картинки, що не зможе відтворити жоден традиційний апскейлер: від реалістичних деталей до більш чистого та плавного відтворення рухів.

Моделі AI постійно вдосконалюються, їхня точність зростає з кожним циклом навчання. Крім того, різні моделі глибокого навчання застосовуються для поліпшення різних типів відеоматеріалів. А ще нейронні мережі можна комбінувати: часом це дає вражаючі результати.

Так, штучний інтелект допоміг збільшити знамените «Прибуття поїзда на вокзал Ла-Сьота» (L'arrivée d'un train en gare de La Ciotat) до 4К. Це французький короткометражний чорно-білий документальний фільм 1896, знятий братами Люм'єр. Незважаючи на те, що вихідне зображення було збільшено на 600%, алгоритм на основі AI (DAIN і Topaz Gigapixel AI) зміг видати чітке та чисте зображення без видимого зерна, артефактів і спотворень. Здається, що запис сучасна - тільки чорно-біла.

Обробка відео нейромережею. Короткий огляд програм

На відміну від традиційних інструментів (які не базуються на штучному інтелекті) підвищення якості відео - більш складних і часом вимагають професійних навичок редагування - алгоритми штучного інтелекту можуть автоматично поліпшити якість ваших відеоматеріалів. Наведемо кілька прикладів таких рішень.

DVDFab Enlarger AI — супер-розширення за допомогою нейронок

Цей сервіс для поліпшення відео використовує технологію супер-дозволу на основі глибокого навчання і може підвищити якість відео з 480p (SD) до 1080p (Full HD), і з 1080p до 4K. AI-движок на основі глибокого навчання (deep learning) вивчає й аналізує відео низького дозволу покадрово і може створювати та заповнювати ідентичні сусідні пікселі, збільшуючи кадр на 300%. У програмі також використовуються інтелектуальні алгоритми корекції кольору.

DVDFab Enlarger AI заснований на фреймворку TensorFlow. Для навчання нейромереж були використані мільйони відео, фільмів і телепередач. Крім того, програма використовує новітні технології GPU-прискорення CUDA і cuDNN на базі графічних карт NVIDIA.

 

PicaVue (GDFLab Video Upscaler) — восстановление видео и разрешение до 16K

GDFLab Video Upscaler — це хмарний сервіс для поліпшення якості відео. Розробники обіцяють апскейл відео та зображень до 16K шляхом одночасного збільшення роздільної здатності та якості:

  • 270p ~ 360p до 720p або FHD;
  • 540p до 4K UHD;
  • 4K FHD до 16K.

Штучний інтелект використовується для усунення шумів і відновлення деталей, недостатньо чітких на оригінальному документі. Крім того, за допомогою GDFLab Video Upscaler можна відновити старі відео - з більш чистою картинкою і в кращому розширені. Програма може застосовуватися для відео з камер спостережень, зйомок, соціальних мереж, а також у будь-яких сферах, пов'язаних із відеозаписом. Користувачі можуть завантажувати свої зображення та відео одночасно на всі основні платформи: YouTube, Facebook, LinkedIn, Twitch та інші.

 

Topaz Video Enhance AI — реалістичні деталі, згенеровані нейромережею

Ми згадували про цей відеоредактор, коли писали про відновлення документального фільму 1896 року до 4K. Topaz Video Enhance AI вважається однією з кращих програм для поліпшення якості відео. Він може підвищити розширення до 8K, зберігаючи реалістичність деталей і плавність рухів.

Video Enhance AI може збільшувати дозвіл із DVD, DSLR, ігр і HD. Ви також можете поліпшити якість старого відео для сучасного використання, наприклад, рекламних роликів, музичних кліпів, фільмів або YouTube записів.

Topaz Video Enhance AI використовує глибоке навчання для екстраполяції деталей з відеоматеріалу. Працює на основі навчання нейромережі: вона аналізує тисячі пар відео, щоб встановити, яким чином при стисненні губляться деталі зображення. Нейромережа генерує відсутні деталі та створює реалістичну картинку на основі інформації з окремо взятого відео.

Замість висновків

Збільшення та поліпшення відео за допомогою AI створюють ефект, що, напевно, можна порівняти з відчуттями короткозорої людини, яка одягла окуляри: виявляється, світ сповнений деталей, у дерев є листя, а дорожні знаки, вивіски та номери автобусів можна легко прочитати. На даний момент Full HD і 4K - все ще найпопулярніші формати розширення для перегляду відео в інтернеті та на ТВ, але верхню межу якості картинки поки не встановлено.

У команди Evergreen є багаторічний досвід використання TensorFlow - системи машинного навчання з відкритим вихідним кодом - для створення та впровадження проектів на базі AI у багатьох областях бізнесу.

Ми спеціалізуємося на розробці персоналізованих рішень для клієнтів і можемо побудувати MVP (мінімально життєздатний продукт) швидко й економічно ефективно, що у майбутньому можна розвивати та масштабувати у повноцінний продукт.

Якщо ви зацікавлені в розробці надійного рішення на основі сучасних технологій і AI-алгоритмів для вирішення ваших бізнес-задач, ми готові вам допомогти. Просто зателефонуйте нам або заповніть форму, і наші фахівці зв'яжуться з вами для консультації.

28.07.2020
Зображення, використані в статті, були взяті з відкритих джерел і використовуються як ілюстрації.