AutoML Google і нові можливості машинного навчання 8 AutoML Google і нові можливості машинного навчання 9 AutoML Google і нові можливості машинного навчання 10

AutoML від Google і нові можливості машинного навчання

#Машинне навчання #Нейронні мережі

AutoML від Google – новий хмарний продукт від гугл, який об'єднує різні готові і навчені до певного рівня інструменти машинного навчання. Він базується на алгоритмі нейронно-архітектурного пошуку Neural Architecture Search (NAS). Цей алгоритм не просто розпізнає зображення, він шукає в хмарі найбільш вдалу для вирішення конкретного завдання нейронну мережу та використовує її.

Auto ML об'єднує безліч інструментів, що дозволяє швидко натренувати нейронні мережі до потрібного рівня. Такі інструменти дозволяють миттєво скористатися наявними можливостями штучного інтелекту для вирішення щоденних бізнес-задач.

Ось такі завдання вирішує Google Auto ML:

    • Автоматична підготовка і обробка даних
    • Підбір характеристик і їх вилучення, мета-навчання і трансферне навчання
    • Автоматичний трансферний підбір
    • Автоматичний вибір моделі
    • Автоматична перевірка на наявність проблем
    • Виявлення витоку
    • Виявлення помилок
    • Автоматичний аналіз результатів
    • Автоматичний вибір і оцінка метрики/процедур валідації

За допомогою цієї готової системи можна спростити навчання своїх систем, навіть маючи обмежені знання в технологіях і машинному навчанні.

Хмарні продукти Google Auto ML включають три напрямки:

    • AutoML Vision
    • AutoML Natural language
    • AutoML translation

Спрощене візуальне розпізнавання з Auto ML Vision від Google

AutoML Vision включає в себе розпізнавання облич, міток, почерку, логотипу, модерацію контенту, оптичне розпізнавання символів та ін. Можна використовувати API або веб-інтерфейс, щоб автоматично вилучати інформацію з будь-якого типу зображення, на кшталт селфі або групи персонажів.

AutoML Vision

https://cdn-images-1.medium.com/

Розпізнавання обличчя включає в себе масу різних міток:

Распознавание лица включает в себя массу различных меток:

https://cdn-images-1.medium.com/

Однак при всіх можливостях продукту ви не можете змінити той факт, які об'єкти ідентифікують Google Vision, оскільки вони навчені на розпізнавання тільки конкретних груп зображень. І не навчені, наприклад, на розпізнавання пістолетних гільз.

Google Vision

https://cdn-images-1.medium.com/

Невідомо чи залишиться так і далі і чи є обмеження розпізнавання спеціальною задумкою виробників із метою суспільної безпеки. Або ж постійний розвиток системи дозволить із часом покрити абсолютно всі типи зображень.

Google також змінили сам принцип навчання нейромережі. Якщо раніше мережу навчали на сотнях фотографій, то тепер можна зняти відео. Воно сприймається так само як і фото – просто система сама ділить його на кадри – і отримуємо потрібний предмет з різних ракурсів і перспектив.

Найбільш незвичайний спосіб використання цього інструменту, який ми знайшли – для оцінки і відстеження змін в навколишньому середовищі. Класифікатори Google Cloud використовуються в техаському науково-дослідному інституті Гарту TAMUCC (Texas A & M – Корпус-Крісті) для визначення атрибутів у великих наборах даних зображень берегової лінії вздовж Мексиканської затоки.

 Google Cloud

https://storage.googleapis.com/

Для багатьох вчених відстеження змін берегової лінії – ефективний засіб моніторингу наслідків зміни клімату. І призначений для користувача інтерфейс AutoML Vision допомагає дослідникам TAMUCC підвищити точність своїх моделей, спрощуючи побудову користувальницьких моделей класифікації зображень на основі власних даних зображень.

AutoML Vision

https://storage.googleapis.com/

Де ще може використовуватися: в агросекторі, як ми описували в статті «Як збирати в 2,5 рази більше врожаю за допомогою штучного інтелекту», в контролі якості в промисловості і навіть виявленні зникаючих видів. Можливо, у вашому бізнесі є сценарій використання, який може використовувати можливості класифікації зображень в AutoML Vision?

Звертайтеся, ми в Evergreen c задоволенням допоможемо втілити ваші задуми в життя.

Робота з текстами за допомогою Auto ML Natural Language Processing

AutoML Natural Language Toolkit – один із нових хмарних продуктів від Google, дозволяє класифікувати контент в конкретні категорії. Система здатна екстрагувати структури і значення тексту завдяки вмінням навченої машини.

Розпізнавання текстів включає аналіз синтаксису, класифікацію контенту, розпізнавання елементів, аналіз настроїв. Це дозволяє користувачеві витягувати значення текстів із імейлів, чатів або соціальних медіа за допомогою аналізу елементів і настроїв.

Для чого можна використовувати:

    • Для пошуку інформації (саме завдяки цій системі Google аналізує ваш запит і видає релевантні результати)
    • Витяг інформації (наприклад, при пошуку потрібних листів у вашому Gmail-акаунті за допомогою використання фільтр-слова)
    • Машинний переклад або AutoML Translation (використовується Google Translate – дає можливість робити переклади з API з різних мов, перекладає як будь-який довільний рядок, так і великі текстові масиви)
    • Спрощення тексту (на цьому принципі будується робота сервісу Rewordify, який спрощує складні терміни в пропозиціях без втрати сенсу)
    • Аналіз настроїв (його використовує Hater News, щоб показувати гірші новини)
    • підсумовування тексту (так працює Smmry – достатньо ввести в додаток статтю або будь-який довгий текст, як воно запропонує коротку вижимку написаного в ньому матеріалу)
    • Спам-фільтр (автоматичне визначення в спам листів, що містять слова-тригери)
    • Автоматичне прогнозування (той самий, завдяки якому Google пропонує вам різні варіанти ще до того як ви закінчите вводити свій запит)
    • Автоматичне виправлення (використовується в Grammarly для виправлення слів, написаних з помилками або невірно спожитих в контексті пропозиції)
    • Розпізнавання мови (Google WebSpeech або Vocalware)
    • Natural Language Generation (текстовий опис картинки або того, що відбувається на відео). BBC вже назвали таке явище роботожурналістикою та опублікували статтю-приклад того як штучний інтелект описав спортивний матч, знятий на відео.

Grammarly

У практичному застосуванні аналіз текстів дозволяє впливати на суспільні настрої (виходячи з уже існуючих), економити час на пошук потрібної інформації, швидше обробляти великі масиви текстів і витягати з них суть.

На сьогодні Google AutoML Natural Language Toolkit – доступна послуга, яка дозволяє користувачеві створити навчену модель, яка може здійснювати необхідні дії з текстом.

Єдиний мінус більшості цих можливостей – поки що вони доступні і працюють в повній мірі тільки на англійській мові. Якщо вам необхідно створити подібний сервіс російською, українською або іншими мовами, звертайтеся – можливості Evergreen допоможуть реалізувати вашу задумку.

Обробка великих даних з AutoML Data Science

Один з напрямків хмарних продуктів Google Auto ML поряд з Auto ML Vision і Auto ML NLP. Набір інструментів Google AutoML Data Science Toolkit, створений для роботи з великими обсягами, даних швидко шириться і активно використовується в світі data science. Щоб продемонструвати яким саме чином працюють інструменти, візьмемо за зразок нейромережу, створену японським програмістом Кендзі Дої.

Завдання нейромережі: за фотографією рамена визначити в якому ресторані його приготували. Для людини вирішити цю задачу практично неможливо. Однак тут величезну роль грає властивість нейромережі знаходити непомітні для людського ока закономірності.

Google AutoML Data Science Toolkit

https://cdn.neow.in/

Кендзі Дої припустив, що страва буде трохи відрізнятися в залежності від багатьох факторів:

    • Кухар, який її приготував
    • Використані продукти
    • Інструменти кухаря
    • Температура/вологість на кухні
    • Певний тип сервіровки
    • Розмір порцій і ін.

Для навчання нейромережі програміст використовував більше 48 тисяч фотографій рамена з 41 ресторану, зіставивши кожну фотографію з конкретним закладом. Готовий набір даних склав 1170 фотографій рамена щодо кожного раменного ресторану. Всього добу тренування нейромережі і точність розпізнавання склала 94,5%.

Таким же чином можна запрограмувати нейромережі на класифікацію будь-яких брендових товарів, як це зробив японський маркетплейс Mercari. Таким чином, використовуючи систему роботи в великими даними від Google Auto ML, вони домоглися точності розпізнавання продуктів 91,3%, що на 16% більше, ніж дозволяла зробити нейромережа, якою вони користувалися раніше.

Сподобалися описані тут інструменти? Хотіли б розробити щось схоже для своїх потреб або адаптувати вже існуючі під потреби вашої компанії? Звертайтеся, із задоволенням вам допоможемо.

29.03.2019
Зображення, використані в статті, були взяті з відкритих джерел і використовуються як ілюстрації.
Хочете обговорити ваш проект або замовити розробку?
Надіслати
Цей сайт є українською мовою. Ви можете переключити мову у меню, або зробити це зараз.