AutoML Google и новые возможности машинного обучения 8 AutoML Google и новые возможности машинного обучения 9 AutoML Google и новые возможности машинного обучения 10

AutoML от Google и новые возможности машинного обучения

#Машинное обучение #Нейронные сети

AutoML от Google – новый облачный продукт от гугл, объединяющий различные готовые и обученные до определенного уровня инструменты машинного обучения. Он базируется на алгоритме нейронно-архитектурного поиска Neural Architecture Search (NAS). Этот алгоритм не просто распознает изображения, он ищет в облаке наиболее подходящую для решения конкретной задачи нейронную сеть и использует её.

Auto ML объединяет множество инструментов, позволяющий быстро натренировать нейронные сети до нужного уровня. Такие инструменты позволяют мгновенно использовать возможности искусственного интеллекта для решения ежедневных бизнес-задач.

Вот такие задачи решает Google Auto ML:

    • Автоматическая подготовка и обработка данных
    • Подбор характеристик и их изъятие, мета-обучение и трансферное обучение
    • Автоматический трансферный подбор
    • Автоматическй выбор модели
    • Автоматическая проверка на наличие проблем
    • Обнаружение утечки
    • Обнаружение ошибок
    • Автоматический анализ результатов
    • Автоматический выбор и оценка метрики/процедур валидации

С помощью этой готовой системы можно упростить обучение своих систем, даже имея ограниченные знания в технологиях и машинном обучении.

Облачные продукты Google Auto ML включают три направления:

    • AutoML Vision
    • AutoML Natural language
    • AutoML translation

Упрощенное визуальное распознавание с Auto ML Vision от Google

AutoML Vision включает в себя распознавание лиц, меток, почерка, логотипа, модерацию контента, оптическое распознавание символов и пр. Можно использовать API или веб интерфейс, чтобы автоматически изымать информацию из любого типа изображения, вроде селфи или группы персонажей.

AutoML Vision

https://cdn-images-1.medium.com/

Распознавание лица включает в себя массу различных меток:

Распознавание лица включает в себя массу различных меток:

https://cdn-images-1.medium.com/

Однако при всех возможностях продукта вы не можете изменить тот факт, какие объекты идентифицируют Google Vision, поскольку они обучены на распознавание только конкретных групп изображений. И не обучены, например, на распознавание пистолетных гильз.

Google Vision

https://cdn-images-1.medium.com/

Неизвестно останется ли так и дальше и является ли ограничение распознавания специальной задумкой производителей в целях общественной безопасности. Или же постоянное развитие системы позволит со временем покрыть абсолютно все типы изображений.

Google также изменили сам принцип обучения нейросети. Если раньше сеть обучали на сотнях фотографий, то теперь можно снять видео. Оно воспринимается также, как и фото – просто система сама делит его на кадры – и получаем нужный предмет с различных ракурсов и перспектив.

Самый необычный способ использования этого инструмента, который мы нашли – для оценки и отслеживания изменений в окружающей среде. Классификаторы Google Cloud используются в техасском научно-исследовательском институте Гарта TAMUCC (Texas A & M - Корпус-Кристи) для определения атрибутов в больших наборах данных изображений береговой линии вдоль Мексиканского залива.

 Google Cloud

https://storage.googleapis.com/

Для многих ученых отслеживание изменений береговой линии – эффективное средство мониторинга последствий изменения климата. И пользовательский интерфейс AutoML Vision помогает исследователям TAMUCC повысить точность своих моделей, упрощая построение пользовательских моделей классификации изображений на основе собственных данных изображений.

AutoML Vision

https://storage.googleapis.com/

Где ещё может использоваться: в агросекторе, как мы описывали в статье «Как собирать в 2,5 раза больше урожая при помощи искусственного интеллекта», в контроле качества в промышленности и даже обнаружении исчезающих видов. Возможно, в вашем бизнесе есть сценарий использования, который может использовать возможности классификации изображений в AutoML Vision?


Обращайтесь, мы в Evergreen c удовольствием поможем воплотить ваши задумки в жизнь.

Работа с текстами при помощи Auto ML Natural Language Processing


AutoML Natural language Toolkit – один из новых облачных продуктов от Google, позволяет классифицировать контент в конкретные категории. Система способна извлекать структуры и значение текста благодаря умениям обученной машины.


Распознавание текстов включает анализ синтаксиса, классификацию контента, распознавание элементов, анализ настроений. Это позволяет пользователю вытаскивать значение текстов из имейлов, чатов или социальных медиа при помощи анализа элементов и настроений.


Для чего можно использовать:

  • Для поиска информации (именно благодаря этой системе Google анализирует ваш запрос и выдает релевантные результаты)
  • Извлечение информации (например, при поиске нужных писем в вашем Gmail-аккаунте по использованию фильтр-слова)
  • Машинный перевод или AutoML translation (используется Google Translate – дает возможность делать переводы по API с различных языков, переводит как любую произвольную строку, так и большие текстовые массивы)
  • Упрощение текста (на этом принципе строится работа сервиса Rewordify, упрощающего сложные термины в предложениях без потери смысла)
  • Анализ настроений (его использует Hater News, чтобы показывать худшие новости)
  • Подытоживание текста (так работает Smmry – достаточно ввести в приложение статью или любой длинный текст, как оно предложит короткую выжимку написанного в нем материала)
  • Спам-фильтр (автоматическое определение в спам писем, содержащих слова-триггеры)
  • Автоматическое прогнозирование (то самое, благодаря которому Google предлагает вам различные варианты ещё до того как вы закончите вводить свой запрос)
  • Автоматическое исправление (используется в Grammarly для исправления слов, написанных с ошибками или неверно употребленных в контексте предложения)
  • Распознавание речи (Google WebSpeech или Vocalware)
  • Natural Language Generation (текстовое описание картинки или происходящего на видео). BBC уже назвали такое явление робожурналистикой и опубликовали статью-пример того как искусственный интеллект описал спортивный матч, снятый на видео.

Grammarly

В практическом применении анализ текстов позволяет влиять на общественные настроения (исходя из уже существующих настроев), экономить время на поиск нужной информации, быстрее обрабатывать большие массивы текстов и извлекать из них суть.

На сегодня Google AutoML Natural language Toolkit – доступная услуга, которая позволяет пользователю создать обученную модель, которая может совершать необходимые действия с текcтом.

Единственный минус большинства этих возможностей – пока что они доступны и работают в полной мере только на английском языке. Если вам необходимо создать подобный сервис на русском, украинском или других языках, обращайтесь – возможности Evergreen помогут реализовать вашу задумку.

Обработка больших данных с AutoML Data science

Одно из направлений облачных продуктов Google Auto ML наряду с Auto ML Vision и Auto ML NLP. Набор инструментов Google AutoML Data Science Toolkit, созданный для работы с большими данными объемами данных, быстро ширится и активно используется в мире data science. Чтобы продемонстрировать каким именно образом работают инструменты, возьмем за образец нейросеть, созданную японским программистом Кэндзи Дои.


Задача нейросети: по фотографии рамена определить в каком ресторане его приготовили. Для человека эта задача практически невыполнима. Однако здесь огромную роль играет свойство нейросети находить незаметные человеческому глазу закономерности.

Google AutoML Data Science Toolkit

https://cdn.neow.in/

Кэндзи Дои предположил, что блюдо будет немного отличаться в зависимости от многих факторов:

    • Повар, который его приготовил
    • Используемых продуктов
    • Инструментов повара
    • Температуры/влажности на кухне
    • Определенный тип сервировки
    • Размер порций и пр.

Для обучения нейросети программист использовал более 48 тысяч фотографий рамена из 41 ресторана, сопоставив каждую фотографию с конкретным заведением. Готовый набор данных составил 1170 фотографий рамена относительно каждого раменного ресторана. Всего сутки тренировки нейросети и точность распознавания составила 94,5%.

Таким же образом можно запрограммировать нейросети на классификацию любых брендовых товаров, как сделал японский маркетплейс Mercari. Таким образом, используя систему работы в большими данными от Google Auto ML они добились точности распознавания продуктов 91,3%, что на 16% больше, чем позволяла сделать нейросеть, которой они пользовались ранее.

Понравились описанные здесь инструменты? Хотели бы разработать что-то похожее для своих потребностей или адаптировать уже существующие под потребности вашей компании? Обращайтесь, с удовольствием вам поможем.

29.03.2019
Используемые в статье картинки взяты из открытых источников и используются как иллюстрации.
Хотите обсудить ваш проект или заказать разработку?
Отправить
Цей сайт є українською мовою. Ви можете переключити мову у меню, або зробити це зараз.