Firebase ML kit: Коробкові рішення для машинного навчання мобільних і веб-додатків 8 Firebase ML kit: Коробкові рішення для машинного навчання мобільних і веб-додатків 9 Firebase ML kit: Коробкові рішення для машинного навчання мобільних і веб-додатків 10

Коробкові рішення для машинного навчання мобільних і веб-додатків - огляд Firebase ML kit

#Машинне навчання

Ми багато писали про машинне навчання і як застосовувати його у веб сайтах із користю для вашого бізнесу. Однак чим далі, тим більше відвідувачів вважають за краще взаємодіяти з компаніями через додатки на смартфонах і планшетах: для них це швидше і зручніше. А класичні AI-продукти занадто громіздкі для роботи з мобільними та веб додатками.

Тому виникла потреба в напівготових рішеннях, які можна впровадити в функціонал будь-якого продукту і просто використовувати. Одне з таких рішень, Firebase ML Kit недавно з'явилося на ринку на етапі бета-тестування. Давайте подивимося що воно пропонує, для кого може бути корисним і як ми можемо зробити краще.

Для чого потрібні коробкові продукти machine learning

Якісне машинне навчання для вирішення ваших завдань – справа тривала, трудомістка й затратна. Завдання коробкового рішення – надати вже готовий набір функцій, який можна просто інтегрувати в мобільний або веб додаток, внісши кілька рядків коду і доучувати його в процесі роботи.

Наочно продемонструємо різницю між навчанням AI «з нуля» і використанням готового «коробкового» продукту.

різниця між навчанням AI «з нуля» і використанням готового «коробкового» продукту

Перша спроба створити готове коробкове рішення вже відбулася. У 2018 році Firebase продемонстрували свою нову розробку: коробкові продукти для спрощення машинного навчання мобільних пристроїв. Згідно із задумом Firebase ML Kit для систем Android і iOS – зручний і простий у використанні пакет, що включає в себе відразу кілька функцій:

    • Розпізнавання тексту
    • Сканування штрих-кодів (магазини без продавців)
    • Розпізнавання облич
    • Розпізнавання точок на місцевості
    • Визначення міток
    • Визначення мови

Всі функції продукту можуть бути доступні як у додатку, так і в хмарі через API (в іншому випадку обробка запиту вимагатиме більше часу, але дасть більш точний результат). Оскільки продукт іще новий і знаходиться на стадії бета-тестування, він вимагає допрацювань. Але ми вирішили вже сьогодні подивитися на його можливості і де їх можна використовувати.

Розпізнавання тексту

Цю функцію, а разом із нею і розпізнавання штрихкодів компанія FitNow впровадила у власний додаток Lose It! Це програма, яка рахує калорії. Працює просто: достатньо вбити назву продукту або ж навести камеру на готову магазинну їжу зі штрихкодом, а додаток сам розпізнає що перед ним і проаналізує дані.

Завдяки системі розпізнавання тексту додаток знаходить необхідні дані у величезній текстової базі продуктів із зазначенням калорійності кожного з рецептів, веде постійний облік спожитих калорій, показує скільки ще можна з'їсти за сьогодні. На даний момент додаток добре працює з мовами, написання яких здійснюється латиницею, тому недоступно для нашого ринку.

Як можна поліпшити: ми знаємо як незручно щоразу записувати всі з’їдені продукти. Однак можна скористатися звичкою сучасних людей усе фотографувати. Додавши в коробковий продукт можливість візуального пошуку, можна буде автоматично ввести в додаток інформацію по всіх продуктах, які знаходяться в тарілці. У випадку з їжею в кафе/ресторані можна наводити камеру на відповідний пункт меню, де також розписано докладний склад страви та її вагу.

Сканування штрихкодів і QR кодів

Turbotax – додаток, що спрощує сплату податків. Додаток використовує можливість API сканування штрихкодів: коли користувач сканує штрихкод свого водійського посвідчення, програма витягує з нього всі необхідні дані. Такий підхід зменшує ризик помилки при введенні даних вручну.

Досвід Evergeeen: подібний підхід ми використовували при створенні системи розпізнавання техпаспортів для оформлення страховки на авто і системи розпізнавання закордонних паспортів.

Розпізнавання облич

Системи розпізнавання облич особливо популярні в додатках соціальних мереж: Інстаграм, Снепчат, Фейсбук. Кожен із них в тій чи іншій мірі використовує можливості розпізнавання облич. У тому числі: розпізнавання особи на зображенні, визначення на фото таких елементів як ніс, очі, рот; емоцій: щастя, смуток, гнів і т.д. Також система дозволяє визначити контури і риси обличчя, редагувати фотографії і зображення облич на відео.

Розробку Firebase ML Kit вже використовує в своїй роботі американська компанія VSCO, основним продуктом якої є додаток для обробки фотографій VSCO Cam.

Як іще можна використовувати: з огляду на шалену популярність емоджі серед молоді, поліпшену і довчену систему розпізнавання облич можна використовувати для створення більш яскравих і цікавих емоджі. А при впровадженні цих можливостей в UX вашого сайту, можна проводити яскраві промоакції фестивалів, кінопрем'єр, нових фешн-колекцій та ін.

Розпізнавання точок на місцевості

Знати точне місце розташування того чи іншого об'єкта буває корисно в багатьох випадках. Наприклад, туристам. Або, що більш цікаво через незвичайного і вузькоспрямованого підходу – рибалкам.

Так, компанія Fishbrain створила додаток, що дозволяє рибалкам дізнаватися точні місця для лову того чи іншого виду риби, ділитися враженнями, визначати кращу наживку під кожен вид риби і навіть дивитися погоду перед виходом на риболовлю.

Компанія використовує напрацювання Firebase ML Kit для більш точної роботи програми з визначення точок на місцевості.

Де ще можна використовувати: крім рибалок, подібні додатки стануть в нагоді всім людям і держструктурам, діяльність яких вимагає орієнтування на місцевості: лісничим, військовим, підрозділам по боротьбі з браконьєрами, загонам швидкого реагування, поліцейським.

Визначення міток

Визначення міток – процес розпізнавання різних складових елементів на зображенні. Включає в себе безліч видів рослин, тварин, відомих особистостей, персонажів, напоїв, їжі, пам'яток і т.д.

Firebase анонсували, що з система може розпізнати більше 400 міток в форматі інтеграції можливостей Firebase ML Kit в додаток і більше 10 000 при роботі з хмарним сховищем.

Серед перших випробувачів Firebase ML Kit є додаток, якому найбільш підходить їхня функція визначення міток – PicsArt.

Де можна використовувати: сфер застосування маса. У тому числі й підбір образів (одягу), кави, чаю, дизайну інтер'єру за допомогою асоціацій, адже кожна мітка дозволяє розвинути необхідний асоціативний ряд.

Розпізнавання природної мови - NLP / NLU

Розпізнавання мови сьогодні затребуване як ніколи раніше, оскільки мобільні та веб додатки використовують по всьому світу, а їхні користувачі спілкуються абсолютно різними мовами. Розуміння мови ваших користувачів дозволить вам розуміти їхні потреби і краще персоналізувати додаток під їх запити.

Firebase ML Kit на сьогодні розпізнає понад сто мов, написаних латиницею, кирилицею, в'яззю і іншими видами алфавіту.

Як можна використовувати переваги такого додатка? Наприклад, створюючи чат-бот для спілкування з клієнтами по всьому світу. Особливо стане в нагоді великим виробничим корпораціям, підрядники та заводи яких можуть бути розкидані по всіх континентах.

Зацікавили можливості, описані тут? Напишіть нам. Використовуючи багаторічний досвід у сфері машинного навчання, ми готові запропонувати вам коробкові продукти для вашого бізнесу або розробити необхідну версію "з нуля" під ваші потреби.

13.05.2019
Зображення, використані в статті, були взяті з відкритих джерел і використовуються як ілюстрації.
Хочете обговорити ваш проект або замовити розробку?
Надіслати
Цей сайт є українською мовою. Ви можете переключити мову у меню, або зробити це зараз.