Робот-повар учится воссоздавать рецепты, просматривая кулинарные видеоролики

Британские ученые обучили робота-повара смотреть и учиться на кулинарных видеороликах, а также воссоздавать само блюдо, сообщает Кембриджский университет. Результаты работы опубликованы в журнале IEEE Access.
С помощью нейросети ученые запрограммировали своего робота-шефа «поваренной книгой» из восьми простых рецептов салатов. Нейросеть могла различать фрукты и овощи, которые использовались в рецептах, а также кухонные приборы. После просмотра видеоролика, в котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и сделать по нему блюдо.
Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты, такие как нож и ингредиенты, а также руки, кисти и лицо человека. И рецепты, и видео были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.
Правильно определяя ингредиенты и действия человека-повара, робот мог понять, какой из рецептов готовился на видео. Робот мог сделать вывод, что если человек держит нож в одной руке, а морковь в другой, то морковь сейчас нарежут.
Из 16 просмотренных видео робот распознал правильный рецепт в 93% случаев, хотя он обнаружил только 83% действий человека-повара. Робот также смог обнаружить, что небольшие изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Также робот правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.
Читать полностью: https://scientificrussia.ru/articles/robot-povar-ucitsa-vossozdavat-recepty-prosmatrivaa-videoroliki-o-ede