Искусственный интеллект от Twitter научился определять содержание видеотрансляций

«Твиттер» разрабатывает технологию, которая позволит в реальном времени определять содержание видеотрансляций и давать пользователям быстрые и точные рекомендации. Прямо сейчас тысячи людей по всему миру ведут интереснейшие видеотрансляции. Благодаря технологии, которую разрабатывают специалисты Twitter, в скором времени вы сможете без труда находить стримы по интересующей вас теме.

Видеотрансляции становятся все более популярными, и для их ведения создано уже несколько мобильных приложений, например, Periscope и Meerkat. Недавно к ним присоединился Facebook Live. Однако поиск по видеотрансляциям пока далек от совершенства — часто авторы видео не могут точно обозначить тему своих трансляций, поскольку не знают заранее, что будут снимать.

В Cortex (подразделение Twitter, которое занимается искусственным интеллектом) создали алгоритм, который способен мгновенно распознавать, что происходит в прямом эфире. Система с легкостью определит, играет ли герой трансляции на гитаре, демонстрирует новый электроинструмент или просто дурачится, развлекая зрителей.

Определение содержания видео в реальном времени — впечатляющая функция. Ранее алгоритмы с успехом опознавали объекты на фотографиях, но решить ту же задачу для онлайн-трансляций намного сложнее. Чтобы добиться стабильно хороших результатов, в этом случае требуются большие вычислительные мощности. Сотрудники Cortex специально для таких целей собрали суперкомпьютер, полностью состоящий из графических процессоров (GPU).

До настоящего времени рекомендации в сервисах просмотра видео основывались на предпочтениях пользователей со сходными интересами. Это достаточно грубое решение проблемы, но и оно неприемлемо для онлайн-трансляций. Команда Cortex стремится создать новую систему рекомендаций, основанную на распознавании содержания трансляций.

Новая технология основана на так называемом глубоком обучении. Такой подход предполагает наличие мощной нейросети, которой демонстрируется множество изображений, снабженных ключевыми словами. Постепенно нейросеть учится отождествлять объекты, которые ей демонстрируются, с их языковыми обозначениями.

Бен Эдельман (Ben Edelman), профессор Гарварда, известный своими публикациями по данной теме, считает, что новая технология может быть полезной не только для системы рекомендаций, но и для фильтрации видео, защищенного авторским правом, а также для исключения нежелательного контента, например, насилия и порнографии.