«На изображении может находиться: один или несколько человек и шляпа» Instagram и Facebook понимают, что изображено на фотографии — многие узнали об этом из-за сбоя в их работе

Пользователи Facebook и принадлежащих ему Instagram и WhatsApp 3 июля столкнулись со сбоями в работе сервисов. В случае с Facebook и Instagram неполадки привели к необычному эффекту. Вместо фотографий соцсеть показывала серые квадраты с довольно точными текстовыми описаниями изображений. То есть в том виде, в каком алгоритмы сервисов благодаря машинному анализу воспринимают пользовательские снимки.

Издание о технологиях The Verge сравнило вызванный сбоем эффект со сценой из «Матрицы», в которой главный герой видит окружающую реальность как зеленые строчки программного кода.

На описания, сделанные алгоритмами, обратили внимание пользователи соцсетей.

При этом сервисы составляют описания на языке, выбранном пользователем.

Алгоритмы определяют:

• время суток;
• место съемки — на улице или в помещении;
• наличие и количество людей в кадре, а также то, стоят они или сидят;
• человеческие эмоции (улыбаются ли герои снимка?);
• алгоритмы отличают ребенка от взрослого;
• а кошку — от собаки;
• сервисы угадывают тип фотографии (знают, что такое селфи).

Описания снимков звучат примерно так: «На данном изображении может находиться: три человека, люди улыбаются, люди стоят в помещении». Или — «На данном изображении может находиться: один или несколько человек и шляпа».

Facebook как минимум с 2016 года применяет машинное обучение для анализа фотографий. Например, соцсеть подсказывает, кто из пользователей находится на изображении, даже если на него нет тега. Как указывает TJournal, Instagram в 2018 году запустил функцию «пересказа» фотографий для людей с нарушениями зрения. Она зачитывает составленные алгоритмами теги.

Кроме того, существуют специальные расширения для браузера Google Chrome. Они помогают узнать, какими тегами сервисы помечают пользовательские снимки.

The Verge уже запросил комментарий у Facebook о том, используются ли данные, содержащиеся в описаниях, для таргетированной рекламы, но ответа пока не получил.