«Яндекс» научился искать не по форме, а по смыслу

«Яндекс» начал использовать нейронные сети для поиска. Машинное обучение теперь используется для поиска по запросам, которые встречаются редко, и по ним нет пользовательской статистики. 

Такие запросы, как правило, выглядят примерно как «фильм где человек сажал картошку на другой планете». В нем нет слова «Марсианин», но человек хотел бы найти именно его. 

Нейронные сети тренируют при помощи положительных и отрицательных примеров. «Каждый пример — пара „запрос — заголовок“. Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает „понимать“ смысловое соответствие между запросом и заголовками страниц», — рассказали в «Яндексе». 

Все запросы и заголовки страниц в базе данных представлены в виде векторов. В двумерном пространстве это выглядит вот так, но в «Яндексе» используется многомерное пространство.

Про то, как обучали нейронные сети, «Яндекс» рассказал на «Хабрахабре». 

Google также использует нейронные сети для поиска наиболее подходящих ответов на запросы пользователя. В феврале 2016 года про это подробно рассказывал журнал Wired.

Нейронные сети широко используются в разных сервисах. Например, алгоритм выдачи Facebook основан на машинном обучении, равно как и поиск спама в почте Google или обработка картинок в приложении Prisma.