«Яндекс» запустил новую версию поиска. В ее основе лежит поисковый алгоритм «Королев» — с помощью нейронной сети он сопоставляет смысл запроса и веб-страницы. Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы еще более точно, рассказали в региональном представительстве «Яндекса» в Сибири.
Первый шаг к поиску по смыслу «Яндекс» сделал в прошлом году, когда внедрил алгоритм «Палех» — он в реальном времени сопоставляет смысл запроса и заголовка веб-страницы. «Королев» использует нейронную сеть, которая анализирует не только заголовок, но и всю страницу целиком. «Это сложная вычислительная задача, поэтому «Яндекс» определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч», — поясняют разработчики. Другая важная особенность «Королева» в том, что помимо сопоставления смысла запроса и страницы он учитывает еще и смысл других запросов, по которым люди на нее переходят.
Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры дает обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешел на страницу и просматривал ее какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, «Яндекс» учится понимать смысловые связи. Например, он поймет, что в запросе [картина, где небо закручивается] речь идет о картине Ван Гога, а в запросе [ленивая кошка из Монголии] — о мануле.
«Мы верим, что использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Но без помощи людей тут не обойтись. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи «Яндекса», — говорится в сообщении в блоге «Яндекса».
«Поиск — это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи, — поясняет Андрей Стыскин, руководитель «Поиска Яндекса». — В «Королеве» мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы».