Искусственный интеллект в поисковых системах Яндекс и Google

Как искусственный интеллект повлиял на поисковые системы

25 июля 2018
10 мин. 14791
image
Алексей Семёнов редактор
Как искусственный интеллект повлиял на поисковые системы
Поисковые системы непрерывно усложняются. Некоторое время назад «Яндекс» и Google стали использовать в своих алгоритмах искусственный интеллект, что в корне изменило подход к SEO. Рассказываем, что это значит и как адаптироваться к новым требованиям.

Что такое искусственный интеллект

Искусственный интеллект (artificial intelligence, AI) — это свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.

Выделяют 3 вида искусственного интеллекта:
Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.
Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.
Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.
На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.

Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:
Голосовом помощнике Google Assistant — для распознавания речи.
Почте Gmail — в блокировщике спама и при написании текста писем.
Переводчике Google — для прямого перевода.
Google Photo — для распознавания изображений.
YouTube — для рекомендаций видеороликов.
Разработки ИИ на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.

В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.

Эволюция поисковых систем

Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.

Этапы развития поисковых систем:

Наивный поиск

Первоначально работал только поиск слов, так называемый инвертированный индекс. Но количество страниц увеличивалось и их стало необходимо ранжировать. Пришлось учитывать частоту слов, их важность в контексте документа с помощью статистической меры tf-idf.

Ссылочное ранжирование

Когда страниц стало еще больше, к системе ранжирования подключили учет важности страницы в зависимости от качества и количества ссылок на нее — PageRank.

Машинное обучение

В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.

Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т.д.

У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.

Искусственный интеллект в алгоритмах поиска

Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.

На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.

Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.

В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.

Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.

Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.

Как изменилось SEO

Внедрение искусственного интеллекта полностью изменило поисковую выдачу и правила игры SEO.

Преимущества:
В выдаче лидируют более качественные ресурсы — спам и переоптимизация ключевыми словами теперь приводит лишь к попаданию под фильтры.
Повысилась точность выдачи по редким и низкочастотным запросам — поисковики понимают простой человеческий язык.
Отпала необходимость в SEO-текстах — теперь нужно отталкиваться от нужд пользователя. Чтобы оптимизировать текст под запросы, стоит использовать LSI-копирайтинг.
Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.
Искусственный интеллект поисковых систем еще развивается и имеет ряд недоработок:
Непрозрачная система ранжирования — пользователь не может уточнить область поиска с помощью подбора словосочетаний, поиск все равно покажет то, что считает нужным.
Размытые результаты поиска — в случае многозначности смысла, робот не может точно определить нужный контекст и поэтому предлагает сразу несколько вариантов.
Нетематические ресурсы в выдаче — зачастую в выдаче присутствуют сайты, которые не относятся к теме запроса или на них размещен контент низкого качества.
Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.
Помимо органической выдачи, искусственный интеллект теперь используется для подбора целевой аудитории и поисковых запросов в контекстной рекламе. В «Яндекс.Директ» эта функция получила название «Автотаргетинг». Кроме того, тестируется автоматическое создание текстов объявлений на основе контента посадочных страниц и сайтов.

Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.

Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.

Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.
Искусственный интеллект уже встроен в механизмы поисковых систем и в будущем его роль будет только расти. Помимо оценки текста, ИИ применяется для распознавания речи, изображений и видео, перевода страниц, оценки качества ссылок и изучения поведения пользователей.
Это значит, что SEO-специалистам нужно работать над сайтом комплексно.

Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.
Для наращивания ссылочной массы использовать крауд-маркетинг и outreach.
Адаптировать сайт под мобильную выдачу.
Оптимизировать сайт под голосовой поиск.
Оптимизировать изображения и видео для быстрого поиска.
Увеличивать количество автоматизированных процессов.
Глубоко прорабатывать каждую нишу: искать запросы, синонимы, изучать конкурентов.
менеджер проектов Uplab
Дмитрий Щербаков
Будущее поисковых алгоритмов будет состоять в понимании интента (смысла) запроса пользователей. И чем дольше обучается ИИ поисковых систем, тем точнее он будет подбирать вам максимально подходящие результаты, несмотря на огрехи в текущей реализации.

Раскрывайте темы ваших материалов глубоко, охватывая как можно больше релевантной семантики под страницы. Чем полнее ваш сайт наполнен качественными экспертными публикациями, тем выше шанс, что он получит трафик с умными алгоритмами от «Яндекс» и Google.

Другие статьи

Обработка и защита персональных данных: инструкция для владельцев сайтов

8 августа 2019

35 мин.

51789

Обработка и защита персональных данных: инструкция для владельцев сайтов

Почему брендинг важен для каждой компании?

30 декабря 2020

10 минут

8592

Почему брендинг важен для каждой компании?

Project Management Office. В чем польза и как его внедрить?

7 февраля 2022

20 мин.

2593

Project Management Office. В чем польза и как его внедрить?

Услуги

Сайты и сервисы

Создаем удобные и эффективные сайты, которые нравятся пользователям и хорошо продвигаются в поисковых системах.

Дизайн

Сервисный дизайн на основе аналитики, метрик и пользовательского опыта — продуктовый подход для создания привлекательных и эффективных решений.

Аналитика

Изучаем бизнес клиента и его конкурентов, подбираем инструменты и способы продвижения.

SEO-продвижение

Увеличиваем органический трафик на сайте и снижаем затраты на привлечение клиентов.

Расскажите
о вашем проекте