Article title
25 июля 2018

Как искусственный интеллект повлиял на поисковые системы
~10 минут на чтение

Поисковые системы непрерывно усложняются. Некоторое время назад «Яндекс» и Google стали использовать в своих алгоритмах искусственный интеллект, что в корне изменило подход к SEO. Рассказываем, что это значит и как адаптироваться к новым требованиям.

Алексей Семёнов
редактор
Искусственный интеллект (artificial intelligence, AI) — свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.

Выделяют 3 вида искусственного интеллекта:
  • Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.
  • Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.
  • Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.
На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.

Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:
  • Переводчике Google — для прямого перевода.
  • Почте Gmail — в блокировщике спама и при написании текста писем.
  • Голосовом помощнике Google Assistant — для распознавания речи.
  • Google Photo — для распознавания изображений.
  • YouTube — для рекомендаций видеороликов.
Разработки И И на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.

В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.

Эволюция поисковых систем

Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.

Этапы развития поисковых систем:

Наивный поиск

Первоначально работал только поиск слов, так называемый инвертированный индекс. Но количество страниц увеличивалось и их стало необходимо ранжировать. Пришлось учитывать частоту слов, их важность в контексте документа с помощью статистической меры tf-idf.

Ссылочное ранжирование

Когда страниц стало еще больше, к системе ранжирования подключили учет важности страницы в зависимости от качества и количества ссылок на нее — PageRank.

Машинное обучение

В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.

Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т. д.

У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.

Искусственный интеллект в алгоритмах поиска

Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.

На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.

Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.

В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.

Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.

Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.

Как изменилось SEO

Внедрение искусственного интеллекта полностью изменило поисковую выдачу и правила игры SEO.

Преимущества:
  • Повысилась точность выдачи по редким и низкочастотным запросам — поисковики понимают простой человеческий язык.
  • В выдаче лидируют более качественные ресурсы — спам и переоптимизация ключевыми словами теперь приводит лишь к попаданию под фильтры.
  • Отпала необходимость в SEO-текстах — теперь нужно отталкиваться от нужд пользователя. Чтобы оптимизировать текст под запросы, стоит использовать LSI-копирайтинг.
Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.
Искусственный интеллект поисковых систем еще развивается и имеет ряд недоработок:
  • Размытые результаты поиска — в случае многозначности смысла, робот не может точно определить нужный контекст и поэтому предлагает сразу несколько вариантов.
  • Непрозрачная система ранжирования — пользователь не может уточнить область поиска с помощью подбора словосочетаний, поиск все равно покажет то, что считает нужным.
  • Нетематические ресурсы в выдаче — зачастую в выдаче присутствуют сайты, которые не относятся к теме запроса или на них размещен контент низкого качества.
Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.
Помимо органической выдачи, искусственный интеллект теперь используется для подбора целевой аудитории и поисковых запросов в контекстной рекламе. В «Яндекс.Директ» эта функция получила название «Автотаргетинг». Кроме того, тестируется автоматическое создание текстов объявлений на основе контента посадочных страниц и сайтов.

Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.

Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.

Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.
Искусственный интеллект уже встроен в механизмы поисковых систем и в будущем его роль будет только расти. Помимо оценки текста, ИИ применяется для распознавания речи, изображений и видео, перевода страниц, оценки качества ссылок и изучения поведения пользователей.
Это значит, что SEO-специалистам нужно работать над сайтом комплексно:
Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.
  • Оптимизировать сайт под голосовой поиск.
  • Адаптировать сайт под мобильную выдачу.
  • Для наращивания ссылочной массы использовать крауд-маркетинг и outreach.
  • Оптимизировать изображения и видео для быстрого поиска.
  • Увеличивать количество автоматизированных процессов.
  • Глубоко прорабатывать каждую нишу: искать запросы, синонимы, изучать конкурентов.
Будущее поисковых алгоритмов будет состоять в понимании интента (смысла) запроса пользователей. И чем дольше обучается ИИ поисковых систем, тем точнее он будет подбирать вам максимально подходящие результаты, несмотря на огрехи в текущей реализации.

Раскрывайте темы ваших материалов глубоко, охватывая как можно больше релевантной семантики под страницы. Чем полнее ваш сайт наполнен качественными экспертными публикациями, тем выше шанс, что он получит трафик с умными алгоритмами от «Яндекс» и Google.
Дмитрий Щербаков
менеджер проектов в Uplab
462

Поделитесь материалом с друзьями и коллегами

Комментарии к статье

+7 499 653 78 83