Как искусственный интеллект повлиял на поисковые системы

25 июля 2018
10 мин. 22041
image
image
Алексей Семёнов редактор
Как искусственный интеллект повлиял на поисковые системы
Поисковые системы непрерывно усложняются. Некоторое время назад «Яндекс» и Google стали использовать в своих алгоритмах искусственный интеллект, что в корне изменило подход к SEO. Рассказываем, что это значит и как адаптироваться к новым требованиям.

Что такое искусственный интеллект

Искусственный интеллект (artificial intelligence, AI) — это свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.

Выделяют 3 вида искусственного интеллекта:
Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.
Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.
Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.
На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.

Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:
Переводчике Google — для прямого перевода.
Почте Gmail — в блокировщике спама и при написании текста писем.
Голосовом помощнике Google Assistant — для распознавания речи.
Google Photo — для распознавания изображений.
YouTube — для рекомендаций видеороликов.
Разработки ИИ на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.

В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.

Эволюция поисковых систем

Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.

Этапы развития поисковых систем:

Наивный поиск

Первоначально работал только поиск слов, так называемый инвертированный индекс. Но количество страниц увеличивалось и их стало необходимо ранжировать. Пришлось учитывать частоту слов, их важность в контексте документа с помощью статистической меры tf-idf.

Ссылочное ранжирование

Когда страниц стало еще больше, к системе ранжирования подключили учет важности страницы в зависимости от качества и количества ссылок на нее — PageRank.

Машинное обучение

В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.

Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т.д.

У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.

Искусственный интеллект в алгоритмах поиска

Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.

На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.

Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.

В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.

Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.

Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.

Как изменилось SEO

Внедрение искусственного интеллекта полностью изменило поисковую выдачу и правила игры SEO.

Преимущества:
Повысилась точность выдачи по редким и низкочастотным запросам — поисковики понимают простой человеческий язык.
В выдаче лидируют более качественные ресурсы — спам и переоптимизация ключевыми словами теперь приводит лишь к попаданию под фильтры.
Отпала необходимость в SEO-текстах — теперь нужно отталкиваться от нужд пользователя. Чтобы оптимизировать текст под запросы, стоит использовать LSI-копирайтинг.
Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.
Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.
Искусственный интеллект поисковых систем еще развивается и имеет ряд недоработок:
Размытые результаты поиска — в случае многозначности смысла, робот не может точно определить нужный контекст и поэтому предлагает сразу несколько вариантов.
Непрозрачная система ранжирования — пользователь не может уточнить область поиска с помощью подбора словосочетаний, поиск все равно покажет то, что считает нужным.
Нетематические ресурсы в выдаче — зачастую в выдаче присутствуют сайты, которые не относятся к теме запроса или на них размещен контент низкого качества.
Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.
Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.
Помимо органической выдачи, искусственный интеллект теперь используется для подбора целевой аудитории и поисковых запросов в контекстной рекламе. В «Яндекс.Директ» эта функция получила название «Автотаргетинг». Кроме того, тестируется автоматическое создание текстов объявлений на основе контента посадочных страниц и сайтов.

Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.

Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.

Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.
Искусственный интеллект уже встроен в механизмы поисковых систем и в будущем его роль будет только расти. Помимо оценки текста, ИИ применяется для распознавания речи, изображений и видео, перевода страниц, оценки качества ссылок и изучения поведения пользователей.
Это значит, что SEO-специалистам нужно работать над сайтом комплексно.

Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.
Оптимизировать сайт под голосовой поиск.
Адаптировать сайт под мобильную выдачу.
Для наращивания ссылочной массы использовать крауд-маркетинг и outreach.
Оптимизировать изображения и видео для быстрого поиска.
Увеличивать количество автоматизированных процессов.
Глубоко прорабатывать каждую нишу: искать запросы, синонимы, изучать конкурентов.
Будущее поисковых алгоритмов будет состоять в понимании интента (смысла) запроса пользователей. И чем дольше обучается ИИ поисковых систем, тем точнее он будет подбирать вам максимально подходящие результаты, несмотря на огрехи в текущей реализации.

Раскрывайте темы ваших материалов глубоко, охватывая как можно больше релевантной семантики под страницы. Чем полнее ваш сайт наполнен качественными экспертными публикациями, тем выше шанс, что он получит трафик с умными алгоритмами от «Яндекс» и Google.
Дмитрий Щербаков
менеджер проектов Uplab

Расскажите
о вашем проекте