Как искусственный интеллект повлиял на поисковые системы

Поисковые системы непрерывно усложняются. Некоторое время назад «Яндекс» и Google стали использовать в своих алгоритмах искусственный интеллект, что в корне изменило подход к SEO. Рассказываем, что это значит и как адаптироваться к новым требованиям.

Искусственный интеллект (artificial intelligence, AI) — это свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.

Выделяют 3 вида искусственного интеллекта:

Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.

•

Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.

•

•

Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.

На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.

Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:

Голосовом помощнике Google Assistant — для распознавания речи.

•

Почте Gmail — в блокировщике спама и при написании текста писем.

•

Переводчике Google — для прямого перевода.

•

•

Google Photo — для распознавания изображений.

•

YouTube — для рекомендаций видеороликов.

Разработки ИИ на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.

В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.

Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.

Этапы развития поисковых систем:

Первоначально работал только поиск слов, так называемый инвертированный индекс. Но количество страниц увеличивалось и их стало необходимо ранжировать. Пришлось учитывать частоту слов, их важность в контексте документа с помощью статистической меры tf-idf.

Когда страниц стало еще больше, к системе ранжирования подключили учет важности страницы в зависимости от качества и количества ссылок на нее — PageRank.

В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.

Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т.д.

У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.

Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.

На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.

Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.

В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.

Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.

Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.

Внедрение искусственного интеллекта полностью изменило поисковую выдачу и правила игры SEO.

Преимущества:

В выдаче лидируют более качественные ресурсы — спам и переоптимизация ключевыми словами теперь приводит лишь к попаданию под фильтры.

•

Повысилась точность выдачи по редким и низкочастотным запросам — поисковики понимают простой человеческий язык.

•

•

Отпала необходимость в SEO-текстах — теперь нужно отталкиваться от нужд пользователя. Чтобы оптимизировать текст под запросы, стоит использовать LSI-копирайтинг.

Пример расшифровки запроса на простом языке — «Яндекс» сразу предлагает готовый ответ.

Искусственный интеллект поисковых систем еще развивается и имеет ряд недоработок:

Непрозрачная система ранжирования — пользователь не может уточнить область поиска с помощью подбора словосочетаний, поиск все равно покажет то, что считает нужным.

•

Размытые результаты поиска — в случае многозначности смысла, робот не может точно определить нужный контекст и поэтому предлагает сразу несколько вариантов.

•

•

Нетематические ресурсы в выдаче — зачастую в выдаче присутствуют сайты, которые не относятся к теме запроса или на них размещен контент низкого качества.

Пример, когда по информационному запросу «телефоны Москвы» выдаются коммерческие страницы. Пользователь ищет справочник телефонов в Москве, а ему предлагают купить аппарат.

Помимо органической выдачи, искусственный интеллект теперь используется для подбора целевой аудитории и поисковых запросов в контекстной рекламе. В «Яндекс.Директ» эта функция получила название «Автотаргетинг». Кроме того, тестируется автоматическое создание текстов объявлений на основе контента посадочных страниц и сайтов.

Подобный механизм есть в Google AdWords Express и Google AdWords — платформа сама подбирает ключевые запросы и генерирует объявления, исходя из текста и картинок на сайте. Подобные функции были введены для упрощения работы с рекламными системами.

Более того, ИИ уже выходит в офлайн. Недавно «Яндекс» сообщил о запуске продаж рекламы на цифровых билбордах. Алгоритмы распознавания лиц используются, чтобы таргетировать рекламные сообщения на целевую аудиторию.

Новейший пример использования ИИ в рекламе — платформа AstraOne, которая встраивает рекламу непосредственно в изображения на сайте. При этом она учитывает общий контекст страницы: распознает текст и изображения — это позволяет попасть точно в целевую аудиторию.

Это значит, что SEO-специалистам нужно работать над сайтом комплексно.

Качество поиска растет, а вместе с ним — требования к сайтам. Можно прогнозировать, что влияние ИИ будет только увеличиваться — уже сейчас он используется для маркетинга, а в перспективе может быть использован в разработке и дизайне сайтов.

Для наращивания ссылочной массы использовать крауд-маркетинг и outreach.

•

Адаптировать сайт под мобильную выдачу.

•

Оптимизировать сайт под голосовой поиск.

•

•

Оптимизировать изображения и видео для быстрого поиска.

•

Увеличивать количество автоматизированных процессов.

•

Глубоко прорабатывать каждую нишу: искать запросы, синонимы, изучать конкурентов.