13 января 2015

Негативное SEO:
нужно ли беспокоиться
и что делать в случае нападения

Негативное SEO — это когда кто-то пытается понизить позиции вашего сайта в поисковых системах. Существует несколько способов это сделать. Наиболее распространен ссылочный спам, но есть много других методов. Поговорим о том, как распознать некоторые тактики, которые применяют конкуренты.

Негативное SEO работает?

Если сайт участвует в манипулятивном построении ссылок, к нему могут быть применены санкции Google. Например, ручное наложение алгоритма Пингвин за неестественные ссылки и как результат — понижение в выдаче. Если закупленные вами ссылки могут навредить сайту, то и ссылки, проставленные кем-то другим, тоже могут сказаться отрицательно.

Google твердо заявляет: использование негативного SEO встречается очень редко. Чтобы понять позицию Google, проанализируем заявления Джона Мюллера и Мэтта Катса (подробнее в статье).

До января 2003 года Google на своем сайте заявил следующее:
«Конкурент не может сделать ничего, что могло бы повлиять на позиции или удалить ваш сайт из индекса».

Позже в 2003 году они изменили формулировку и сказали:
«Конкурент не может сделать практически ничего из того, что могло бы повлиять на позиции».

Текст был исправлен неспроста. Google не мог признаться, что кто-то сможет понизить сайт в выдаче, разместив на него ссылки. Они соглашались, что кто-то может навредить сайту. Например, взломать сервер, удалить сайт из индекса, изменить файл robots. txt, закрыть сайт от индексации и многое другое. Но что насчет ссылок? Может ли конкурент, проставив плохие ссылки, снизить ваши позиции?

В 2007 году журнал Forbes в статье о негативном SEO процитировал Мэтта Каттса: «Мэтт Каттс, старший программный инженер Google говорит, что наращивать ссылки на сайт конкурента с целью уменьшить его позиции в поиске все же возможно, но очень трудно: „Мы стараемся быть предельно внимательными к злоупотреблению техническими приемами, поэтому сделали наш алгоритм устойчивым против него“».

Так что на тот момент Google признал, что с помощью построения сети спамных ссылок негативное SEO работает, но не всегда. Давайте вернемся в 2012 год. В апреле компания Google выпустила первую версию алгоритма Пингвин и наложения на сайт санкций за использование неестественных ссылок и понижения позиций. Независимо от того, можно ли негативно повлиять на сайт конкурента, используя «плохие» ссылки, эта тема стала очень популярна. Посмотрите на данные Google Trends в поиске по запросу «негативное SEO».

В октябре 2012 года Google обновил алгоритм Пингвин, а Мэтт Катс заявил о создании нового инструмента дезавуирования ссылок, который позволит владельцам сайтов попросить Google не учитывать вредоносные ссылки для своих ресурсов, добавив спамные домены в черный список. Мэтт заявил, что большинству сайтов не придется использовать этот инструмент и что алгоритмы Google действительно хорошо распознают плохие ссылки, которые могут навредить. Но он все же признал, что потенциально это может быть проблемой для дорогих и конкурентных ниш, сказав: «Для тех, кто беспокоится о своем нахождении в суперконкурентной нише, независимо от рода деятельности (покер или казино), и думает „а что, если кто-то попытается использовать негативные действия по отношению к моему сайту?“, мы только что выпустили новый инструмент дезавуирования ссылок».

Если вы еще не читали статью, в которой Мэтт Каттс и Джон Мюллер рассказывают о негативном SEO, вот о чем в ней говорится:

Google усердно работает над тем, чтобы конкуренты не могли навредить вашему сайту, указывая плохие ссылки на вас.
Все построено на собственных алгоритмах, которые помогают определить естественные ссылки. Например, если неестественные ссылки применяются на протяжении многих лет, то конкуренты в этом не виноваты.
Если вы заметили множество плохих ссылок, указывающих на ваш сайт, то, скорее всего, они не принесут вам никакого вреда. Однако Google признает, что они не всегда могут определять их со 100% точностью, поэтому если вы нашли спамные ссылки, то их необходимо дезавуировать.
Если вы оказались в ситуации, когда попытки негативного SEO действительно приносят эффект, Google советует рассказать о них на форумах веб-мастеров, либо обратиться к Джону Мюллеру для того, чтобы они могли полностью изучить ситуацию и улучшить свои алгоритмы поиска.
В подавляющем большинстве случаев при анализе сообщений о негативных SEO-атаках в Google оказывалось, что это вовсе не негативное SEO.

Примеры не негативного SEO

Большинство клиентов, утверждающих, что конкуренты атакуют их плохими ссылками, обычно неправы. Видя в профиле обратные ссылки сомнительного характера, думать «Я не закупал спамные ссылки! Если не я их закупал, значит это сделал… мой конкурент!» — нормальная реакция.

Вот примеры с подозрением на негативное SEO, когда в реальности ситуация оборачивалась иначе:

Пример 1: «странные» ссылки не всегда плохие

Есть сайты, ссылающиеся почти на каждый сайт в Интернете. Например, большинство сайтов имеют ссылки с:

askives.com;
mrwhatis.net;
m.biz (и сотни клонов каталогов m.biz. Непонятно, откуда они берутся, но их можно не снимать. Скорее всего, они не оказывают негативного влияния на SEO, хотя все возможно);
каталогов, имеющих ссылки на dmoz.org;
сайтов, которые анализируют и предоставляют данные о домене;
китайских сайтов, которые ссылаются на alexa.com.

Пример 2: не все ссылки сайта плохие

Владельцы сайтов расстраиваются, видя в разделе «Ссылки на ваш сайт» в инструментах для Вебмастеров что-то вроде этого:

На примере — известный сайт yellowpages.com, поэтому не понятно, неестественные ли это ссылки. Но что, если пользователям вашего сайта очень понравился контент, и они добавили ссылку в панель закладок? И что, если текст ссылки совпадает с вашим ключевым словом? В инструментах для веб-мастеров в подразделе «Ссылки на ваш сайт» во вкладке «Ссылки на ваши данные» содержатся анкоры, которые используются чаще всего. Так что если ссылки с ресурсов с тысячами страниц есть по всему сайту и текст ссылки совпадет с ключевым словом, Google посчитает большинство таких ссылок за анкор. Бывает, люди думают, что их сайт был подвержен негативному SEO потому, что они видели один анкор по всему сайту. Но это не признак негативного SEO, даже если в инструментах для веб-мастеров появились тысячи ссылок, и Google хорошо это определяет.

Пример 3: последствия старых привычек

Вы когда-нибудь использовали пакетное наращивание ссылок? Когда-то за $ 100 можно было получить целый букет каталогов. (Да, это не повод для гордости, но… нам всем нужно было что-то делать.) Теперь такие ссылки приходится убирать. Но самое удивительное — появляются новые, использующие тот же текст. Легко сказать: «Эй! За последние годы я не закупал такие ссылки, ведь они в списке спамных каталогов. Должно быть, это конкуренты указывают плохие ссылки на меня!» Но на самом деле, ваши прошлые действия стали причиной неестественности ссылок.

Пример 4: «друг» с благими намерениями помогает наращивать ссылки

Вы можете смеяться над этим примером. Клиент обратился за помощью — хотел удалить ручные неестественные ссылки. Он поклялся, что никогда не приобретал и не наращивал ссылки, но в его профиле было много неестественных обратных ссылок. Он предположил, что это дело рук его конкурента. Когда мы делали чистку сайта, заметили, что плохие ссылки появлялись вновь. «Это атака!» — думали мы. Но оказалось, что ссылки закупал племянник владельца сайта, который плохо в этом разбирался. Это не шутка. Он думал, что действительно помогает своему дяде с SEO!

Пример 5: ссылки созданы предыдущей SEO-компанией

Некоторые клиенты бывают потрясены, когда узнают, что их SEO-компании наращивали неестественные ссылки, ведь они утверждали, что это «белые ссылки», не противоречащие правилам Google. Скорее всего, они наняли на аутсорсинг дешевую компанию для работы по наращиванию ссылок, которая создала спам-закладки, закупила комментарии в блогах и форумах. Если у вас есть неестественные ссылки, и вы когда-нибудь нанимали SEO-компанию, возможно, эти плохие ссылки были сделаны нарочно, и вы за них заплатили! В апреле 2012 года такие ссылки использовались для хорошего ранжирования страниц, и очень мало сайтов могли получить санкции за их использование.

Пример 6: вас взломали

Когда в целях негативного SEO кто-то пытается взломать сайт, последствия не всегда негативные. Однажды мне написали: «Знаешь, что один из твоих сайтов занимает очень высокие позиции по запросу „сумки Michael Kors“?», — предположив, что это я забрасываю партнерские страницы ссылками со своего сайта. Чепуха. Вот что было в «Обратных ссылках»:

Это был конкурент, пытающийся снизить позиции сайта. На самом деле, десятки и тысячи спам-ссылок положительно сказывались на позициях. Кто-то воспользовался уязвимостью плагина Wordpress, который не обновился вовремя. Сайт взломали, создали целую кучу новых страниц, указали на них огромное число спам-ссылок и перенаправили их на партнерские сайты Michael Kors.

Если, просматривая обратные ссылки, вы увидите нечетное число ключевых слов с анкорами виагра, сиалис, казино, кредиты до зарплаты и т. д., возможно, ваш сайт взломали. В большинстве случаев эти ссылки можно удалить путем поиска и удаления страниц, которые хакер создал на вашем сайте. Однако лучше всего обратится за помощью к тем, кто знаком с хакерской чисткой, чтобы выяснить, как хакер получил доступ и можно ли избежать этого в будущем.

Мы вычислили нарушителя, нашли и закрыли ему точки доступа и дезавуировали все ссылки. Что касается позиций, в Google утверждают: «Если ваш сайт был взломан и появились плохие обратные ссылки, вы можете игнорировать их, потому что алгоритмы Google хорошо это определяют и учитывают». Однако, если бы Google просто учитывал их, то они не имели бы никакого эффекта. Будучи уверенной, что спам-ссылки стоит оставить, я все же решила их удалить. Чтобы быть абсолютно уверенной, что со следующим обновлением Пингвина на сайт ничего не повлияет, я дезавуировала все ссылки на уровне домена.

Вы можете настроить оповещения Google Alerts и Moz Freshweb Explorer с ключевыми словами типа: site:yoursite.com «michael kors», site: yoursite.com виагра, site: yoursite.com казино, site: yoursite.com «кредиты до зарплаты», site: yoursite.com «сиалис»…

Признаки негативного SEO

Подавляющее большинство случаев не являются негативным SEO, но не все. Если ваш сайт попытаются атаковать, вы увидите следующее:

Ссылки из зарубежных форумов.
Огромное количество ссылок с доменов .ru, .cz, .de, .pl, .ro, .bg, .biz, .com.ar, .com.br и info. Не все они будут неестественными, но если вы вдруг получите внезапный большой приток ссылок с нетематичных сайтов, это может быть признаком атаки.
Большое количество ссылок с полной чушью в комментариях блога:

Много ключевых слов, анкорных ссылок из разных источников. (Помните, одна ссылка с сайта из сомнительного источника — не признак негативного SEO, даже если вы вдруг увидите тысячи таких ссылок.)
Приток ссылок из плохих источников: с порно-сайтов, сайтов азартных игр, с кредитами до зарплаты и др.

Есть много других хитрых приемов, которые можно использовать для SEO-атак. Не хотелось бы подкидывать идеи злоумышленникам. Но посмотрите прямо сейчас на ваш сайт через ahrefs.com. Чтобы увидеть редиректы, не нужно регистрироваться. Прокрутите вниз, найдите «Типы бэклинков» и нажмите на «Редиректы».

Не всегда редиректы — это плохо. Например, сайты партнеров могут перенаправлять посетителей на ваши страницы с описанием продуктов — это, как правило, хорошо, и есть много других причин для редиректа на ваш сайт. Но если сейчас у вас есть три сайта с редиректами, а на следующей неделе их уже 30 или даже 300, это может быть первым признаком атаки.

Может ли наплыв редиректов и плохих ссылок навредить сайту?

Google дал противоречивые советы относительно этого. Сначала они сказали, что плохая ссылка, безусловно, будет перенаправлена через 301 редирект, а потом — что это может послужить причиной наложений санкций на сайт. Кажется, Google говорит о том, что при редиректе одного из ваших сайтов на другой, ссылки не будут расцениваться как плохие. Это просто, как если бы вы наращивали свои собственные неестественные ссылки. Но если вы поставите 301 редирект на чужой сайт, ссылки не будут считаться естественными. Как это распознает Google — секрет. Наверное, они используют все виды сигналов, чтобы определить, какие ссылки сделаны конкурентом.

Стоит ли переживать о негативном SEO?

Итак, допустим, у вас есть все доказательства, что кто-то атакует ваш сайт неестественными ссылками. Потеряет ли сайт позиции?

Google действительно потрудился, чтобы защитить сайты от таких атак с помощью алгоритмов, поэтому большинству не нужно беспокоиться о негативном SEO. Здесь специалисты по черному SEO начнут возмущаться. Интересно, кто первый оставит комментарий вроде: «Вы не знаете, что говорите! Негативное SEO работает, потому что я применил его на сотнях сайтов». Или: «Я знаю, что негативное SEO работает, потому что мой сайт снесен».

Вот типы сайтов, на которых могут негативно отразиться негативные ссылочные SEO-атаки:

Сайты в сильноконкурентных и высокоденежных нишах: казино, кредиты до зарплаты, страхование, аптечные продажи и др. Те, кто занимается негативным SEO, знают много изощренных методов. Некоторые тратят часы и дни, пытаясь найти лазейки в алгоритме Google, которые позволят утащить конкурента вниз. Когда Google корректирует свои алгоритмы для борьбы с этими методами, хакеры тратят еще больше времени, пытаясь победить и эту систему. Они могут тратить на SEO-атаки огромные бюджеты. Для среднестатистического владельца малого бизнеса оплата интенсивной SEO-атаки высокого уровня, работоспособной потенциально, выйдет гораздо дороже, чем продвижение сайта.

Сайты с плохой историей наращивания неестественных ссылок. Если на ваш сайт когда-либо были наложены ручные меры за использование неестественных ссылок или вы пострадали от алгоритма Пингвин, то вам действительно нужно следить за неестественными ссылками, указывающими на ваш сайт. Джон Мюллер говорил о ситуации, когда Google не может быть уверен, что плохие ссылки будут учитываться, потому что сайт имеет много сигналов, указывающих, что владелец сайта был привлечен за веб-спам. Он намекнул, что Google не сможет сказать, какие ссылки вы наращивали самостоятельно, а какие появились во время атак:

«Видя сомнительные ссылки, мы не знаем, как на них реагировать. Мы не можем просто закрыть глаза и игнорировать их. И мы не знаем, что делать с остальными сигналами, которые прикреплены к вашему сайту».

Если кажется, что негативное SEO ориентировано исключительно на ваш сайт, лучший вариант — проводить ежемесячный мониторинг обратных ссылок.

Как защититься от негативного SEO?

Если вы находитесь в конкурентной нише или у вас есть история санкций и необходимость наращивать естественные ссылки, то вам действительно нужен регулярный мониторинг обратных ссылок. Для наших клиентов мы проводим ссылочный аудит ежемесячно, чтобы найти все и очистить. Если новые ссылки появляются ежедневно, делайте очистку раз в две недели.

Для сайтов, находящихся в зоне риска и подвергшихся негативным SEO-атакам, следует выполнять ссылочный аудит ежемесячно. При ежемесячном контроле легко увидеть новые, хорошие ссылки с вашего сайта. Это может дать много идей для получения большего количества ссылок. Например, если несколько человек рекомендовали конкретный продукт по ссылке из постов на форуме, то вам можно создать вокруг него больше контента, проводить консультации по электронной почте, делать e-mail рассылки, чтобы получить больше просмотров.

Не ждать…

Зачем регулярно делать ссылочной аудит, если Google говорит, что может определить негативное SEO? Не стоит полагаться на алгоритм — он не будет точным на 100%. Вот слова сотрудника Google Джона Мюллера:

«Это непросто, и мы не всегда сможем гарантировать, что делаем все правильно на 100%. Но в случаях, которые мне доводилось видеть, мы проделали хорошую работу.

Мы проводим очень много работ, чтобы убедиться в том, что сторонние эффекты не играют большую роль в результатах поиска. Но мы не можем гарантировать, что выявляем все. Поэтому если вы что-то увидели, пожалуйста, сообщите нам об этом.

Например, вы можете просмотреть ссылки в инструментах для веб-мастеров и предоставить файл для дезавуирования неестественных ссылок. В общем, мы понимаем такие ситуации и реагируем соответствующим образом».

Как сделать ссылочный аудит

Есть много методов ссылочного аудита. Кто-то предпочитает автоматизированные инструменты, но лучше делать ручные проверки наряду с автоматизированными. Было много неудачных попыток пересмотра сайта при снятии ручных мер по борьбе с веб-спамом только из-за того, что люди полагались исключительно на эти отчеты. Также эти средства рекомендуют дезавуировать некоторые естественные ссылки. Пересмотрите ссылки вручную!

Просмотреть ссылки можно с помощью инструмента Webmaster Tools. Когда-то Google сказал, что это «все, что вам нужно». Однако Джон Мюллер и Мэтт Катс заявили, что там есть не все необходимое для сбора полной структуры неестественных ссылок. Если повезет, вы найдете здесь полный список. Но в инструменте сообщается не о всех ссылках, которые индексирует Google. Несколько наших запросов на снятие ручных санкций за использование неестественных ссылок завершились неудачей. Как оказалось, мы убрали не все — они просто не отображались в инструменте.

Придется отправиться на поиски в другие источники:

Инструменты Для Веб-Мастеров (Последние);
Инструменты Для Веб-Мастеров (Образец);
Ahrefs.com (платный инструмент);
Majesticseo.com (платный инструмент, но если вы подтвердите права на сайт, то сможете пользоваться бесплатно);
Opensiteexplorer.org (можно получить большое количество ссылок бесплатно при регистрации аккаунта в Moz. Open Site Explorer, как правило, подбирает более хорошие ссылки, чем откровенный спам от Ahrefs и Majestic).

Затем необходимо отсортировать ссылки в более управляемый список, чтобы провести анализ одной ссылки с каждого домена. Если вы делали ежемесячные аудиты для отслеживания проверенных доменов, вам не придется еще раз тратить время на оценку. Можно использовать формулы ВПР в Excel, чтобы выделить домены, которые были проверены ранее. Подобную функцию ВПР можно применить для выделения доменов, которые уже находятся в вашем файле дезавуирования ссылок.

Есть много учебников о ВПР. Но можно сделать так:

Давайте предположим, что ваш ссылочный аудит — это таблица на «Лист1», и у вас есть список доменов для дезавуирования на «Лист2». Предположим, что столбец, А каждого листа содержит домены, а столбец B «Лист2» содержит слово «дезавуировать».
Давайте предположим, что у вас есть 1000 доменов на «Лист2». Опять же, это ваш список для дезавуирования доменов.
На «Лист1» нужно создать новый столбец и ввести формулу:
=ВПР (А1 Лист2!$A$ 1:$B$ 1000,2,FALSE).
Теперь скопируйте эту формулу вниз по всему столбцу. В итоге, в каждой строке будет написано либо «дезавуировать» или «N/A».
Проверять заново домены, которые уже находятся в вашем файле дезавуирования, не нужно.

Есть система, которая позволяет отслеживать ежемесячные аудиты и создавать потрясающие электронные таблицы для проверки ссылок вручную. Она выбирает на листе ссылки каждого домена, проверяет и устраняет домены, которые уже проверены, и отмечает знаком nofollows анкоры ссылок и домены, которые уже были дезавуированы (учитывает поддомены, когда домен указан полностью), а также показывает, что каждый из десятков тысяч доменов в списке, отмеченных как «дезавуировать в черный список», содержит домены и ссылки для SEO-целей (alexa.com, aboutus.org, известные dmoz ссылки и т. д.). Система экономит огромное количество времени. Я пытаюсь сделать ее более доступной для пользования. Подробнее здесь.

Следующий ваш шаг после проверки — определить, какие ссылки были сделаны с помощью манипуляции Google, и решить, нужно ли добавлять эти ссылки в файл дезавуирования. Вы можете дезавуировать эти ссылки на уровне домена с помощью команды «domain:example.com» — так гораздо лучше, чем указывать каждую страницу домена «http://www.example.com/page1.html». После этого добавьте домены в файл дезавуирования и загрузите его в инструмент отклонения ссылок. Не волнуйтесь, файл дезавуирования можно обновлять каждый раз при необходимости.

Чтобы сделать ссылочный аудит, можно воспользоваться программой FastTrust. Для этого выгрузите список внешних ссылок c помощью инструментов Webmaster Tools и ahrefs.com. После этого загрузите список всех доменов в FastTrust и запустите проверку. Программа поддерживает проверку до 70 000 доменов в сутки.

С помощью нее можно получить следующие данные:

Уровень заспамленности;
Траст и ТИЦ сайта;
Добавлены ли сайты в каталоги Yandex и DMOZ;
Наложен ли фильтр АГС;
Количество проиндексированных страниц и многое другое.

Для выявления спамных сайтов необходимо обратить внимание на уровень заспамленности:
0−7 — сайт не заспамлен, количество исходящих ссылок в пределах нормы;
7,01−12 — сайт находится в группе риска;
12,01−100 — сайт заспамлен исходящими внешними ссылками;
101 — невозможно рассчитать данные (в формуле происходит деление на ноль);
102 — мало данных, например, если просканировано мало страниц сайта (меньше 10).

Полученные данные можно выгрузить в формате CSV для последующей работы с таблицей Excel.

Заключение

Тему негативного SEO понять сложно. С одной стороны, Google говорит: «Не беспокойтесь об этом». С другой стороны, это не проблема, потому что можно дезавуировать любые найденные спам-ссылки, указывающие на ваш сайт, даже если вы их не закупали.

Выделим основные моменты:

Не все, что выглядит как негативное SEO, им является. Все сайты имеют странные внешние ссылки. Но это не значит, что каждая неестественная ссылка — происки конкурентов.
Внезапный приток странных ссылок можно принять за атаку.
В большинстве случаев, если конкуренты атакуют сайт спам-ссылками, алгоритмы Google будут их игнорировать, и вы не увидите падения позиций.
Если вы находитесь в гипер-конкурентной нише, то ваш сайт может подвергнуться изощренной SEO-атаке.
Если вы наращивали неестественные ссылки самостоятельно, на вас могли бы наложить санкции — хорошо, что Google не в состоянии различить неестественне ссылки и ссылочные атаки.
Сайтам, которые не находятся в конкурентной нише и не участвуют в наращивании неестественных ссылок, не нужно беспокоиться о негативном SEO.
В любом случае, если вы думаете, что находитесь под негативным SEO, необходимо проводить регулярный аудит и добавлять ссылки в файл дезавуирования.

Ваш сайт подвергался негативному SEO? Вы делаете ежемесячные аудиты? Как вы считаете, Google хорошо предотвращает негативное SEO?

Negative SEO: Should You Be Worried? If Attacked, What Should You Do?, Marie Haynes

В статье затронута очень важная тема — негативные SEO-атаки, которые могут использовать конкуренты или злоумышленники для понижения вашего сайта в поисковой выдаче путем взлома или любыми другими способами. Согласна с автором — для сайтов, которые находятся в конкурентной тематике или к которым уже были приняты ручные меры за использование нетематичных и спамных ссылок, необходимо проводить ссылочный аудит ежемесячно. Сталкивалась с этой проблемой и считаю, что каждый вебмастер, SEO-специалист или владелец сайта должен знать о методах негативного SEO, уметь распознавать такие атаки, знать методы их устранения, проводить профилактические работы, чтобы подобных проблем никогда не возникло.