Полное руководство по обновлённому алгоритму Penguin от Google

В 2012 году Google официально запустил «алгоритм борьбы с веб-спамом», направленный против спам-ссылок, а также практик манипулирования ссылками.

Этот алгоритм позже стал официально известен как алгоритм Гугл Пингвин после твита Мэта Каттса (Matt Cutts), который впоследствии стал главой подразделения Google по борьбе с веб-спамом. Несмотря на то, что в Google официально назвали алгоритм Penguin, никаких официальных комментариев по поводу того, откуда пошло это название, не было.

Название алгоритму Panda дал из инженеров, работавших над ним. Одна из теорий возникновения имени Penguin состоит в том, что это отсылка к Пингвину – герою комиксов DC про Бэтмена.

Перед внедрением Penguin количество ссылок играло значительную роль при оценке веб-страниц поисковыми роботами Google.

Это означало, что при ранжировании сайтов по этим оценкам в результатах поиска некоторые низкокачественные сайты и куски контента появлялись на более высоких позициях.

Зачем потребовался алгоритм Penguin

Война Google с низкокачественными результатами поиска началась с алгоритма Panda, а алгоритм Penguin стал расширением и дополнением арсенала.

Penguin стал ответом Google на расширяющиеся практики манипуляции результатами поиска (и ранжированием) через спам-ссылки.

Алгоритм Penguin обрабатывает только входящие на сайт ссылки. Google анализирует ссылки, ведущие на сайт, и не воспринимает исходящую ссылочную массу.

Первоначальный запуск и влияние

При первом запуске в апреле 2012 года фильтр Пингвин Гугл повлиял более чем на 3% результатов поиска, согласно собственным оценкам Google.

Penguin 2.0, четвёртое обновление (включая первоначальную версию) алгоритма, был выпущен в мае 2013 года и затронул примерно 2,3% всех поисковых запросов.

Ключевые изменения и обновления алгоритма Penguin

Всего было несколько изменений и обновлений алгоритма Penguin, начиная с момента его запуска в 2012 году.

Penguin 1.1: 26 марта 2012 года

Это было не изменение алгоритма, а первое обновление данных внутри него. Сайты, изначально затронутые алгоритмом Penguin, но после избавившиеся от низкокачественных ссылок, получили некоторое улучшение своих позиций. В то же время другие сайты, не затронутые алгоритмом Penguin при его первом запуске, заметили определенное воздействие.

Penguin 1.2: 5 октября 2012 года

Это было очередное обновление данных. Оно затронуло запросы на английском языке, а также международные запросы.

Penguin 2.0: 22 мая 2013 года

Более продвинутая (с технической точки зрения) версия алгоритма, которая изменила степень его влияния на результаты поиска. Penguin 2.0 затронул примерно 2,3% англоязычных запросов, и примерно такую же долю запросов на других языках.

Также это было первое обновление алгоритма Гугл Пингвин, которое заглядывало дальше главной страницы и страниц верхнего уровня в поисках доказательств наличия спам-ссылок.

Penguin 2.1: 4 октября 2013 года

Единственное обновление алгоритма Penguin 2.0 (версия 2.1) вышло 4 октября того же года. Оно затронуло около 1% поисковых запросов.

Несмотря на то, что никаких официальных объяснений обновления от Google не было, статистика свидетельствует о том, что апдейт также увеличил глубину просмотра страниц и ввел дополнительный анализ наличия спам-ссылок.

Penguin 3.0: 17 октября 2014 года

Стало очередным обновлением данных, позволившим многим попавшим под санкции сайтам восстановить свои позиции, а другим, злоупотреблявшим спам-ссылками, но скрывшимся от предыдущих версий Penguin, почувствовать на себе его влияние.

Сотрудник Google Пьер Фар (Pierre Far) подтвердил это и отметил, что обновлению потребуется «несколько недель» для полного развёртывания. И что апдейт затронул менее 1% англоязычных поисковых запросов.

Penguin 4.0: 23 сентября 2016 года

Почти через два года после обновления 3.0 было выпущено последнее изменение алгоритма. В результате Penguin стал частью базового алгоритма поисковой системы Google.

Теперь, работая одновременно с базовым алгоритмом, Гугл Пингвин 4 оценивает сайты и ссылки в режиме реального времени. Это означает, что можно видеть относительно быстрое влияние изменений внешних ссылок на позиции вашего сайта в поисковой выдаче Google.

Обновлённый алгоритм Penguin также не был направлен строго на наложение санкций, он девальвировал значение спам-ссылок. Это стало противоположностью предыдущим версиям Penguin, когда за плохие ссылки следовало наказание. Но исследования показывают, что алгоритмические санкции, основанные на внешних ссылках, используются до сих пор.

Алгоритмические понижения в Penguin

Вскоре после запуска алгоритма Penguin, вебмастера, которые практиковали манипулирование ссылками, стали замечать снижение объема поискового трафика и позиций в поиске.

Не все понижения, спровоцированные алгоритмом Penguin, касались целых сайтов. Некоторые были частичными и затрагивали только определённые группы ключевых слов, которые были активно забиты спам-ссылками или «излишне оптимизированы».

Сайт, попавший под санкции Penguin, которому потребовалось 17 месяцев, чтобы восстановить свои позиции в поисковой выдаче Google.

Влияние Penguin также распространяться между доменами. Поэтому смена домена и перенаправление со старого на новый может сулить ещё больше проблем.

Исследования показывают, что использование перенаправлений 301 или 302 не отменяет влияния алгоритма Penguin. На форуме вебмастеров Google Джон Мюллер (John Mueller) подтвердил, что использование перенаправлений meta refresh с одного домена на другой также может привести к санкциям.

Восстановление от воздействия алгоритма Penguin

Утилита Disavow Links Tool была полезной для специалистов SEO, и это не изменилось даже теперь, когда алгоритм Пингвин Гугл функционирует как часть базового алгоритма Google.

Google рекомендует использование утилиты только как крайней меры при борьбе со спам-ссылками, так как удалить ссылку намного проще и быстрее, чем отправить запрос на повторное рассмотрение.

Что включать в файл дезавуирования

Файл Disavow содержит ссылки, которые должен игнорировать Google. Благодаря чему некачественные ссылки не будут снижать позиции сайта в результате работы алгоритма Penguin. Но это также означает, что, если вы ошибочно включили высококачественные ссылки в ваш файл дезавуирования, то они больше не помогут сайту подняться на более высокие позиции.

Не нужно включать никаких комментариев в Disavow, кроме случаев, когда они нужны вам самим.

Google не читает пояснений, которые вы делаете в файле, так как он обрабатывается автоматически. Некоторым удобнее добавлять пояснения для последующего использования. Например, дату, когда группа ссылок была добавлена в файл или комментарии о попытках связаться с вебмастером сайта, чтобы убрать ссылку.

После того, как вы загрузите файл Disavow, Google отправит вам подтверждение. Но, несмотря на то, что Google обработает его немедленно, он не дезавуирует ссылки в тот же момент. Поэтому вы не сможете сразу же восстановить позиции вашего сайта в поисковой выдаче.

Также не существует способа определить, какие ссылки были дезавуированы, а какие нет, так как Google всё равно включит и те, и другие в отчёт о внешних ссылках, доступный в Google Search Console.

Если вы ранее загружали Disavow и отправляли его в Google, он заменится новым, а не добавится к старому. Поэтому важно убедиться в том, что вы включили в новый файл старые ссылки. Вы всегда можете скачать копию текущего файла в своем аккаунте Google Search Console.

Отключение отдельных ссылок или доменов целиком

Для вывода сайта из под Гугл Пингвин рекомендуется дезавуировать ссылки на уровне домена вместо отключения отдельных ссылок.

Благодаря чему поисковому роботу Google потребуется посетить всего одну страницу на сайте, чтобы дезавуировать ссылки, ведущие с него.

Отключение ссылок на уровне домена также означает, что вам не нужно беспокоиться, индексируется ли ссылка с www или без.

Обнаружение ваших внешних ссылок

Если подозреваете, что на ваш сайт негативно повлиял алгоритм Penguin, нужно провести аудит внешних ссылок и дезавуировать низкокачественные или спам-ссылки.

Google Search Console позволяет владельцам сайтов получить список внешних ссылок. Но необходимо обратить внимание на то, что Disavow включает в себя ссылки, которые помечены как «nofollow». Если ссылка помечена атрибутом nofollow, она не окажет влияния на ваш сайт. Но необходимо, чтобы сайт, разместивший ссылку на ваш ресурс, может убрать атрибут «nofollow» в любой момент без какого-либо предупреждения.

Также существует много сторонних инструментов, которые показывают ссылки, ведущие на сайт. Но из-за того, что некоторые вебмастера защищают сайт от обхода сторонними ботами, использование таких инструментов может показать не все входящие ссылки. Кроме этого подобная блокировка может быть использована некоторыми ресурсами, чтобы скрыть низкокачественные ссылки от обнаружения.

Мониторинг внешних ссылок – необходимая задача, чтобы защититься от атаки по принципу «негативного SEO». Их суть заключается в том, что конкурент покупает спам-ссылки на ваш сайт.

Многие используют негативное SEO как оправдание, когда их сайт попадает под санкции от Google за низкокачественные ссылки. Но Google утверждает, что после обновления Пингвина Гугл поисковик хорошо распознает подобные атаки.

Опрос, проведённый Search Engine Journal в сентябре 2017 года, показал, что 38% SEO-специалистов никогда не дезавуировали внешние ссылки. Просмотр внешних ссылок и тщательное исследование домена каждой внешней ссылки — это нелёгкая задача.

Запросы на удаление ссылок

Google рекомендует сначала попытаться обратиться к администратору сайта, на котором размещена плохая внешняя ссылка с запросом на удаление ссылки, прежде чем её дезавуировать.

Некоторые владельцы сайтов требуют определенной оплаты за удаление ссылки. Google рекомендует не платить за это. Просто включите плохую внешнюю ссылку в ваш файл дезавуирования и переходите к удалению следующей ссылки.

Несмотря на то, что подобные запросы являются эффективным способом восстановить позиции сайта после применения санкций за внешние ссылки, они не всегда обязательны. Алгоритм Гугл Пингвин рассматривает портфель внешних ссылок целиком, то есть как соотношение количества высококачественных, естественных ссылок и спам-ссылок.

Некоторые даже что включают в соглашение об использовании сайта «условия» размещения внешних ссылок, ведущих на их ресурс:

Мы поддерживаем только «ответственное» размещение внешних ссылок, ведущих на наши веб-страницы. Это означает, что:

• Если мы попросим удалить или изменить ссылку на наши сайты, вы сделаете это незамедлительно.
• Вы обязаны убедиться, что использование ссылок не навредит нашей репутации и не повлечёт за собой получение коммерческих выгод.
• Нельзя размещать более 10 ссылок на наши сайты или веб-страницы без получения разрешения.
• Сайт, на котором вы размещаете ссылку, ведущую на наш ресурс, не должен содержать оскорбительные или дискредитирующие материалы. А также не должен нарушать чьи-либо авторские права.
• Если кто-либо кликает по ссылке, которую вы разместили, она должна открывать наш сайт на новой странице (вкладке), а не внутри фрейма на вашем сайте.

Оценка качества ссылок

Не думайте, что, если внешняя ссылка расположена на сайте с доменом .edu, то она обязательно высокого качества. Множество студентов продают ссылки со своих персональных сайтов, которые зарегистрирован в зоне .edu. Поэтому они расцениваются как спам, и должны быть дезавуированы. Кроме этого многие сайты в зоне .edu содержат низкокачественные ссылки из-за того, что были взломаны. То же самое относится ко всем доменам верхнего уровня.

Представители Google подтвердили, что расположение сайта в определенной доменной зоне не помогает и не вредит его позициям в результатах поиска. Но нужно принимать решение для каждого конкретного сайта и учитывать обновления Пингвина Гугл.

Остерегайтесь ссылок с очевидно высококачественных сайтов

Просматривая список внешних ссылок, не рассматривайте их как высококачественные только потому, что они размещены на определённом сайте. Если только вы не уверены на 100% в её качестве. Только то, что ссылка размещена на авторитетном сайте, таком как Huffington Post или BBC, не делает её высококачественной в глазах Google. Многие из таких сайтов продают ссылки, причём некоторые из них являются замаскированной рекламой.

По мере увеличения объемов рекламного контента, мы будем видеть, как всё больше и больше таких ссылок помечаются как низкокачественные. Всегда проверяйте ссылки.

Промо-ссылки

Так же, как и в случае с рекламными ссылками, вы должны подумать над тем, не является ли ссылка, ведущая на ваш сайт, промо (платной) ссылкой. Платные ссылки не всегда означают получение денег.

Примерами промо-ссылок, которые в глазах Google являются платными, могут быть ссылки, размещённые в обмен на бесплатный продукт для обзора или скидку на продукт. Хотя такие типы ссылок были приемлемыми несколько лет назад, теперь они должны быть помечены атрибутом «nofollow». Вы всё ещё можете получать выгоду от размещения таких ссылок. Они могут помочь увеличить узнаваемость бренда и привлечь трафик на сайт.

Крайне важно оценивать каждую внешнюю ссылку. Нужно удалить плохие ссылки, потому что они влияют на позиции ресурса в поисковой выдаче в результате воздействия алгоритма Пингвина Гугл, либо могут привести к ручным санкциям. Не стоит удалять хорошие ссылки, потому что они помогают вам подняться в поисковой выдаче.

Промо-ссылки, не помеченные атрибутом «nofollow», также могут спровоцировать наложение ручных санкций на сайт, на котором они размещены.

От санкций алгоритма Penguin не восстановиться?

Иногда, даже после того, как вебмастера проделывают огромную работу по очистке внешних ссылок, они всё равно не видят улучшений в объеме трафика или в позициях.

Есть несколько причин этого:

• Изначальный прирост трафика и улучшение позиций в поиске, возникшие перед наложением алгоритмических санкций, были и исходили от плохих внешних ссылок.
• Когда плохие внешние ссылки были удалены, не было предпринято усилий, чтобы получить новую ссылочную массу высокого качества.
• Не все спам-ссылки были отключены.
• Проблема не во внешних ссылках.

Когда вы восстанавливаетесь от санкций, наложенных алгоритмом Penguin, не ждите, что позиции вашего ресурса в поисковой выдаче возвратятся или это произойдёт мгновенно.

Некоторые ссылки, которые вы дезавуировали, могли влиять на позиции сайта в поисковой выдаче, поэтому нельзя вернуться на те высоты, которые сайт занимал до наложения алгоритмических санкций.

Многие высококачественные ссылки оказываются дезавуированы в процессе очистки, несмотря на то, что они положительно влияли на позиции ресурса в поисковой выдаче.

Добавьте к этому тот факт, что Google постоянно меняет фильтр Пингвин Гугл, поэтому факторы, которые приносили пользу раньше, теперь могут иметь не такое сильное влияние.

Мифы и заблуждения, связанные с алгоритмом Penguin

Вот несколько мифов и заблуждений об алгоритме Penguin, которые возникли за последние годы.

Миф: Penguin – это наказание

Один из самых больших мифов про алгоритм Penguin – это то, что люди называют его наказанием (или тем, что в Google называют ручными санкциями).

Penguin строго алгоритмический по своей природе. Он не может быть применён или снят специалистами компании Google в ручном режиме.

Несмотря на то, что действие алгоритма и ручные санкции, могут привести к большому падению в поисковой выдаче, между ними большая разница.

Ручные санкции возникают, когда специалист подразделения Google по борьбе с веб-спамом отвечает на претензию, проводит расследование и приходит к выводу о необходимости наложить санкции на домен. В этом случае вы получите уведомление в Google Search Console.

Когда к сайту применяются ручные санкции, нужно не только проанализировать внешние ссылки и отправить файл Disavow, содержащий спам-ссылки, но и отправить запрос на пересмотр вашего «дела» командой Google.

Понижение позиций в поисковой выдаче алгоритмом происходит без всякого вмешательства со стороны специалистов Google. Всё делает алгоритм Пингвин Гугл.

Раньше приходилось ждать изменения или обновления алгоритма, но теперь Penguin работает в режиме реального времени. Поэтому восстановление позиций может произойти гораздо быстрее (если работа по очистке была выполнена качественно).

Миф: Google уведомит вас, если алгоритм Penguin повлияет на ваш сайт

К сожалению, это не правда. Google Search Console не уведомит о том, что поисковые позиции вашего сайта ухудшились в результате работы алгоритма Penguin.

Это снова показывает разницу между алгоритмом и ручными санкциями – вас уведомят, если на сайт были наложены санкции. Но процесс восстановления от воздействия алгоритма схож с восстановлением от ручных санкций.

Миф: дезавуирование плохих ссылок – единственный путь восстановиться от воздействия алгоритма Penguin

Хотя эта тактика и позволяет удалить многие низкокачественные ссылки, она бесполезна. Алгоритм Penguin определяет долю хороших, качественных ссылок относительно спам-ссылок.

Поэтому вместо того, чтобы направить все силы на удаление низкокачественных ссылок, стоит сфокусироваться на увеличении количества качественных внешних ссылок. Это позитивно скажется на соотношении, которое учитывает алгоритм Penguin.

Миф: Вам не восстановиться от воздействия алгоритма Penguin

Можно вывести сайт из под Гугл Пингвин. Но это потребует некоторого опыта во взаимодействии с постоянно меняющимися алгоритмами Google.

Лучший способ избавиться от негативного влияния алгоритма Penguin – это забыть обо всех существующих внешних ссылках, ведущих на сайт, и начать собирать новые. Чем больше качественных внешних ссылок соберёте, тем проще будет освободить ваш сайт от уз алгоритма Google Penguin.