Подробности работы обновлённого Googlebot

Стали известны некоторые детали работы обновлённого Googlebot, который теперь всегда будет функционировать на основе актуальной версии Chromium.

Давайте рассмотрим их более подробно.

Старый агент пользователя

Как оказалось, Google не осуществил обновление так называемого агента пользователя для Googlebot и по-прежнему применяет старый вариант, в котором присутствует упоминание Chrome 41. При этом поисковый робот уже сейчас должен работать на базе Chrome 74. Во всяком случае, именно об этом публично заявляют представители корпорации Google.

Одновременно с этим стало известно, что Google планирует осуществить обновление user-agent в самом ближайшем будущем.

Два обхода для JavaScript-страниц

Google до сих пор обрабатывает JavaScript-контент в два обхода. Поэтому задержки в его индексации по-прежнему весьма вероятны, но при этом появилась поддержка более 1000 новых функций.

В ответ на вопрос о том есть ли у Google планы по объединению этих двух фаз индексации JavaScript -контента в одну, сотрудник корпорации Мартин Сплит произнес весьма стандартную фразу: «[Нам] пока не о чем объявить».

Объём сканирования остается прежним

Отвечая на вопрос о том, изменится ли объём сканирования – то есть, не станет ли Googlebot сканировать меньшее количество веб-страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов сотрудник корпорации Мартин Сплит однозначно ответил, что этого не произойдет.

Поддержка новых функций

В результате состоявшегося обновления Googlebot получил поддержку более 1000 новых функций.

Googlebot обновился не во всех инструментах Google

Хорошо известно, что Googlebot используется в самых разнообразных сервисах и подразделениях Google, однако  на данный момент он обновился далеко не во всех из них.

На сегодняшний день произошедшее обновление Googlebot затронуло только поисковую систему. Одновременно с этим необходимо понимать, что инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test), а также многие другие сервисы Google пока что не переведены на обновлённую версию Googlebot, но это обязательно произойдет в будущем.

По словам сотрудника поисковой системы Google Гэри Илша у IT-корпорации нет возможности внедрить обновление Googlebot одновременно во все сервисы из-за особенностей применяемой инфраструктуры. Именно поэтому корпорации Google понадобится определенное время для обновления всех своих сервисов.

Новый user-agent

Некоторые вебмастера обратили внимание на то, что в лог-файлах начал появляется новый агент пользователя, содержащий следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

На сегодняшний день представители корпорации Google не стали отвечать на вопрос о том, что это за user-agent.

В заключение стоит напомнить, что обновленная версия Googlebot была официально представлена в рамках конференции для разработчиков I/O 2019.