Google Indexing API: Ускоряем Индексацию Страниц

Введение

Быстрая проверка страниц роботом Google — важнейший фактор успешного SEO. Если сайт часто обновляется или добавляются новые страницы, важно, чтобы они быстро попадали в выдачу.

Google Indexing API — известный готовый инструмент, который позволяет разработчикам и SEO-специалистам ускорять этот процесс управления индексацией.

Ниже, в статье, пункт за пунктом рассмотрим и разберем вопросы как им воспользоваться для продвижения. Мы подготовили небольшой экскурс по работе программы.

Как его использовать Google Indexing API и зачем он нужен?

Это специализированное ПО, интерфейс которого дает возможность отправлять адреса страниц сайта непосредственно в Google для ранжирования. Это особенно актуально для сайтов, которые имеют динамический контент и возраст более года: новостные порталы, блоги, интернет-магазины. Именно api позволяет миновать стандартные временные задержки и ожидания индексации.

Если необходимо настроить процесс индексации и отправки обновленных страниц в Гугле, то Google Indexing API – отличное решение.

SEO-продвижение и техническая оптимизация страниц сайта в Google, играет очень важную роль в продвижении бизнеса. Владельцы сайтов могут продавать товары уже в первые месяцы. Если сайт уже работает и нужно улучшить видимость в поисковой выдаче, необходимо использовать различные методы оптимизации.

Google Indexing API- положительные стороны:

• Ускоренная индексация измененных страниц.
• Оперативное обновление изменений на уже существующих страницах.
• Полный контроль процесса.
• API поддерживает любое количество адресов страниц.
• Если URL ранее уже индексировался, API просто обновит его данные.
• Возможность проводить индексации специфических страниц сайта, такими как поиск вакансий, объявления, новости.

Инструкция использования

Кратко, алгоритм подготовки к работе с Google Indexing API выглядит так:

• Переходим в Google Cloud и выбираем подходящий проект.
• Устанавливаем софт (также с помощью библиотеки requests), необходимые для работы с API.
• Создаем документ и список url-адресов, которые требуется отправить на индексацию.

Создание сервисной учетной записи в облачной платформе Google

Создайте проект.

• В Google Cloud Platform и нажимаем “Select a project”. В новом диалоговом окне отобразится проект
  
• Выберите “New Project”, укажите название и нажмите кнопку программы “Create project” (создать новый).
  

Создаем сервисный аккаунт поисковой системы Google.

• В меню слева выберите «IAM & Admin» > «Service Accounts».
  
• Нажмите “Create Service Account”, укажите название и выберите роль “Owner”.

• Завершите создание сервисного аккаунта (учетной записи).

Следующий шаг — создайте новый ключ JSON:

• Жмем на три точки в разделе сервисных аккаунтов и выбираем пункт “Manage Keys”.

• Нажмите “Add Key” > “Create new key” и выберите формат JSON.

• Скачанный файл ключа сохраните на ПК.

• Скопируйте адрес сервисного аккаунта.

Добавляем технический аккаунт в сервис Google:

• Создаем имя нового аккаунта в Google Search Console и добавляем сервисный аккаунт на нужный сайт/проект в разделе “Пользователи и разрешения”

Включение Indexing API

• В Google Cloud Platform переходим на раздел Indexing API и активируем через кнопку “Enable”.

Установка Скрипта и Подготовка

• Может быть полезен скрипт с портала GitHub — скачайте его.

• Разархивируйте файл, который необходим в удобное место (например, на рабочий стол).

• Вставьте содержимое JSON-ключа в файл service_account.json.

Установка Node.js

• Перейдите на сайт Node.js и установите последнюю версию.
• После завершения установки убедитесь, что папка node_modules появилась в директории установки Node.js. Теперь доступен атрибут “done” для выполнения дальнейших действий.

Подготовка ссылок для проверки

• Соберите URL. Можно использовать Google Search Console (раздел “Sitemaps” и фильтр «Crawled — currently not indexed»).
• Скопируйте 100 строк адресов и добавьте их в файл urls.txt в папке со скриптом. Убедитесь, что не добавляете более 100 наименований за раз и каждый из них начинается с новой строки.

Запуск кода и Индексация

• Откройте командную строку (достаточно нажать Win + R, затем введя cmd) и перейдите в папку со скриптом (cd Desktop/indexing-api). Путь к каждому скрипту индивидуален и зависит от настроек системы и того, где сами ее расположили. Лучше это сделать на основном диске.
  
  Например, чтобы попасть по пути как на скриншоте, нужно прописать:
  cd Onedrive  — cd Рабочий стол — cd VD — cd VD1

• Введите последовательно данные команды

1. npm install — установка необходимых пакетов
2. npm audit fix — исправление найденных уязвимостей и других проблем
3. npm audit fix —force — принудительное исправление уязвимостей
4. node index.js — запуск приложения

• Успешная индексация адреса отображается кодом “200”. Это не зависит от внешних действий.

Лимиты API

Лимиты Google Indexing вводятся для предотвращения перегрузки серверов и обеспечения равномерного распределения ресурсов. Далее мы разберем способы управления лимитами и оптимизации запросов.

Как правильно работать с лимитами?

Чтобы делать больше запросов, нужно понимать, какие ограничения установлены. Обычно они касаются:

• Количества запросов в минуту/час;
• Максимального объема данных в одном ответе;
• Ограничений на одновременные подключения.

Как проверить текущие лимиты

Google Indexing API часто предоставляет информацию о текущем лимите. В том числе заголовки ответа могут содержать:

• X-RateLimit-Limit – общее количество запросов
• X-RateLimit-Remaining – сколько осталось
• X-RateLimit-Reset – время сброса

Лимит загрузки URL в индекс с одного сервисного аккаунта составляет 200 адресов в сутки, то есть вы можете отправлять по 100 ссылок два раза в сутки. Чтобы обойти этот лимит, можно создать несколько папок с разными JSON-ключами от различных сервисных аккаунтов. В командной строке при запуске скрипта укажите путь к нужной папке.

Ошибки и их решения

• Ошибка: Недопустимый формат адреса. Убедитесь, что каждый начинается с новой строки.
• Ошибка доступа к API. Проверьте, добавлен ли сервисный ключ в Google Search Console.
• “Страница не найдена”. Ошибка 404 появляется при некорректном введении адреса, его физического отсутствия (массово остались старые ссылки и домены). Рекомендуется посмотреть сколько было опубликовано ранее.
• Дубль. Робот из двух одинаковых адресов, выбирает расширенный вариант, после этого определяет какие страницы корректные и должны быть проиндексированы. Если не проставлен канонический адрес, то это повлияет на результаты поиска.
• Ошибка robots.txt. Разработчик не дал доступ к нужным разделам. Некорректно поставил follow/nofollow.
• Сбой работы сервера. Частая проблема при работе с большим количеством страниц. Это может быть технический момент, такой как перегрузка оборудования, либо ошибка ввода данных.

Альтернативные методы индексации страниц

Google Indexing API не является панацеей для продвижения и ранжирования разделов сайта. Он может не подходить. Взаимозаменяемым вариантом могут стать плагины CMS (Rank Math), которые позволяют вручную направлять адрес в Google Search Console. Вариант не такой эффективный, требующий больше времени. Однако при этом глубокие познания не потребуются.

Как определить результативность Google Indexing API

Хорошие показатели сразу не проявляются. Должен пройти хотя бы месяц. Если число проиндексированных страниц кратно увеличилось и при этом минимум ошибок, то действия пользователя были правильными. Важно понимать, что методика полезна крупным сайтам, с большим количеством разделов. Это интернет-магазины, объявления. С небольшими порталами справятся стандартные инструменты обхода роботом адресов. Важно точно определить диапазон анализа по итогам добавления (например, с января по март).

Заключение

Итак, google indexing является вспомогательным элементом в работе над сайтом. Этот инструмент для ускоренной проверки разделов вашего сайта, тем самым открывая пользователям контент быстрее, чем до них стандартно дойдет бот Яндекс или Google. Настройте работу программы и сделайте регулярно обновляемый интерфейс для комфортного взаимодействия с софтом. Перед началом, стоит создать сервисный аккаунт Google. Выше приведен перечень действий для улучшения индексации страниц сайта. Последовательные действия помогут получить показатели выше.

FAQ

Скрипт не работает, что делать?

Причины: 

• Сервисный аккаунт Google настроен неверно, требуется пересмотреть настройки/
• Файл url.txt содержит пробелы и пустые строки.
• если два первых пункта проверены, но работа не возобновилась — требуется переустановка библиотеки node_modules.

Как удалить страницы из индекса при помощи Google Indexing API?
В скрипте делаем изменения URL_UPDATED на URL_DELETED. Метод необходим, чтобы уведомить Google об удалении страниц.