Компонент "Google Indexing"

Каждый вебмастер сталкивался, особенно в последние пару лет, с проблемами индексации страниц сайта в Google. Причем, плохо индексируются как новые страницы, так и старые. Решение найдено и оно перед вами!

Этот компонент написан для InstantCMS, но использовать его можно на любом сайте вне зависимости от того, на каком движке он работает!

Если сайт работает на InstantCMS, то каждый раз, когда добавляется, редактируется или удаляется страница, отправляется в корзину или восстанавливается из нее, компонент отправит соответствующий запрос в Google. 

Но этим работа компонента не ограничивается. Если на сайте много не проиндексированных страниц, то их можно добавить в очередь, и все они будут отправлены на индексацию в порядке очереди по расписанию планировщика.

Особенности работы компонента

• При добавлении, редактировании, удалении, удалении в корзину или восстановлении из корзины записи типов контента, выбранного в опциях, срабатывает хук, отправляющий запрос на добавление (обновление) ссылки в индекс Google или удаление из индекса. В версии 1.0.1 добавлена опция для включения/выключения событий, когда будет отправляться запросы.
• Если у вас исчерпан суточный лимит, то ссылка добавляется в очередь.
• В очередь можно добавить произвольные ссылки. Это может быть просто список ссылок (например, на категории, фильтры и т.д.), а можно автоматически добавить ссылки на записи из типов контента. При этом стоит учитывать конфигурацию сервера и указывать количество ссылок для добавления за один раз. При ручном добавлении максимальное количество за один раз - 1000 ссылок. В версии 1.0.1 добавлена возможность добавлять любое количество ссылок за считанные секунды. Однако, при этом не проверяется их наличие в очереди. В версии 1.0.7 появилась возможность добавлять ссылки из файла карты сайта sitemap.xml. Можно загрузить файл в админке или указать ссылку на файл.
• В версии 1.0.6 появилась возможность отправлять на индексацию чужие ссылки - те, для которых вы не можете подтвердить права доступа в Google Search Console. Это могут быть ссылки на статьи из ссылочных бирж. Ссылки отправляются через промежуточную страницу 302 редиректом. Таким образом можно проиндексировать статьи из Миралинкса и других подобных сервисов.
• Если в очереди много ссылок, но в первую очередь для вас важно отправлять новые страницы, то в опциях отметьте чекбокс "Обратный порядок очереди". В этом случае сначала будут отправляться новые ссылки, а потом старые.
• Задание в планировщике будет настроено и активировано сразу после установки компонента. Интервал между запусками 7 минут. За один запуск компонент отправляет по 1 ссылке для каждого ключа. Это сделано для того, чтобы в течение дня оставались лимиты для отправки ссылок на новые записи, а также для того, чтобы не вызвать нагрузку на сервер при большом количестве ключей. В версии 1.0.9 добавлена пакетная отправка запросов.
• При отправке запросов из очереди Google не принимает битые ссылки, ссылки, не принадлежащие вам и т. д. В этом случае возвращается ошибка. Ссылки с ошибками помечаются в очереди красным цветом с указанием кода ошибки. При следующем запуске эти ссылки будут проигнорированы. Но вы всегда можете сбросить все ошибки, удалить ссылки по одной или сразу все ссылки с ошибками. Также можно полностью очистить очередь.
• Информация об успешных запросах пишется в историю. Ссылка удаляется из очереди, если она успешно отправлена.
• В разделе с ключами можно добавить любое количество ключей, тем самым увеличивая лимит. Для одного ключа предусмотрено до 200 запросов в сутки. После добавления ключа его можно проверить, отправив единичный запрос.
• В версии 1.0.9 добавлена поддержка IndexNow - запросы отправляются при добавлении/изменении/удалении новых записей на сайте. А в версии 1.1.0 добавлена очередь IndexNow — теперь можно отправлять запросы на индексацию старых страниц.

В админке компонента есть подробная инструкция с картинками, как получать ключи, как настроить компонент, а также описание ошибок.

Использовать Google Indexing API на этом сайте я начал 22 мая 2022 года, но сначала вручную. Компонент начал использовать 20 июня 2022 года, тогда начал тестировать, но он уже отправлял запросы. Полноценный запуск компонента на сайте после тестирования был 25 июня 2022 года. Сначала использовалось 4 ключа, потом увеличил их количество до 12. Немного скриншотов:

Купить компонент можно как здесь, так и на Кворке.