Компонент "Google Indexing" для InstantCMS — НЕТ ВОЙНЕ!

Компонент "Google Indexing"

Компонент "Google Indexing" для InstantCMS помогает индексировать сайт в Google, отправляя запросы на индексирование страниц с помощью Google Indexing API.
Компонент "Google Indexing" 0Компонент "Google Indexing" 1Компонент "Google Indexing" 2Компонент "Google Indexing" 3Компонент "Google Indexing" 4Компонент "Google Indexing" 5Компонент "Google Indexing" 6Компонент "Google Indexing" 7Компонент "Google Indexing" 8Компонент "Google Indexing" 9Компонент "Google Indexing" 10

Каждый вебмастер сталкивался с проблемами индексации страниц сайта в Google. Причем, плохо индексируются как новые страницы, так и старые. Решение уже давно найдено - использовать Google Indexing API. В сети полно рецептов, как делать это вручную, есть также плагины для других движков.

Этот компонент написан для InstantCMS. Каждый раз, когда добавляется, редактируется или удаляется страница, отправляется в корзину или восстанавливается из нее, компонент отправит соответствующий запрос в Google. 

Но этим работа компонента не ограничивается. Если на сайте много не проиндексированных страниц, то их можно добавить в очередь, и все они будут отправлены на индексацию в порядке очереди по расписанию планировщика.

Особенности работы компонента

  • При добавлении, редактировании, удалении, удалении в корзину или восстановлении из корзины записи типов контента, выбранного в опциях, срабатывает хук, отправляющий запрос на добавление (обновление) ссылки в индекс Google или удаление из индекса. В версии 1.0.1 добавлена опция для включения/выключения событий, когда будет отправляться запросы.
  • Если у вас исчерпан суточный лимит, то ссылка добавляется в очередь.
  • В очередь можно добавить произвольные ссылки. Это может быть просто список ссылок (например, на категории, фильтры и т.д.), а можно автоматически добавить ссылки на записи из типов контента. При этом стоит учитывать конфигурацию сервера и указывать количество ссылок для добавления за один раз. При ручном добавлении максимальное количество за один раз - 1000 ссылок. В версии 1.0.1 добавлена возможность добавлять любое количество ссылок за считанные секунды. Однако, при этом не проверяется их наличие в очереди. 
  • Если в очереди много ссылок, но в первую очередь для вас важно отправлять новые страницы, то в опциях отметьте чекбокс "Обратный порядок очереди". В этом случае сначала будут отправляться новые ссылки, а потом старые.
  • Задание в планировщике будет настроено и активировано сразу после установки компонента. Интервал между запусками 7 минут. За один запуск компонент отправляет по 1 ссылке для каждого ключа. Это сделано для того, чтобы в течение дня оставались лимиты для отправки ссылок на новые записи, а также для того, чтобы не вызвать нагрузку на сервер при большом количестве ключей.
  • При отправке запросов из очереди Google не принимает битые ссылки, ссылки, не принадлежащие вам и т. д. В этом случае возвращается ошибка. Ссылки с ошибками помечаются в очереди красным цветом с указанием кода ошибки. При следующем запуске эти ссылки будут проигнорированы. Но вы всегда можете сбросить все ошибки, удалить ссылки по одной или сразу все ссылки с ошибками. Также можно полностью очистить очередь.
  • Информация об успешных запросах пишется в историю. Ссылка удаляется из очереди, если она успешно отправлена.
  • В разделе с ключами можно добавить любое количество ключей, тем самым увеличивая лимит. Для одного ключа предусмотрено до 200 запросов в сутки. После добавления ключа его можно проверить, отправив единичный запрос.

В админке компонента есть подробная инструкция с картинками, как получать ключи, как настроить компонент, а также описание ошибок.

Использовать Google Indexing API на этом сайте я начал 22 мая 2022 года, но сначала вручную. Компонент начал использовать 20 июня 2022 года, тогда начал тестировать, но он уже отправлял запросы. В этот же день сделал скриншот из выдачи Google с количеством проиндексированных страниц этого сайта, хотя информация в выдаче по такому запросу не точная:

Полноценный запуск компонента на сайте после тестирования был 25 июня 2022 года. Используется 4 ключа. Вы можете сами проверить, сколько проиндексировано страниц, введя в поиске Google запрос "site:nifigasse.ru". Повторюсь - это не точная информация, поэтому ниже немного скриншотов из Google Search Console:

С 13 июля начал использовать 12 ключей. Чуть позже добавлю еще скриншотов.

Скачать компонент "Google Indexing"

Текущая версия:
1.0.5
Совместимость с InstantCMS:
2.12.2-2.15.2
Поддержка:
4 недели
Скачиваний:
18
0
LenoparD LenoparD 1 месяц назад #

Спасибо!!! Давно ждала нечто подобное.

0
Rus67 Rus67 1 месяц назад #

Было бы здорово если ещё была добавлена возможность автоматического добавления ссылок страниц фильтрации.

0
admin admin 1 месяц назад #

Может быть когда-нибудь и добавлю, но не сейчас. Пока можно попробовать сделать по аналогии с этим. Правда, я пока не вникал, где хранятся сохраненные фильтры.

0
LenoparD LenoparD 1 месяц назад #

Здравствуйте. Установила компонент, все установилось хорошо, настройки простые и понятные. Отдельное спасибо за подробную инструкцию. Создала 30 аккаунтов и 30 ключей. Правда пришлось купить несколько дополнительных симок:)) Добавила первые 60000 ссылок. Удивительно, но сайт действительно начал индексироваться. Если у меня было всего 200 страниц в поиске, то сейчас уже 8000. И это всего за 3 дня, отправляя по 6000 ссылок в день. Но есть одна проблема, помогите, пожалуйста, ее разрешить. На сайте есть один тип контента, в котором больше миллиона страниц. Сервер не справляется добавлять больше 20000 ссылок за один раз. Получаю ошибку превышения времени выполнения. И время их добавления очень долгое. Получается что мне нужно добавлять все ссылки несколько дней. Как можно ускорить добавление большого количества ссылок?

+2
admin admin 1 месяц назад #

Добрый день.

При добавлении ссылок проверяется их уникальность, чтобы исключить дубли. Если ссылка найдена, но у нее другой тип запроса, то обновляется тип запроса. А если всё одинаковое, то просто пропускается.

К сожалению, ускорить через админку этот процесс не получится. Хотя есть мысль попробовать добавить кое-какую опцию, но надо тестировать, проверить, получится так или нет. Пока не буду рассказывать подробности.

Что касается самой проблемы. Можно сделать импорт-экспорт в phpMyAdmin. На одном из сайтов я именно так и сделал, 480к ссылок добавил за 4 минуты.

Если интересно, то порядок такой.

Откройте phpMyAdmin.

Выберите БД и нажмите на кнопку SQL:

Изображение

Введите запрос

  1. SELECT `slug` FROM `cms_con_board`;

Где cms_con_board — это таблица вашего типа контента. Нажмите на кнопку «Вперед».

Вы получите результат, внизу под таблицей в блоке «Использование результатов запроса» нажмите не кнопку «Экспорт»:

Изображение

На следующей странице выберите формат «CSV for MS Excel»:

Изображение

Откройте полученный файл с помощью Excel. В нем будет первый столбец заполнен значениями slug ваших записей. Удалите первую строку, она вам не нужна. Установите курсор в ячейку B1.

Выберите Формулы -> Текстовые -> Сцепить:

Изображение

В открывшемся окошке введите в первой строке:

«вашсайт.ру/board/» — где board — это тип контента. Если тип контента по-умолчанию (т. е. в адресе нет имени ТК), то введите "вашсайт.ру/"

Установите курсор во второе поле и кликните на ячейку A1.

В третьем поле напишите ".html"

Изображение

Теперь надо выделить весь столбец, где будет наша формула и во вкладке «Главная» выбрать Заполнить -> Вниз:

Изображение

Сохраните файл и закройте его. Excel в файлах csv не сохраняет формулы, а только значения. Нам так и надо. Теперь откройте опять этот файл и удалите столбец A. Сохраните и закройте.

Теперь надо импортировать файл в БД. Переходим в phpMyAdmin, открываем таблицу cms_googleindexing_queue, нажимаем на кнопку «Импорт»:

Изображение

Выбираем наш файл. Внизу в блоке «Параметры формата» пишем в поле «Названия столбцов» url:

Изображение

Нажимаем «Вперед», дожидаемся выполнения и всё.

0
LenoparD LenoparD 1 месяц назад #

Спасибо, попробую:))

0
admin admin 1 месяц назад #

Вышло обновление, теперь можно добавлять все ваши миллионы ссылок за несколько секунд.

0
Rus67 Rus67 1 месяц назад #

Скажите пожалуйста, что именно изменилось?

Когда вы находитесь на этом сайте, мы следим за вами. Мы не злопамятные, поэтому записываем всё в блокнотик и в файлы cookies. И вы с этим полностью согласны. Без вариантов.
1562768
1660471124