Что нужно знать о краулинговом бюджете и почему это актуально не только для интернет-магазинов
- Для каких сайтов актуальна проблема с ограничением индексации
- Как узнать краулинговый бюджет
- От чего зависит количество страниц, которые обходит Googlebot
- Как управлять и увеличивать краулинговый бюджет
Краулинговый бюджет – это лимит страниц, которые Googlebot может просканировать (проиндексировать) за сутки. После такого сканирования страницы добавляются в индекс и занимают соответствующее место в поисковой выдаче. Без индексации страницы не появятся в выдаче, а значит, и пользователи их не увидят.
Для каких сайтов актуальна проблема с ограничением индексации?
Как правило, это проблема для больших сайтов (от 1 млн страниц). Но бывают и исключения, когда в Google Search Console указано среднее количество страниц для обхода 500, а по факту Googlebot успевает обойти только 300. Так что если вы заинтересовались вопросом краулингового бюджета, обязательно запросите данные по вашему сайту у seo-специалиста или проанализируйте ситуацию самостоятельно, следуя нашим инструкциям.
Как узнать краулинговый бюджет сайта
Зайдите в Google Search Console в статистику сканирования. Важен показатель, который говорит о среднестатистическом количестве страниц, просмотренных роботом.
Обратите внимание, что эти данные могут меняться. Так что периодически отслеживайте показатели.
От чего зависит количество страниц, которые обходит Googlebot:
- скорость загрузки страницы. Чем выше скорость, тем быстрее робот сканирует страницу и тем больше у него остается времени на следующие;
- работа сервера. Здесь желательно, чтобы сервер работал стабильно без перебоев, иначе количество страниц, индексируемых Googlebot, тоже может уменьшиться;
- количество трафика на страницу. Например, интернет-магазин eBay может похвастаться гораздо большим количеством посетителей, чем региональный сайт по продаже детской одежды. И логично, что краулинговый бюджет для eBay будет в несколько раз больше;
- качество контента на сайте. Если у вас неуникальные статьи и много спама, то не удивляйтесь, почему Googlebot не часто к вам заходит. Более подробно читайте в нашей статье: "Что такое контент-маркетинг";
- наличие дублей и большое количество редиректов. Дубли и редиректы говорят о том, что за сайтом следят не так тщательно, как хотелось бы. Поисковики «любят» отдавать предпочтение тем веб-ресурсам, над улучшением которых постоянно работают.
Как управлять и увеличивать краулинговый бюджет?
1. Увеличить скорость загрузки сайта. И не забудьте, что это актуально не только для декстопных устройств, но и для мобильных. Так как индексируют их два разных бота Google.
2. Улучшите внутреннюю перелинковку. Особенно это касается посадочных страниц, куда идет основной трафик. Есть мнение, что если на странице менее 10 внутренних ссылок, то она реже просматривается Googlebot.
Перелинковка – это ссылки внутри сайта на связующие страницы.
3. Проанализируйте иерархию сайта. Желательно, чтобы на сайте было 3-4 уровня. Чем глубже в каталоге находится страница, тем тяжелее роботу до нее добраться. Имейте это ввиду, когда ведете трафик на страницу 5-6 уровня.
4. Удалите мусор. Проведите технический аудит, разберитесь с дублями и ошибками на сайте. Приведите его в порядок, чтобы поисковый робот понимал, что сайт не заброшен и над его содержанием и полезностью постоянно работают.
5. Закройте ненужные страницы от индексации. Обычно закрывают те страницы, которые не влияют на позиции сайта в поисковой выдаче или которые совершенно не нужно показывать другим пользователям. Например, корзину, страницу с выбранными фильтрами, страницу входа в личный кабинет и т.д.
6. Приведите в порядок sitemap.xml. Помогите оценить контент вашего сайта, расскажите роботу Google о том, какие страницы более значимые, а какие нет.
sitemap.xml – карта сайта. Составляется для поисковых роботов, чтобы они понимали иерархию страниц.
7. Наращивайте внешнюю ссылочную массу. Экспериментальные данные говорят о том, что, чем больше качественных ссылок ведут на ваш ресурс, тем авторитетнее он выглядит для поисковиков. А это, в свою очередь, значит, что и краулинговый бюджет для полезного сайта можно увеличить.
8. Добавьте динамический контент. Если вам необходимо, чтобы какие-то страницы Googlebot обходил чаще, то добавьте туда блок: «С этим товаром покупают», «Акции», «Рекомендованные товары» - и обновляйте его ежедневно. Бот обязательно это увидит и будет наведываться на эти страницы чаще.
Чтобы увеличить краулинговый бюджет всегда нужно начинать с аналитики внутреннего состояния сайта. Покажите Googlebot полезность своего ресурса. Поработайте над исправлением технических ошибок, следите, чтобы контент был уникальным и полезным. Следуйте нашим правилам и рекомендациям, и тогда поисковой робот будет обходить по 150 тыс. страниц в день.
