Краулинговый бюджет – это лимит страниц, которые Googlebot может просканировать (проиндексировать) за сутки. После такого сканирования страницы добавляются в индекс и занимают соответствующее место в поисковой выдаче. Без индексации страницы не появятся в выдаче, а значит, и пользователи их не увидят.
Как правило, это проблема для больших сайтов (от 1 млн страниц). Но бывают и исключения, когда в Google Search Console указано среднее количество страниц для обхода 500, а по факту Googlebot успевает обойти только 300. Так что если вы заинтересовались вопросом краулингового бюджета, обязательно запросите данные по вашему сайту у seo-специалиста или проанализируйте ситуацию самостоятельно, следуя нашим инструкциям.
Зайдите в Google Search Console в статистику сканирования. Важен показатель, который говорит о среднестатистическом количестве страниц, просмотренных роботом.
Обратите внимание, что эти данные могут меняться. Так что периодически отслеживайте показатели.
1. Увеличить скорость загрузки сайта. И не забудьте, что это актуально не только для декстопных устройств, но и для мобильных. Так как индексируют их два разных бота Google.
2. Улучшите внутреннюю перелинковку. Особенно это касается посадочных страниц, куда идет основной трафик. Есть мнение, что если на странице менее 10 внутренних ссылок, то она реже просматривается Googlebot.
Перелинковка – это ссылки внутри сайта на связующие страницы.
3. Проанализируйте иерархию сайта. Желательно, чтобы на сайте было 3-4 уровня. Чем глубже в каталоге находится страница, тем тяжелее роботу до нее добраться. Имейте это ввиду, когда ведете трафик на страницу 5-6 уровня.
4. Удалите мусор. Проведите технический аудит, разберитесь с дублями и ошибками на сайте. Приведите его в порядок, чтобы поисковый робот понимал, что сайт не заброшен и над его содержанием и полезностью постоянно работают.
5. Закройте ненужные страницы от индексации. Обычно закрывают те страницы, которые не влияют на позиции сайта в поисковой выдаче или которые совершенно не нужно показывать другим пользователям. Например, корзину, страницу с выбранными фильтрами, страницу входа в личный кабинет и т.д.
6. Приведите в порядок sitemap.xml. Помогите оценить контент вашего сайта, расскажите роботу Google о том, какие страницы более значимые, а какие нет.
sitemap.xml – карта сайта. Составляется для поисковых роботов, чтобы они понимали иерархию страниц.
7. Наращивайте внешнюю ссылочную массу. Экспериментальные данные говорят о том, что, чем больше качественных ссылок ведут на ваш ресурс, тем авторитетнее он выглядит для поисковиков. А это, в свою очередь, значит, что и краулинговый бюджет для полезного сайта можно увеличить.
8. Добавьте динамический контент. Если вам необходимо, чтобы какие-то страницы Googlebot обходил чаще, то добавьте туда блок: «С этим товаром покупают», «Акции», «Рекомендованные товары» - и обновляйте его ежедневно. Бот обязательно это увидит и будет наведываться на эти страницы чаще.
Чтобы увеличить краулинговый бюджет всегда нужно начинать с аналитики внутреннего состояния сайта. Покажите Googlebot полезность своего ресурса. Поработайте над исправлением технических ошибок, следите, чтобы контент был уникальным и полезным. Следуйте нашим правилам и рекомендациям, и тогда поисковой робот будет обходить по 150 тыс. страниц в день.
Спасибо!, ваша заявка принята.
Проверьте вашу почту, мы уже выслали вам чек-лист.
Ваш сайт вручную сможет проверить наш специалист
Закажи анализ эффективности вашего сайта для увеличения посещаемости и увеличения количества заявок/звонков
SEO-параметры. Узнайте почему вы до сих пор не в топе.
И как можно получить больше заявок, исправив всего 3 вещи.
Стоимость 900 р.