Правиловысокая
источник
Порог, с которого crawl budget вообще имеет смысл оптимизировать
## Условие
Проверяется, попадает ли сайт в категорию, для которой Google считает crawl budget реальным
ограничением: оцениваются число уникальных страниц и скорость изменения контента.
## Порог
1M+ уникальных страниц с умеренно часто меняющимся контентом, либо 10 000+ страниц с очень
быстро меняющимся контентом.
## Действие
Ниже порога — не тратить ресурс на оптимизацию crawl budget: более мелкие сайты, по
документации, и так сканируются эффективно. Выше порога — заниматься эффективностью
сканирования, в том числе повышать скорость работы сайта.
Уточнено, кому реально нужно заботиться о crawl budget: сайты 1M+ уникальных страниц с умеренно часто меняющимся контентом, или 10,000+ страниц с очень быстро меняющимся контентом.
Извлечено из поста: Google обновил документацию по 'бюджету сканирования'