Для малых и средних сайтов ограничение — раздувание URL, а не crawl budget

Для большинства небольших и средних сайтов узким местом является не лимит сканирования, а
самопроизвольное раздувание числа URL. Автор называет источники раздувания: фасетные
параметры, архивы календаря и забытые тестовые поддомены — они наносят больше вреда, чем
любое ограничение ресурсов. Следствие: на таких сайтах работать надо с числом URL, а не с
crawl budget.