Утверждениесредняя
robots.txt блокирует сканирование, noindex запрещает индексацию
#crawl-budget
9 карточек и 0 публикаций по теме.
Знания 9
Правилонизкая
Детектор пустых хитов: HTML скачан, JS/CSS не запрошены
Утверждениесредняя
Для малых и средних сайтов ограничение — раздувание URL, а не crawl budget
Утверждениевысокая
Новые сайты стартуют с консервативного лимита сканирования по умолчанию
Правилонизкая
Отдавать 304 на неизменившихся страницах, чтобы не жечь бюджет сканирования
Правиловысокая
Порог, с которого crawl budget вообще имеет смысл оптимизировать
Утверждениевысокая
Пропускная способность сканирования делится между всеми краулерами Google
Утверждениесредняя
Чистка зомби-страниц высвобождает рендер-бюджет и ускоряет переиндексацию
Утверждениесредняя
Эффект «песочницы» у новых сайтов — начальное выделение ресурсов, а не штраф