Детектор пустых хитов: HTML скачан, JS/CSS не запрошены
## Условие
По логам сервера: URL регулярно сканируется Googlebot (особенно Googlebot Smartphone) —
то есть HTML отдаётся, — но связанные с этим URL критически важные JS/CSS файлы
не запрашиваются никогда или крайне редко. Значит, страница скачивается, но не рендерится.
## Порог
Порог не указан. Автор задаёт качественный критерий «никогда или крайне редко»
и не называет ни числа хитов, ни доли рендеров, ни окна наблюдения.
## Действие
Собрать список таких URL как карту для чистки. Дальше по типу страницы:
страницы фильтров и сортировок, генерирующие тысячи дублей, — закрыть в robots.txt
и использовать rel="canonical"; «пустые» страницы тегов и старые некачественные статьи —
слить 301-м редиректом на более релевантные категории или статьи, либо удалить и отдавать 410.
находим страницы, которые Googlebot (особенно Smartphone) регулярно сканирует (получает HTML), но при этом никогда или крайне редко запрашивает связанные с ними критически важные JS/CSS файлы
Извлечено из поста: Краулинг-менеджмент. Часть 2.