Про неизвестно откуда берущиеся 404/301 ссылки

Меня тут спрашивали, а я не успел ответить: у товарища появляются 404 страницы / 301 редиректы, а страницы со ссылками, которые их генерируют, не найдены.

Итак, следует понимать, что из за небрежности, зачастую, мобильная и десктопная версия несколько различны. И если вы не находите ссылки в десктопной версии, то они могут быть в мобильной.

Вообще есть 4 места откуда могут вылезти такие ссылки:
1. Десктоп без реендеринга скриптов
2. Десктоп с реендерингом скриптов
3. Мобильная версия без реендиранга скриптов
4. Мобильная версия с реендерингом скриптов

✔️В хроме смотрим десктоп/мобильную версию, нажимая CTRL+SHIFT+I.
✔️Различия между отреендеренной и нет версией смотрим тут.

Как следует из моей практики, на 80% такие ссылки находятся в мобильном меню - оттуда и начинайте рыть.

Пример: мобильная неотреендеренная версия генерирует битую ссылку, а отреендеренная, скриптами, переписывает её на рабочую. Из за особенности индексации Гугла, сначала в индекс зайдет неотреендеренная страница, породить битую 404 страницу, а спустя какое то время кэш будет переписан на отреендеренную страницу. И там битой ссылки уже нет, но 404 старница уже попала в очередь сканирования. Такая фигня встречается часто, последний раз видел буквально на днях.

🛠️ Второй большой блок, что нужно проверить - внешние ссылки, ведущие на 404 страницы. Посмотрите и поищите битые URL в GSC в разделе ссылок.

🛠️ Довольно часто бывает, что делалась тестовая версия сайта на ином домене/поддомене и она попала в индекс и не была удалена. С течением времени, после реструктуризации рабочего сайта, такие тестовые версии начинают генерировать 404 ссылки. Проверьте это.

🛠️ Ну про устарелую xml-карту сайта и говорить нечего - там тоже могут быть битые ссылки.

🛠️ Иногда битые ссылки генерируются AMP страницами.

🛠️ Иногда битые ссылки генерируются движком из за перегрузки сервера - самая паскудная фантомная ошибка.

🛠️ И, наконец, иногда в отчетах могут фигурировать ошибки 404 для URL, которых никогда не было на сайте. Подобная ситуация возможна, если пользователь пытается перейти по несуществующему URL, например некорректно указывает его в адресной строке браузера.

🚀 Что делать в первую очередь.
Проведите массовое сканирование сайта лягушкой в десктопной, а затем в мобильной версии с включенным реендерингом скриптов. При этом в настройках Configuration-->Spider-->Advanced включите решпект каноникалам и ноиндексу. В конфигурации- роботс отключите следование правилам роботса. Ищите страницы и ссылки, которые порождают 404 и 301 редиректы.

#DrMax #SEO