Как ловко заблокировать сайт, того не понимая.

В общем, рылся на днях один товарищ в старых сайтах и обнаружил вот такой вот robots.txt

User-agent: *
Crawl-delay: 2

User-agent: Mozbot
Disallow: /

Как известно, Crawl-delay давно игнорируется Гуглом. Но в данном случае Google не только проигнорировал задержку сканирования, но и начало новой секции, что привело к полной блокировке сайта.

Выводы:
1. Не используйте Crawl-delay - эта штука устарела лет 10 назад (или больше).
2. Не оставляйте секции без Allow/Disallow
3. Прописывайте межсекционные директивы в самом конце robots.txt

Посмотреть на оригинал записи можно в твиттере.

Пояснение, почему так происходит - в инструкции Гугла.

#DrMax #Google