Утверждениесредняя robots.txt блокирует сканирование, noindex запрещает индексацию indexingcrawl-budgetrobots