robots.txt блокирует сканирование, noindex запрещает индексацию

robots.txt и noindex решают разные задачи: первый блокирует сканирование
страницы, второй разрешает Google просканировать страницу, но запрещает держать
её в индексе. Автор приводит это различие в контексте оптимизации краулингового
бюджета, которая на крупных сайтах критически важна. Следствие: выбор между
двумя инструментами нужно делать осознанно — закрытая в robots.txt страница не
может быть прочитана и, значит, не может получить директиву noindex.