Закрытие сайта от индексирования поисковыми роботами
02/10/2015
Вопрос: Как закрыть мой сайт от индексирования поисковыми роботами?
Ответ: Наиболее простой способ закрыть свой сайт заключается в настройке файла Robots.txt . Robots.txt – небольшой текстовый файл, который чаще всего лежит в корне вашего сайта и содержит указание поисковым системам относительно индексирования вашего сайта. Редактировать его можно через любой текстовый редактор.
- Скачайте через FTP или файл-менеджер вышеуказанный файл на свой компьютер, или, если файла нет в корне вашего сайта – создайте его у себя на компьютере.
- Откройте файл через текстовый редактор (не забудьте сделать копию файла перед его редактированием!)
- Замените содержимое файла на
User-agent: *
Disallow: /
Первая строчка сигнализирует поисковым системам о том, что следующее правило будет распространяться сразу на нескольких роботов.
Вторая строчка сигнализирует роботам о том, что корневой раздел сайта и все его подразделы следует закрыть от индексации.
Более подробно о директивах вы можете прочитать на сайте сообщества https://www.robotstxt.org/robotstxt.html
- Через FTP или файл-менеджер скопируйте получившийся файл обратно, в корень сайта, заменив старую его версию. Через некоторое время (1-2 недели) ваш сайт перестанет отображаться в результатах выдачи поисковых систем.