Необходимым условием для правильной индексации сайта является наличие в его корневой папке файла robots.txt, содержащего параметры индексирования сайта. Больше информации о robots.txt — в справке Яндекса. Его можно создать самостоятельно. Только согласитесь, что не все захотят с этим “заморачиваться”. В этой статье вы найдете примеры robots.txt для сайта.

Версия robots.txt из справки Яндекса

Чтобы создать правильный robots.txt, в первую очередь, необходимо знать директивы, которые поддерживает Яндекс.

robots.txt для сайта пример

Например, Disallow запрещает индексирование тех разделов сайта и отдельных страниц, которые вы укажите в этом файле. Allow, напротив, разрешает это индексирование. Реже используются директивы Clean-param и Crawl-delay.

Пример robots.txt с моего сайта на wordpress

Вы можете воспользоваться готовым примером robots.txt, который специально для моего блога составил приглашенный вебмастер. Ну и, в принципе, по запросу в Интернете можно найти другие примеры и применить именно их. 

User-agent: Yandex 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 
Allow: /feed/turbo/
Host: https://denezhnye-ruchejki.ru

User-agent: Googlebot 
Disallow: /wp-admin 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: Mail.Ru
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-Agent: YaDirectBot
Disallow:

Sitemap: https://denezhnye-ruchejki.ru/sitemap_index.xml

Готовый robots.txt, сгенерированный с помощью плагина Clearfy Pro

Самый простой и идеальный вариант, особенно для новичков, которые впервые решили создать сайт, это воспользоваться специальной опцией плагина Clearfy Pro. 

Я считаю, что этот плагин должен стоять на всех сайтах, созданных на движке wordpress. О преимуществах плагина Clearfy Pro я уже писала на своем блоге.

В настройках Clearfy Pro есть опция под названием Создать правильный robots.txt. Всё, что от вас требуется, это активировать данный рычажок — всё произойдет автоматически! По желанию, вы можете отредактировать команды или добавить свои правила.

плагин Clearfy Pro

Как установить на сайт текстовый файл robots.txt

Для ручной установки без плагина полностью скопируйте все команды из примера выше и вставьте в Блокнот. Чтобы данный файл работал корректно, необходимо заменить в примере название сайта на название вашей веб-площадки в следующих строках: Host и Sitemap.

Будьте аккуратнее, меняйте только название сайта, не удаляйте лишних символов и не ставьте ненужных пробелов. Далее Файл — Сохранить как — наименование robots.txt —  Сохранить.

Последним этапом необходимо загрузить готовый документ в корневую папку сайта public_html.

В консоли хостинга TimeWeb  перейдите в папку Файловый менеджер.

файловый менеджер

В ней найдите сайт, в который требуется установить текстовый robots.txt. Двойным щелчком вы попадете в папку public_html. Также откройте ее.

папка public_html

Вверху нажмите Файл — Закачать и выберите готовый robots.txt из папки на компьютере — Закачать.

закачать в файловый менеджер

Robots.txt установлен и лежит в папке public_html.

robots.txt

Чтобы проверить, правильно ли установлен данный файл, посмотрите короткий видеоурок.

Блок выведен с помощью плагина OmniVideo

Автор статьи Ольга Абрамова, блог Денежные ручейки