6. Где найти примеры готового robots.txt для установки на сайт

Необходимым условием для правильной индексации сайта является наличие в его корневой папке файла robots.txt, содержащего параметры индексирования сайта. Больше информации о robots.txt — в справке Яндекса. Его можно создать самостоятельно. Только согласитесь, что не все захотят с этим “заморачиваться”. В этой статье вы найдете примеры robots.txt для сайта.

Версия robots.txt из справки Яндекса

Чтобы создать правильный robots.txt, в первую очередь, необходимо знать директивы, которые поддерживает Яндекс.

Например, Disallow запрещает индексирование тех разделов сайта и отдельных страниц, которые вы укажите в этом файле. Allow, напротив, разрешает это индексирование. Реже используются директивы Clean-param и Crawl-delay.

Пример robots.txt с моего сайта на wordpress

Вы можете воспользоваться готовым примером robots.txt, который специально для моего блога составил приглашенный вебмастер. Ну и, в принципе, по запросу в Интернете можно найти другие примеры и применить именно их. 

User-agent: Yandex 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 
Allow: /feed/turbo/
Host: https://denezhnye-ruchejki.ru

User-agent: Googlebot 
Disallow: /wp-admin 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: Mail.Ru
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/ 
Disallow: *?*
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/ 

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-Agent: YaDirectBot
Disallow:

Sitemap: https://denezhnye-ruchejki.ru/sitemap_index.xml

Готовый robots.txt, сгенерированный с помощью плагина Clearfy Pro

Самый простой и идеальный вариант, особенно для новичков, которые впервые решили создать сайт, это воспользоваться специальной опцией плагина Clearfy Pro. 

Я считаю, что этот плагин должен стоять на всех сайтах, созданных на движке wordpress. О преимуществах плагина Clearfy Pro я уже писала на своем блоге.

В настройках Clearfy Pro есть опция под названием Создать правильный robots.txt. Всё, что от вас требуется, это активировать данный рычажок — всё произойдет автоматически! По желанию, вы можете отредактировать команды или добавить свои правила.

Как установить на сайт текстовый файл robots.txt

Для ручной установки без плагина полностью скопируйте все команды из примера выше и вставьте в Блокнот. Чтобы данный файл работал корректно, необходимо заменить в примере название сайта на название вашей веб-площадки в следующих строках: Host и Sitemap.

Будьте аккуратнее, меняйте только название сайта, не удаляйте лишних символов и не ставьте ненужных пробелов. Далее Файл — Сохранить как — наименование robots.txt —  Сохранить.

Последним этапом необходимо загрузить готовый документ в корневую папку сайта public_html.

В консоли хостинга TimeWeb  перейдите в папку Файловый менеджер.

В ней найдите сайт, в который требуется установить текстовый robots.txt. Двойным щелчком вы попадете в папку public_html. Также откройте ее.

Вверху нажмите Файл — Закачать и выберите готовый robots.txt из папки на компьютере — Закачать.

Robots.txt установлен и лежит в папке public_html.

Чтобы проверить, правильно ли установлен данный файл, посмотрите короткий видеоурок.

Автор статьи Ольга Абрамова, блог Денежные ручейки