Привет, друзья! Создание любого сайта всегда идет по определенному алгоритму. И одним из важных шагов является обязательное добавление адреса нового сайта в Яндекс.Вебмастер. Начинающие вебмастера часто задают вопрос, зачем нужен Яндекс.Вебмастер. Я могу выделить две основные причины:
- Сервис позволяет сообщить поисковой системе Яндекс, что в Интернете появился новый сайт, и его нужно индексировать.
- Вебмастер — это совокупность инструментов аналитики для эффективной диагностики работы сайта и своевременного реагирования на возникшие проблемы.
Предлагаю в этой статье разобраться, как пользоваться сервисом Яндекс.Вебмастер.
Содержание:
Как подтвердить права сайта в Яндекс.Вебмастер
Это равнозначное понятие с запросом, как добавить сайт в Яндекс.Вебмастер или пройти верификацию. Для этого необходимо воспользоваться следующей ссылкой. Сервис откроется при условии, что вы авторизированы в аккаунте Яндекса. Проще говоря, у вас зарегистрирована почта на Яндекс.
Вебмастер предлагает три варианта подтверждения прав на сайт:
- через размещение специального HTML-файла в корневой папке сайта на хостинге,
- через добавление мета-тега в код главной страницы сайта,
- через DNS-запись.
На мой взгляд для новичков проще всего воспользоваться первым вариантом: скачать предложенный файл на сервисе и загрузить в корневую папку сайта на хостинг. Обычно эта папка называется public_html. Повторяться, как это сделать, я не буду, т.к. у меня уже есть статья с пошаговой инструкцией, как подтвердить права сайта в Яндекс.Вебмастер.
Второй вариант использовать тоже можно, при условии, что вы умеете работать с кодом веб-площадки. А вот про третий вариант нет информации даже в обучающем курсе самого Яндекса со ссылкой на то, что делать настройку через DNS сложно. Лично я всегда пользовалась вариантом №1.
Верификация сайта также позволяет показать Яндекс.Вебмастер, что вы действительно являетесь владельцем заявленной площадки.
Когда права подтверждены, самое время научиться пользоваться сервисом. Все возможности Вебмастера находятся в меню личного кабинета. Предлагаю рассмотреть их по порядку. Возможно, что вы читаете эту статью спустя какое-то время, и произошли изменения. Тем не менее основная информация всегда остается неизменной.
Сводка
Первое, что я анализирую при входе на сервис, это страницу Сводки. На этой странице отображаются все основные графики для диагностики развития веб-площадки.
Виджет с заголовком Проблемы сайта показывает наличие или отсутствие проблем на вашем ресурсе. Яндекс.Вебмастер все проблемы, которые могут возникнуть, делит на три основные категории: фатальные, критичные, возможные. Более подробно, что же “прячется” под такой трактовкой, разберем ниже.
Также под этим виджетом постоянно висит блок с рекомендацией подключить турбо-страницы. На самом деле я глубоко эту тему не изучала, но насколько поняла, размещать рекламу на таких страницах можно только от РСЯ. Если я неправа, и недостаток Турбо-страниц в чем-то другом, пожалуйста, напишите в комментариях. Турбо-страницами пользуются далеко не все сайта, и на это есть какие-то причины.
Виджет Обновления поиска отображает с помощью графика и ссылок статьи, которые попали в поиск или были удалены. Совсем недавно я делилась информацией в своей группе ВК, как с помощью этого инструмента обнаружила, что мои статьи перестали попадать в выдачу. Если вам интересно, этот пост вы найдете в моем сообществе. Поэтому очень важно проводить диагностику ресурса хотя бы один раз в неделю.
Виджет Клики в поиске показывает в виде графика, как меняется кликабельность ваших материалов в выдаче. Ниже списком выводятся самые популярные запросы, которые являются источником основного трафика на вашу площадку. И здесь можно проанализировать соотношение показов страниц в выдаче к кликам по ним.
Виджет История обхода позволяет узнать, какие страницы сайта обходит робот. Это реализуется за счет размещения графика и ниже списка ссылок на страницы. Рядом с каждой страницей можно увидеть ответ сервера. Например, 404 отвечает, что такой страницы не существует, а 200 — страница доступна для поискового робота.
Виджет Последние ссылки отображает список внешних ссылок, сделанных на ваш ресурс в разрезе конкретных страниц.
Виджет ИКС показывает размер ИКС вашей площадки. График меняется, если ИКС растет или падает. На моем блоге ИКС подрос последний раз в феврале этого года, и пока график абсолютно прямой.
Обратите внимание, что каждый виджет в Сводке Яндекс.Вебмастер кликабельный. Клик по виджету открывает соответствующий раздел сервиса. Мы разберем это дальше по порядку. Т.е. страница Сводки позволяет сделать краткую диагностику всех процессов, которые происходят сейчас на вашем сайте.
Качество сайта Яндекс.Вебмастер
Состоит из двух подразделов: показатели качества и отзывы.
Показатели качества
За показатели качества в первую очередь отвечает уже известный вам ИКС (индекс качества сайта). По старинке часть пользователей этот показатель все еще называет ТИЦ (тематический индекс цитирования). Но это неправильно, т.к. он утратил не только свое название, но и значение еще в 2018 году.
ИКС — это показатель востребованности сайта пользователями по данным Яндекса. Он рассчитывается один раз в месяц.
Ниже идет система значков, которую также ввела поисковая система Яндекс. На сегодняшний день каждому ресурсу можно присвоить только 4 значка:
- защищенное соединение (наличие SSL-сертификата на сайте),
- популярный сайт — площадка получает это значок, если имеет высокую посещаемость и постоянную аудиторию,
- выбор пользователей — для сайтов с высокой степенью вовлеченности и лояльности пользователей,
- турбо-страницы — этим значком будут помечены ресурсы, которые подключили данную функцию.
Чуть ниже отображается сводная таблица со всеми показателями качества. Например, если сайт добавлен в Яндекс.Справочник, в соответствующем столбце вы увидите галочку это подтверждающее.
Под этой формой находится функция, которая позволяет добавить сайт конкурента в сравнение. Попробуйте — это интересно, на самом деле.
Отзывы
Кажется в 2019 году Яндекс предоставил возможность всем пользователям оставлять отзывы на сайты. При этом алгоритм Яндекса работает таким образом, что веб-площадки для оценки он предлагает именно те, с которыми пользователь уже знаком. Говорю это из личного опыта, потому что тоже пользуюсь поисковой системой Яндекс.
Изначально на любой сайт можно было оставить только отзыв. Отзывы на собственный ресурс всегда можно найти в соответствующем разделе сервиса Яндекс.Вебмастер.
Но буквально недавно появилась шкала с оценкой сайта. Рассчитывать на то, что ваш сайт, как 100$-ая купюра будет нравится всем, не приходится. К сожалению, у меня нет возможности задать вопрос тем, кто ставит дизлайки моему блогу. Но мне всегда интересно, чем же так информация на блоге разочаровала этих пользователей. Потому что я уделяю огромное количество времени, чтобы написать действительно полезную и интересную статью для читателей. И судя по отказам всего в 9-11% по Метрике мои материалы нравятся пользователям. Но дизлайки всегда ставятся исподтишка и теми, кто ни на что другое и не способен. Это так: мои мысли вслух.
На самом деле это еще не самое страшное: гораздо страшнее, когда на онлайн-ресурс организуют ddos-атаку или преднамеренно спамят ссылками. И через это мой блог уже проходил. И что самое интересное, я прекрасно понимаю, что это дело рук не женщин (по той простой причине, что там, где сейчас я, их не так много, и у них совершенно другие цели), этим занимаются “благородные” мужчины. Ничего не имею против мужчин (наоборот, с мужчинами мне всегда было проще работать и сотрудничать), но, к сожалению, встречаются бракованные экземпляры.
Это я к тому, чтобы вы не расстраивались из-за негативных оценок, отзывов и периодически возникающих проблем. Не сдавайтесь, продолжайте делать свою работу качественно и для людей. На самом деле благодарных пользователей намного больше.
Диагностика
Диагностика отображает проблемы сайта. Помните, в начале статьи я говорила об ошибках, которые могут возникнуть на вашей площадке? Как раз этот раздел позволяет такие ошибки отследить.
К фатальным ошибкам Яндекс.Вебмастер относит:
- проблемы с безопасностью сайта,
- главная страница ресурса недоступна для робота,
- невозможность подключиться к серверу из-за ошибки DNS,
- сайт закрыт в файле robots.txt.
Критичные ошибки — это:
- долгий ответ сервера,
- неработающие внутренние ссылки (слышали термин “висячие узлы”?),
- ошибка в настройке SSL-сертификата.
К возможным проблемам относится:
- ошибки в файле robots.txt,
- отсутствие необходимых элементов в сниппете: title, description,
- favicon (логотип площадки в браузере) не доступен для робота,
- нет файлов Sitemap (или они давно не обновлялись), доступных для поискового робота,
- ошибки в файлах Sitemap,
- в результатах поиска не отображаются поддомены сайта,
- некорректно настроена 404 страница,
- не включен обход страниц по счетчику Яндекс.Метрики,
- редирект главной страницы на другой сайт,
- у главного зеркала сайта отсутствует HTTPS-протокол,
- большое количество страниц- дублей. От страниц-дублей, например, позволяет избавиться плагин Clearfy Pro,
- отсутствует файл robots.txt.
Кроме ошибок, которые требуют устранения, Вебмастер предлагает воспользоваться рекомендациями. Например, указать для ресурса регион в Яндекс.Справочнике или установить счетчик Яндекс.Метрики на веб-площадку, если он до сих пор не установлен.
В разделе Безопасность и нарушения появляется информация только в том случае, если Яндекс обнаруживает угрозу на вашем сайте, например, страницы, зараженные вирусом.
Поисковые запросы
Не так давно раздел Поисковых запросов расширился новыми инструментами статистики. На момент выхода этой статьи инструменты доступны не всем. Но в скором времени оценить их возможности смогут все участники Яндекс.Вебмастер.
Статистика запросов (Популярные запросы) отображает все запросы в порядке убывания, которые приводят пользователей на сайт. При этом каждый запрос можно проанализировать в разрезе показателей Показов, Кликов, CTR (%) и средней позиции в выдаче. И что самое главное, для анализа можно выбрать любой период.
Статистика страниц помогает понять, насколько хорошо страницы онлайн-площадки привлекают читателей из поиска. Страницы также располагаются в порядке убывания. Наверху стоит самая трафиковая статья.
В разделе Управление группами представлены поисковые запросы, по которым сайт располагается на первых 50 позициях результатов поиска Яндекса за последние 7 дней.
Благодаря имеющемуся здесь фильтру можно проанализировать по каким запросам пользователи приходят на ту или иную страницу ресурса.
Раздел Тренды для меня оказался не таким полезным, как предыдущие инструменты. Здесь можно сделать анализ сайта в сравнении с конкурентами, но не конкретно по домену, а в разрезе общей тематики.
Яндекс может подбирать поисковые запросы для привлечения дополнительного трафика. За это отвечает раздел в Яндекс.Вебмастер — Рекомендованные запросы. На сбор запросов может уйти до нескольких дней. В большинстве случаев эта функция понадобится при ведении рекламы. Но стоит все-таки иногда анализировать этот раздел, чтобы не пропустить возможность более полноценно раскрыть информацию в опубликованных статьях.
Индексирование Яндекс.Вебмастер
В разделе Индексирование Статистика обхода и Страницы в поиске дублируют виджеты, на которые я делала обзор выше, посвященный работе со Сводкой.
Статистика обхода позволяет узнать, какие страницы сайта обходит робот. А также вы увидите адреса страниц, которые робот не смог загрузить по той или иной причине. Указание на ошибку содержится в ответе сервера. Как я уже писала выше, например 404 указывает на то, что этой страницы на веб-ресурсе больше не существует. Ответ сервера 200 означает, что страница доступна для поискового робота. 301 код говорит о настроенном редиректе, и т.д.
Страницы в поиске — раздел отображает страницы сайта, участвующие в поиске Яндекса. Провести такую диагностику позволяют три раздела: последние изменения, все страницы, исключенные страницы.
На вкладке Последние изменения обычно отображаются новые статьи, опубликованные на сайте, которые были проиндексированы поисковым роботом. А также страницы, которые были удалены с сайта с ответом сервера 404.
Канонической признается страница, наиболее релевантная поисковому запросу. По идее, если вы не делаете дубли, не публикуете статьи с одинаковым содержимым на площадке, каждая страница в Вебмастер будет помечена канонической.
На вкладе Исключенные страницы отображаются страницы с ошибкой 404, с редиректом и запрещенные к индексированию через специальные плагины и файл robots.txt.
Структура сайта
Страница отображает разделы сайта в виде дерева в соответствии со структурой URL-сайта. Мой блог включает четыре основных раздела: страницы, категории, теги и медиафайлы. Всего загружено на данный момент 1779 страниц, в поиске — 331 страница. К страницам в поиске относятся статьи на блоге, разрешенные к индексированию. Все остальное, что загружено, но не в поиске, закрыто для индексации. Из них большая часть — это картинки в статьях. К сожалению, материалы моего блога предполагают большое количество скриншотов, отчего постоянно растет цифра раздела wp-content.
Тег <image:image> из XML карты сайта удаляется за счет активации опции Удалить страницы вложений в плагине Clearfy Pro.
Проверить статус URL
Этот раздел позволяет проанализировать, знает ли робот об определенной странице на сайте. Для этого достаточно выбрать любую страницу с ресурса и добавить в поле раздела. Результат отобразится моментально. Если проверяемая страница обходится роботом и находится в поиске — отобразится статус 200 ОК. Также можно проверить и главную страницу сайта.
Мониторинг важных страниц
Возможно, этот раздел важен, когда постоянно идет обновление на страницах онлайн-площадки. Я считаю, что для меня эта функция не так актуальна. Тем не менее, она позволяет отслеживать индексирование наиболее важных страниц сайта и наиболее популярных по статистике Яндекса. Для этого в поле укажите адреса страниц для отслеживания. В итоге, по интересующим вас страницам вы всегда будете видеть последнее изменение, дату обхода, код ответа и статус страницы в поисковой базе.
Переобход страниц
Инструмент, с помощью которого можно сообщить роботу Яндекса, что на вашем сайте появилась новая статья (страница). Я всегда открываю этот инструмент, как только публикую новую статью на блог. Нужно буквально пару секунд, чтобы отправить новую страницу на переобход. Но это в разы ускоряет индексирование статьи, и совет актуален особенно для молодых площадок! Если вы об этом не знали, тогда в дополнении к материалу предлагаю изучить чек-лист по публикации готовой статьи на сайте wordpress.
Отправленные страницы на переобход могут принять один из трех статусов:
- в очереди — страница передана роботу для обхода (на это может уйти до 3-х суток),
- робот обошел — робот посетил заданную страницу (результаты в поиске могут отобразится в течение двух недель),
- ошибка — робот не смог попасть на страницу.
Файлы Sitemap
Sitemap — это специальная карта, созданная для роботов поисковых систем. Роботам, как и людям, важно ориентироваться на местности. Для роботов “местностью” является ваш сайт. И чтобы он быстрее и качественнее индексировал материалы, и создается эта карта. Карта нужна, чтобы робот не пропустил какие-либо страницы сайта.
Чаще всего карта создается автоматически. Помню, что на своем первом блоге для создания такой карты я использовала плагин под названием Google XML Sitemaps.
Но с установкой плагина Yoast Seo необходимость в использовании первого плагина отпала. Все потому, что в Yoast Seo есть функционал, позволяющий включить файлы Sitemap XML. Для этого достаточно перетянуть ползунок в соответствующую позицию.
Так выглядит карта на моем блоге.
А так она выглядит в разделе Файлы Sitemap в Яндекс.Вебмастер.
Через эту форму можно отправить файл Sitemap на индексирование. Это актуально, если веб-ресурс новый.
И желательно ссылку на карту сайта разместить в robots.txt. Ниже я покажу, как она должна выглядеть.
И да, во время диагностика своего блога через Яндекс.Вебмастер, я нашла ошибку. В файле robots.txt у меня была прописана неверная ссылка на файл Sitemap. Видимо потому, что когда я подключила создание карты сайта через плагин Yoast Seo, я забыла исправить ссылку в файле robots.txt. Все дело в том, что Yoast Seo формирует ссылку следующего вида https://denezhnye-ruchejki.ru/sitemap_index.xml, но в первоначальном варианте она выглядела https://denezhnye-ruchejki.ru/sitemap.xml.
Вот почему в разделе Файлы Sitemap отображался редирект, а я даже не обратила на это внимания.
Обход по счетчикам
Здесь все очень просто: робот Вебмастер может узнавать о новых страницах на сайте через данные Метрики, если этот счетчик установлен на вашей веб-площадке.
Переезд сайта
Об этом разделе я узнала только тогда, когда обращалась к специалисту по установке SSL-сертификата в 2017 году. Он отвечает за работу так называемого зеркала.
В результатах поиска должно отражаться только главное зеркало сайта. Но случается, что появляются новые зеркала.
О работе с зеркалами можно почитать в Яндекс Справке.
Скорость обхода
Я доверяю Яндексу, поэтому оставила настройку по умолчанию. А вообще, по желанию, скорость обхода можно задать вручную.
Представление в поиске
Насколько я понимаю, раздел этот в Яндекс.Вебмастер появился недавно, потому что раньше в личном кабинете я его не замечала. Это скорей ознакомительный раздел, чтобы владельцы онлайн-площадок имели представление о том, какие элементы влияют на то, как выглядит сайт в поиске.
Вебмастер выделяет две категории представления в поиске:
- специальные ответы
- сниппет.
Колдунщик Турбо-страниц относится к первой категории. Сюда попадают Турбо-страницы, отвечающие на вопрос пользователя. В поисковой выдаче ответ выделяется специальным блоком, который всегда притягивает к себе внимание. Т.е. этот инструмент позволяет генерировать больше трафика, но не является гарантией, что именно страница с вашего сайта окажется в этом блоке.
Блок “Организация” будет отображаться в выдаче при условии, что ваш ресурс добавлен в Яндекс.Справочник. Это скорей актуально для каких-то организаций с физическим адресом и телефоном. Для обычных информационных сайтов выдача в таком формате не работает.
Сайт появится в новостном блоке, если вы станете партнером Яндекс.Новостей.
С категорией Сниппетов будет полезно ознакомиться новичкам. Здесь в формате скриншотов показано, как выглядит title и description в поисковой выдаче. Отмечу, что эти мета-теги формируются за счет установки плагина веб-площадку. Например, на моем блоге title и description выводятся за счет плагина Yoast Seo. Что такое фавиконка, и как она отображается рядом с адресом сайта в выдаче поиска. Про знаки качества, которые присваиваются сайту, я уже писала выше, в том числе о знаке защищенного соединения и турбо-страницах.
К сниппету относятся картинки, и в выдачу они выводятся с помощью специальной микроразметки, о которой мы поговорим чуть ниже.
Блок Быстрые ссылки показывает популярные разделы сайтов. И о них мы тоже поговорим немного позднее.
Галерея статей, товарный сниппет, список товаров будет формироваться в выдаче при условии подключения Турбо-страниц на сайте.
Ссылки
Внутренние ссылки отображают неработающие ссылки. Они делятся на 2 группы: ошибки на стороне сервера и запрещены к индексированию или не существуют. В моем примере все ссылки относятся ко второй группе и все потому, что на сайте запрещен доступ поисковым роботам к страницам пагинации. Опять же возвращаюсь к тому, что эту настройку я выставила с помощью плагина Clearfy Pro.
Раздел Внешних ссылок показывает ссылки, сделанные на ваш сайт. Ну у меня здесь ничего интересного нет, потому что на мой блог почти никто не ссылается, а закупкой я не занимаюсь.
Тем не менее, благодаря этому разделу я весной прошлого года отследила ссылочную атаку на мой блог. Это когда, чтобы навредить сайту, специально проставляются ссылки с заброшенных, забаненных, зафильтрованных ресурсов. По-другому этот термин называется “ссылочный спам”. Тогда на мой блог единовременно было проставлено ссылок порядка с 800 таких доменов. Я сразу написала в поддержку Яндекс.Вебмастер с предупреждением, что это не моих рук дело. Ну а в Google пришлось “попотеть” с заполнением формы для отклонения ссылок.
Еще полезно заглядывать в этот раздел, чтобы отследить неработающие внешние ссылки. Например, сейчас мой канал на Яндекс.Дзен с одноименным названием Секреты интернет-маркетинга находится на проверке в статусе “Канал с подозрительным контентом” уже второй месяц. Я бы могла много чего об этом написать, но оставлю эти мысли для другой статьи.
Видимо, когда канал находится на проверке, не работают и внешние ссылки с канала. А так как я размещала с канала внешние ссылки на мой блог, сейчас они отображаются, как неработающие. Пока оставлю так, дождусь уже вердикта Яндекс.Дзен и буду смотреть дальше, что мне с этими постами делать. Желание вести канал по тематике интернет-маркетинга на Яндекс.Дзен у меня пропало напрочь. Тема и так крайне не популярная для платформы, да еще эта двухмесячная проверка дали повод задуматься, а нужно ли мне это вообще. Лучше уж продвигать то, что читателям действительно нравится. Это как в отношениях: когда тянешь с принятием какого-то важного решения, у второй половины появляются сомнения и время подумать, а так ли ей это нужно…
Показатель ИКС с сайтов-доноров оказывает влияние на площадку. Поэтому всегда в цене сайты-доноры с высоким показателем ИКС: ведь он отображает качество информации и популярность ресурса среди пользователей.
Если вы специально не покупаете ссылки, вы не можете контролировать ИКС сайтов-доноров. Но у вас есть возможность, благодаря разделу Внешние ссылки, проанализировать с сайтов с каким ИКС сделаны ссылки на ваш ресурс. Эта информация отображается в виде графика, и можно отследить по каждой странице отдельно.
Информация о сайте на Яндекс.Вебмастер
Региональность сайта
Указать Региональность сайта можно через Яндекс.Справочник, если сайт был в него добавлен. Этот инструмент не так актуален для обычных информационных блогов, но важен для сайтов, которые продвигают определенные бизнесы. Ведь при ранжировании сайтов Яндекс учитывает регион сайта. И чтобы выдача строилась корректно, в первую очередь, для вашей веб-площадки, необходимо самостоятельно определить географию ресурса. А то получится так, что вы будете печь пиццу на продажу в своем родном городе где-нибудь в Самаре, а по запросу “заказать пиццу” ваш сайт будет находится на первом месте в поисковой выдаче в Москве.
Указать регион можно не только в Справочнике, но и в настройках Вебмастера.
Оригинальные тексты
С разделом Оригинальные тексты точно знакомы все блогеры. Этот инструмент в некотором смысле позволяет застраховать свой сайт от копирования контента. Это не значит, что если ссылка на статью будет добавлена в этот раздел, текст никто не украдет. Это является сигналом для Яндекса, что авторское право на текст принадлежит вашему сайту. Считается, что если Яндекс это видит, то ваша статья в выдаче будет выше, а то, что своровано, понижаться в поиске. Но по факту, я знаю, что это не всегда так. Тем не менее, пренебрегать инструментом Оригинальные тексты никому не советую!
Регистр имени сайта
Раздел, который позволяет изменить внешний вид имени сайта. Термин “регистр” говорит сам за себя. Самый простой пример, если сайт состоит из словосочетания, которое написано слитно и строчными буквами, можно первую букву каждого слова заменить на заглавную. Изменения вступят в силу не автоматически, а только после проверки модератором. Поэтому сманипулировать этим инструментом не получится. Поддержка просто не пропустит.
Товары и цены
Раздел актуален для интернет-магазинов. Инструмент используется для улучшения представления сайта в результатах поиска.
Быстрые ссылки
Я не помню, когда появилась эта функция, но, если набрать в поиске Яндекса Блог Денежные ручейки, в выдаче появится мой сайт, под которым как раз и располагаются эти быстрые ссылки.
Но не в том количестве, в котором они представлены в самом инструменте. Кроме того часть быстрых ссылок я отключила, посчитав их неважными для запроса. Отключить быстрые ссылки на Яндекс.Вебмастер очень просто: достаточно кликнуть по “глазику” с левой стороны. По желанию, чтобы вообще не показывать блок Быстрых ссылок в результатах поиска, просто удалите соответствующую галочку из настроек.
Турбо-страницы
К сожалению, у меня нет опыта работы с Турбо-страницами на сайте, поэтому я оставляю этот вопрос на изучение. Как только мне будет чем с вами поделиться, я напишу новую статью. А так, в этом разделе можно познакомиться с технологией и сделать все соответствующие настройки.
Инструменты Яндекс.Вебмастер
Анализ robots.txt
Помню, когда я только начинала познавать азы сайтостроения, для меня файл robots.txt был сродни китайской грамоте! Я и сейчас самостоятельно не смогу прописать необходимые команды, но по крайней мере, теперь я понимаю, что за что здесь отвечает. У меня нет цели грузить вас лишней ненужной информацией, потому что уже готовый файл robots.txt можно скачать из Интернета — стоит только немного поискать. Если же вы установите на сайт плагин Clearfy Pro (а я рекомендую это сделать, потому что он закрывает многие пробелы движка wordpress), то он автоматически сгенерирует для вашей площадки идеальный robots.txt.
Я не активировала эту опцию, т.к. файл robots.txt для моего блога был создан задолго до приобретения этого плагина. А вот новичкам очень советую не мучиться и воспользоваться предложенным вариантом.
Основные команды, которые вы должны знать:
- User-agent: * — обращение ко всем поисковым системам,
- User-agent: Yandex — обращение к роботу Яндекс,
- User-agent: Googlebot — обращение к роботу Google,
- Allow: — разрешено для индексирования,
- Disallow: — запрещено для индексирования,
- Sitemap: https://domen.ru/sitemap_index.xml — ссылка на карту сайта Sitemap.
Инструмент Яндекс.Вебмастер Анализ robots.txt позволяет проверить ваш файл на ошибки. Для этого скопируйте код файла с вашего сайта и вставьте в пустую форму. На всякий случай напомню, как открыть robots.txt в браузере: после домена сайта допишите /robots.txt. Пример: https://domen.ru/robots.txt.
Ниже есть возможность выборочно проверить страницы сайта, доступны ли они для индексирования.
Анализ файлов Sitemap
Данный раздел позволяет проанализировать файлы Sitemap на ошибки перед тем, как загрузить их в Яндекс.Вебмастер. Вручную я ни разу не добавляла файл Sitemap на сервис, насколько я понимаю, это все происходит автоматически.
По правилам Яндекса файл с картой не должен превышать 50 Мб и содержать не более 50 000 страниц. Если карта не отвечает этим требованиям, ее можно разбить на несколько файлов.
Проверка ответа сервера
Информацию на сайте индексирует несколько поисковых роботов. Например, есть Основной робот Яндекса, есть Робот Яндекс.Картинок, Робот Яндекс.Видео, Робот Яндекс.Вебмастера.
И с помощью инструмента Проверка ответа сервера вы можете проверить доступен ли ваш сайт для обхода этими роботами. Для этого в форме необходимо указать домен и выбрать из выпадающего списка робота для анализа.
Если ошибок нет, код статуса должен быть 200 ОК.
Удаление страниц из поиска
Если вы по каким-то своим причинам удалили страницу с сайта, было бы неплохо “рассказать” об этом сервису Яндекс.Вебмастер. Тем самым вы сможете убрать эту страницу из поиска. В пустом поле просто укажите адрес удаленный страницы сайта.
Проверка мобильных страниц
Сейчас большинство современных шаблонов для сайтов имеют адаптивный дизайн под мобильные устройства. Но все равно, если сайт новый, рекомендуется проверить, оптимизирован ли он под мобильные устройства. Для этого введите в поле адрес сайта.
XML-валидатор
Откровенно говоря, непонятная для меня функция, видимо потому, что я не работаю с партнерскими программами Яндекса. Он предназначен для проверки экспортируемых XML-файлов на валидность до передачи в Яндекс. Эта функция будет интересна и полезна для владельцев бизнесов.
Валидатор микроразметки
Микроразметка на сайте предназначена для оформления визуального представления страниц в поисковой выдаче. В настоящее время для информационных сайтов самой популярной микроразметкой является Schema.org, для интернет-магазинов используют микроразметку The Open Graph. Второй вид микроразметки позволяет “подтягивать” в выдачу часть текста с картинкой товара.
В современные платные шаблоны для сайтов по умолчанию уже встроена микроразметка. Если вы заказываете индивидуальный шаблон у дизайнера-верстальщика, то внедрение микроразметки должно быть обязательным условием договора. Для бесплатных шаблонов, чтобы разметить данные, можно пригласить специалиста с биржи фриланса, например. На моем блоге микроразметку как раз устанавливал такой вебмастер.
Валидатор микроразметки на Яндекс.Вебмастер позволяет проверить внедренную микроразметку на сайте.
Настройки
Настройки — это последний раздел сервиса Яндекс.Вебмастер. На самом деле есть еще раздел с полезными сервисам, но это лишь ссылки на другие сервисы Яндекса, например, возможность открыть Яндекс.Метрику. В этой статье у меня нет цели рассказать о всех остальных сервисах Яндекса — это просто нереально! Если уж и появится у меня такое желание, то я напишу новый пост. Хотя в новый пост уже “напрашивается” обзор Яндекс.Метрики.
Уведомления
Итак, в настройки входит подраздел Уведомления. С помощью мышки у вас есть возможность указать, куда вам присылать уведомления об изменениях, связанных с вашим сайтом, которые отслеживает Яндекс.Вебмастер: в сервисе или почтой. Вебмастер отслеживает и реагирует на изменения в целом по сайту, на важных или турбо-страницах.
Права доступа
Раздел Права доступа часто бывает необходим, когда с вашим сайтом работает сторонний специалист. Права доступа к Яндекс.Вебмастеру предоставляется через функцию Делегирование прав. Для этого в пустое поле Делегирования прав необходимо добавить электронную почту yandex человека, которому вы хотите предоставить доступ.
Как только электронная почта появится в списке пользователей, управляющих сайтом, человек, который получил права, может беспрепятственно открыть Вебмастер с аналитикой вашего сайта. Сбросить права также просто, как их и предоставить. Достаточно кликнуть рядом с этой электронной почтой по кнопке Сбросить права.
Привязка к Яндекс.Метрике
Согласно Яндекс.Справке такая привязка поисковому роботу позволяет быстрее обходить ваш сайт. Т.е. таким образом мы сообщаем Яндексу, что нужно обходить страницы, на которых установлен счетчик Метрики.
В Вебмастер через соответствующую кнопку добавьте номер счетчика Метрики. А в личном кабинете Яндекс.Метрика в разделе Настройки — вкладка Доступ нажмите на кнопку Подтвердить.
И не забудьте после этих действий вернуться в Вебмастер — раздел Индексирование — Обход по счетчикам и включить обход. Об этом я писала выше.
Иконка ИКС
Это виджет, который можно установить на сайт, где будет отображаться ИКС вашей веб-площадки. Не знаю, часто ли пользуются этим функционалом. Возможно, какие-то крупные и трастовые сервисы.
Итак, друзья, сегодня мы с вами разобрали, как пользоваться сервисом Яндекс.Вебмастер и проводить диагностику сайта, используя его инструменты. Я считаю, что умение работать с аналитикой подобных программ — это основа успеха любого владельца сайта. Ведь именно такие инструменты позволяют вовремя реагировать на изменения, которые происходят с площадкой. Надеюсь, что моя статья оказалась для вас полезной.
Вместо заключения
Пока работала над этим материалом, ИКС на моем блоге подрос на 10 пунктов.
Еще один важный нюанс. Если у вас возникла потребность написать в техподдержку Яндекс.Вебмастер (равно Платону Щукину), сделать это на самом деле очень просто. В разделе Сводка спуститесь вниз страницы и кликните по активной ссылке Обратная связь. Дальше выберите интересующую вас тему из списка. Следующая страница, скорей всего, еще раз попросит уточнить тему (но вы не сдавайтесь (!) — к сожалению, это особенность Яндекса). В итоге вы все равно дойдете до формы с обратной связью, куда можно будет задать вопрос.
Автор статьи Ольга Абрамова, блог Денежные ручейки
Спасибо за советы-)