Добрый день, друзья!

Сегодня речь пойдет о том,  как правильно составить файл robots.txt для wordpress,  для чего нужен, как редактируется и для чего этот файл добавлять в сервисы вебмастеров Яндекс и Google. Я вам напишу пример правильного  файла  robots.txt для wordpress, поскольку именно этот движок я использую для своего блога.

Утром вышел на улицу и был удивлен морозом, который ощутил на себе. Столбик термометра показывал минус 20 градусов, а когда дует встречный ветер, то ощущение на все -25..-30 градусов, честное слово. Слезы начинают  не произвольно катиться из глаз,  щеки леденеют, вспоминается сюжет сказки про Снежную королеву и оленей, которые от сильного ветра и холода не могли двигаться вперед.   🙂 Но человек крепче и настырней оленя, поэтому на работу я добрался благополучно.

На Украине сейчас морозы серьезные, не зря февраль на украинском языке пишется “лютый”, точней и не скажешь.

На днях, читательница моего блога, Зоя, просила проконсультировать её по одному вопросу на  блоге и я заметил, что файл robots.txt у нее содержит небольшие ошибки. Следствием этого может являться проблемы с индексацией страниц. После этого я словил себя на мысли, что еще не освещал подобную тему, так созрела идея нового  поста.

Данный вопрос для новичков очень важен, с этим файлом необходимо раз разобраться, правильно составить, загрузить на хостинг и забыть. Для тех, кто ведет блог давно, этот вопрос не вызовет сложностей.

Файл robots.txt является рекомендацией для поисковых роботов и указывает, что нужно индексировать в содержимом вашего блога, а что скрыть от индексации.

Важно для молодого сайта  создать правильный файл robots.txt и разместить его в корневой директории вашего блога. После этого поисковые роботы (Google и Яндекс) будут иметь конкретные директивы , какие записи и посты необходимо индексировать, а которые нет.

Если не корректно составить этот файл, то можно создать огромное количество дублированных страниц, что в свою очередь приведет к попаданию блога под фильтры поисковых систем.

Я представлю вам универсальный пример  файла robots.txt для wordpress, который размещен у меня. На любом блоге этот файл доступен по ссылке вашсайт.ru/robots.txt , где название сайта – его url

Если хотите детально разобраться во всех тонкостях файла, можете почитать тут

Итак, вот скрин моего файла robots.txt, скопировать содержимое можно пройдя по ссылке- https://rabotaiuspeh.com/robots.txt

Немного пояснений:

User-agent: * — знак “*” означает, что правила рекомендуют всем поисковым машинам.

User-agent: Yandex — для Яндекса нужно прописывать директиву персонально.

Disallow (англ. не разрешать): cqi-bin — cqi-bin это директория на сервере, где находятся скрипты, предназначенные для выполнения, эта папка находится в корневом каталоге.

Host: rabotaiuspeh.com – это главное зеркало моего  блога

Sitemap: https://rabotaiuspeh.com/sitemap.xml 
Sitemap: 

В последних двух строчках прописан адрес карты сайта для поисковых роботов

Не забудьте изменить внизу на свой url вместо моего  https://rabotaiuspeh.com

А также можете в первую верхнюю часть добавить строки

Disallow: /*?* Disallow: /*?

Я их пока удалил, поскольку избавляюсь от дублей replytocom, которые вызваны древовидными комментариями ( подробности )

Основные правила составления файла robots.txt для wordpress

Важно!

1. Между записями для одного поисковика в файле  не должно быть пустых строк
2. Имя “файл robots.txt” пишется только малыми буквами (писать Robots.txt или roBots.Txt не верно!)
3. Строки

Disallow: /category/*/*

Disallow: /tag/

Прописывайте на ваше усмотрение, я категории закрываю, а теги у меня открыты

4. Если у вас ЧПУ в настройках (ссылки имеют вид , то данный файл вам подойдет.

Если у вас в настройках стандартные ЧПУ (имеют вид , тогда уберите строку

Disallow:  /*?*

5. Вы всегда можете зайти и подкорректировать файл robots.txt , но не делайте это слишком часто. Не ждите мгновенных изменений в индексации после изменений файла, подождите пару недель, особенно, если у Вас молодой сайт. Помните, что поисковым роботам необходимо время для изменений.

Теперь полученный файл вы должны залить при помощи ftp-клиента в корневую папку вашего блога, если хотите подкорректировать уже существующий, то откройте через Notepad++ , измените и нажмите “сохранить”.

Анализ файла robots.txt и добавление в Яндекс и Google вебмастер

После этого вам желательно зайти в панель вебмастеров Яндекс (по ссылке)

Далее выберите свой сайт и слева “Настройка индексирования” =>>”Анализ robots.txt”

Затем добавляете свой файл robots.txt и проверяете его нажав на “проверить”

Для Google проводите подобные действия: регистрируйтесь, добавляйте свой сайт, затем в панели для вебмастеров добавляете для конкретного сайта файл robots.txt.

Теперь вы знаете,  как правильно составить файл robots.txt, на что обратить внимание при его редактировании  и как правильно добавить в панели для вебмастеров Google и Yandex.

Если есть вопросы или замечания по теме, пожалуйста пишите в комментариях. Буду признателен, если поделитесь данной статьей в социальных сетях, кнопки в конце поста.

Сегодня финиширует январский конкурс комментаторов, в 24-00 по Москве сделаю скрин, всем участникам  УДАЧИ!

В завершении поста прекрассный захватывающий ролик, приятного просмотра:

До встречи!

Интересные статьи по данной теме:

Как ускорить индексацию сайта в Яндекс и Google

Оптимизация базы данных (MySQL), установка Optimize DB

Внутренняя оптимизация сайта – основные моменты

Как ускорить индексацию страниц сайта – 12 советов

С уважением, Вилков Николай

Хотите в числе первых узнавать о новых статьях и курсах?

Подпишитесь на обновления моего блога и мой канал на YouTube
Если статья вам понравилась, поделитесь с друзьями в социальных сетях. Спасибо!