Файл robots txt для wordpress

 

robots txt для wordpress

Добрый день, друзья!

Сегодня речь пойдет о том,  как правильно составить файл robots.txt для wordpress,  для чего нужен, как редактируется и для чего этот файл добавлять в сервисы вебмастеров Яндекс и Google. Я вам напишу пример правильного  файла  robots.txt для wordpress, поскольку именно этот движок я использую для своего блога.

Утром вышел на улицу и был удивлен морозом, который ощутил на себе. Столбик термометра показывал минус 20 градусов, а когда дует встречный ветер, то ощущение на все -25..-30 градусов, честное слово. Слезы начинают  не произвольно катиться из глаз,  щеки леденеют, вспоминается сюжет сказки про Снежную королеву и оленей, которые от сильного ветра и холода не могли двигаться вперед.   🙂 Но человек крепче и настырней оленя, поэтому на работу я добрался благополучно.

На Украине сейчас морозы серьезные, не зря февраль на украинском языке пишется “лютый”, точней и не скажешь.

На днях, читательница моего блога, Зоя, просила проконсультировать её по одному вопросу на  блоге и я заметил, что файл robots.txt у нее содержит небольшие ошибки. Следствием этого может являться проблемы с индексацией страниц. После этого я словил себя на мысли, что еще не освещал подобную тему, так созрела идея нового  поста.

Данный вопрос для новичков очень важен, с этим файлом необходимо раз разобраться, правильно составить, загрузить на хостинг и забыть. Для тех, кто ведет блог давно, этот вопрос не вызовет сложностей.

Файл robots.txt является рекомендацией для поисковых роботов и указывает, что нужно индексировать в содержимом вашего блога, а что скрыть от индексации.

Важно для молодого сайта  создать правильный файл robots.txt и разместить его в корневой директории вашего блога. После этого поисковые роботы (Google и Яндекс) будут иметь конкретные директивы , какие записи и посты необходимо индексировать, а которые нет.

Если не корректно составить этот файл, то можно создать огромное количество дублированных страниц, что в свою очередь приведет к попаданию блога под фильтры поисковых систем.

Я представлю вам универсальный пример  файла robots.txt для wordpress, который размещен у меня. На любом блоге этот файл доступен по ссылке вашсайт.ru/robots.txt , где название сайта – его url

Если хотите детально разобраться во всех тонкостях файла, можете почитать тут

Итак, вот скрин моего файла robots.txt, скопировать содержимое можно пройдя по ссылке- http://rabotaiuspeh.com/robots.txt

файл robots.txt для вордпресс

Немного пояснений:

User-agent: * — знак “*” означает, что правила рекомендуют всем поисковым машинам.

User-agent: Yandex — для Яндекса нужно прописывать директиву персонально.

Disallow (англ. не разрешать): cqi-bin — cqi-bin это директория на сервере, где находятся скрипты, предназначенные для выполнения, эта папка находится в корневом каталоге.

Host: rabotaiuspeh.com – это главное зеркало моего  блога

Sitemap: http://rabotaiuspeh.com/sitemap.xml 
Sitemap: http://rabotaiuspeh.com/sitemap.xml.gz

В последних двух строчках прописан адрес карты сайта для поисковых роботов

Не забудьте изменить внизу на свой url вместо моего  http://rabotaiuspeh.com

А также можете в первую верхнюю часть добавить строки

Disallow: /*?* Disallow: /*?

Я их пока удалил, поскольку избавляюсь от дублей replytocom, которые вызваны древовидными комментариями ( подробности )

Основные правила составления файла robots.txt для wordpress

Важно!

  1. Между записями для одного поисковика в файле  не должно быть пустых строк
  2. Имя “файл robots.txt” пишется только малыми буквами (писать Robots.txt или roBots.Txt не верно!)
  3. Строки

Disallow: /category/*/*

Disallow: /tag/

Прописывайте на ваше усмотрение, я категории закрываю, а теги у меня открыты

4. Если у вас ЧПУ в настройках (ссылки имеют вид http://rabotaiuspeh.com/kak-najjti-i-obezvredit-dubli-stranic-replytocom.html), то данный файл вам подойдет.

Если у вас в настройках стандартные ЧПУ (имеют вид http://rabotaiuspeh.com/?p=123), тогда уберите строку

Disallow:  /*?*

5. Вы всегда можете зайти и подкорректировать файл robots.txt , но не делайте это слишком часто. Не ждите мгновенных изменений в индексации после изменений файла, подождите пару недель, особенно, если у Вас молодой сайт. Помните, что поисковым роботам необходимо время для изменений.

Теперь полученный файл вы должны залить при помощи ftp-клиента в корневую папку вашего блога, если хотите подкорректировать уже существующий, то откройте через Notepad++ , измените и нажмите “сохранить”.

Анализ файла robots.txt и добавление в Яндекс и Google вебмастер

После этого вам желательно зайти в панель вебмастеров Яндекс (по ссылке)

Далее выберите свой сайт и слева “Настройка индексирования” =>>”Анализ robots.txt”

Затем добавляете свой файл robots.txt и проверяете его нажав на “проверить”

robots.txt для Яндекс вебмастер

Для Google проводите подобные действия: регистрируйтесь, добавляйте свой сайт, затем в панели для вебмастеров добавляете для конкретного сайта файл robots.txt.

Теперь вы знаете,  как правильно составить файл robots.txt, на что обратить внимание при его редактировании  и как правильно добавить в панели для вебмастеров Google и Yandex.

здесь ваш рекламный код №1

Если есть вопросы или замечания по теме, пожалуйста пишите в комментариях. Буду признателен, если поделитесь данной статьей в социальных сетях, кнопки в конце поста.

Сегодня финиширует январский конкурс комментаторов, в 24-00 по Москве сделаю скрин, всем участникам  УДАЧИ!

В завершении поста прекрассный захватывающий ролик, приятного просмотра:

До встречи!

Интересные статьи по данной теме:

Как ускорить индексацию сайта в Яндекс и Google

Оптимизация базы данных (MySQL), установка Optimize DB

Внутренняя оптимизация сайта – основные моменты

Как ускорить индексацию страниц сайта – 12 советов

С уважением, Вилков Николай

Хотите в числе первых узнавать о новых статьях и курсах?

Подпишитесь на обновления моего блога и мой канал на YouTube
Если статья вам понравилась, поделитесь с друзьями в социальных сетях. Спасибо!

Получать новости первым!

Получать обновления блога на Email

Обсуждение: 18 комментариев

  1. Спасибо за полезную информацию! Вот кажется, что на эту тему уже всё знаешь, и опять же что то новое для себя находишь. Пойду проверять свои робот тексты на Яндексе и Гугле.

    Ответить
    1. Сергей, приветствую на блоге!
      Век живи, век учись, останавливаться не нужно 🙂

      Ответить
  2. зоя:

    Николай! Очень полезная статья! Прочитав ее, мне не понятно для чего вы убрали Disallow: /*?*

    Disallow: /*?
    и как эти строки влияют, у меня тоже дубли были от древовидных комментариев, но ушли уже. Мне эти строки тоже надо убрать? Что означают эти строчки? Еще вопрос?- зачем для индексации теги нужны, почему вы их не закрываете? С ЧПУ тоже не понятно. У меня плагин стоит Cyr to Lat enhanced, но у меня нет в конце ссылок html. На данный момент можно настроить эти урлы?

    Ответить
  3. зоя:

    У меня в роботсе почему то в последней строчке только вот это: Sitemap: http://alenkijcvetochek.ru/sitemap.xml, у вас же гляжу есть такая же строчка плюс к ней gz, вы что-нибудь сможете сказать по этому поводу?

    Ответить
  4. зоя:

    У вас в файле нет строчки cqi-bin — cqi-bin , вы ее намеренно убрали? А page вообще нужно закрывать от индексации?

    Ответить
  5. Агент 00x:

    Эх, robots… меня все еще удивляет что он не идет из коробки. Такая хорошая CMS, а о такой мелочи никто не подумал.

    Ответить
  6. Зоя, каждый настраивает robots.txt конкретно для себя и своих папок на блоге, у каждого есть свои папки, которые не нужно индексировать.Отвечаю на Ваши вопросы:
    1. Disallow: /*?*
    Disallow: /*?
    Я выкинул для того. чтобы полностью из индексации убрать со временем “сопли”, созданные древовидными комментариями (replytocom)
    Если у Вас таких проблем нет, то оставьте эти строки.
    2. Теги я не закрываю, считаю это правильным конкретно для своего блога, вы решайте сами.
    3. У вас стоит ЧПУ, то, что без .html не играет роли. Если вы измените в настройках, все полетит и перелинковка, так что не трогайте.
    4.Карта в формате gz рекомендуется также прописывать в robots.txt, это карта sitemap только в запакованном виде, подробней в новых постах
    5. cqi-bin — cqi-bin строка для тех. у кого на хостинге в корневой директории есть такая папка, у меня нет. я эту строку и не использую.

    Ответить
  7. зоя:

    Извините, Николай! А папка cqi-bin — cqi-bin находится должна В директории pгblшk html? Я гляжу у меня ее нет вовсе, а в robots.txt есть данная строчка. Удалить что-ли ее?

    Ответить
  8. зоя:

    Николай! а как-то по другому может файл называться где скрипты хранятся?прочитала где-то, что в этом файле htaccess, вот теперь я в замешательстве, есть у меня такой файл или нет, прям сама разобраться не могу.

    Ответить
  9. зоя:

    Николай, у меня Яндекс не индексирует картинки, может в robotse должна быть строчка Allow: /wp-content/uploads/? У вас индексируются картинки? Не пойму, как в роботсе должны отображаться данное? Правильно я думаю или же нет?

    Ответить
  10. WPixel:

    У Алалаича интересный взгляд на роботс, мож кому пригодится alaev.info/blog/post/4143

    Ответить
  11. У меня почти такие же роботсы на сайтах 🙂

    Ответить
  12. Про robots.txt и добавить вроде нечего 🙂 А вот ролик очень впечатлил. Иногда просто поражаешься уникальным способностям людей.

    Ответить
    1. При просмотра этого ролика аж дыхание перехватывает 🙂 Способности человека не ограничены и многие из них скрыты в нас.

      Ответить
  13. Иван Зелинский:

    Спасибо за доступную информацию! Очень грамотно подан материал, все понятно и на первый взгляд просто для новичка. И главное, что бесплатно!

    Ответить
  14. Привет Николай,у меня вопрос,я в robots.txt прописал строку Disallow: /category/*/* но гугл и яндекс все равно индексируют категории. Что делать?

    Ответить
    1. Яндекс, как правило, выполняет или придерживается правил, прописанных в robots.txt, а вот для Google закон не писан, его действия не поддаются логике.
      Как вариант вы можете вообще эту строку убрать из robots.txt (если она специально для Google прописана) и посмотреть за изменениями в индексации через месяц.

      Ответить
      1. Спасибо за ответ.
        Почему то,новые комментарии не приходят.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2017 Блог Николая Вилкова | Записки блогера // Дизайн и поддержка: GoodwinPress.ru