Как найти и обезвредить дубли страниц Replytocom

 

дубли страниц replytocom

Приветствую Вас, уважаемые читатели!

Сегодня я расскажу о том, что за страшный зверь дубли страниц replytocom, как проверить свой сайт на replytocom и как удалить дубли страниц?

[ads2]

Вы, наверное, подумали, что я начал играть в компьютерную игру или начитался книг в стиле фэнтези или фантастики и там нашел такой термин? Нет, все намного проще. После очередного анализа своего блога при помощи программы Site Auditor я обнаружил, что Яндекс индексирует 43 страницы, а Google 3010(!). Я начал изучать материал по данной теме и узнал, что такое дубли страниц и насколько это вредно?

 

dubli-audit

Также в последнее время заметил, что по поисковым запросам Google стал относится ко мне принебрежительно. Если месяц назад картина была такой:

poiskovie-zaprosi

То сейчас все намного хуже:

запросы google

Итак, мне стало интерсно,  что происходит?

Как обнаружить дулированный контент replytocom?

[ads1]

Когда я установил бесплатную программу Xenu Link Sleuth  и провел анализ своего блога, то обнаружил огромное количество ссылок на страницы, в конце которых значилось l?replytocom=454.

dubli-straniz

Их было очень много, учитывая, что на моем блоге всего 70 записей, а цифра проиндексированных страниц 3010! После этого я выяснил, что же такое replytocom.

Движок Вордпресс довольно хорош, но одним из его недостатков является то, что при использовании древовидных комментариев, создаются дубли страниц. А древовидные комментарии установлены у всех по умолчанию, хотя в платных шаблонах может и по другому.

Под каждым комментарием есть кнопка “Ответить”, если на него навести, то слева внизу вы сможете увидеть адрес .  Это означает, что при ответе, создается новая страница, дублирующая предыдущую,  с таким же адресом и добавлением http//:…Replytocom=1402#respondent.

Проведите маленький эксперимент: откройте поисковик Google и вбейте в строку поиска site: вашсайт.ру replytocom, где вместо вашсайт.ру вставьте адрес вашего блога.

Вот какая картина была у меня

replytocom дубли страниц

Из этого видно, что надо как то менять картину и удалять дубли страниц с Replytocom.

Как удалить дубли страниц Replytocom

  1. Отключаем древовидные комментарии

Заходим в админку » Настройки»  Обсуждения и убираем галочку “включить древовидные комментарии” и обязательно опускаемcя вниз и жмем  “Сохранить”

Не переживайте за старые комментарии, они все останутся, только будут расположены в столбик.

Согласен, что древовидные комментарии очень удобны, без них будет не весьма удобно для читателей сайта. Один из путей реализации — можно установить плагин WordPress Thread Comment, который установлен на моем блоге. После установки этого плагина  дубли replytocom образовываться больше не будут.

После отключения дубли создаваться не будут, но нам нужно убрать от индексации уже созданные, для этого идем далее.

 2. Вносим изменения в файл robots.txt

Поскольку файл  robots.txt  является лишь рекомендацией для поисковых роботов, то его изменение не гарантирует изменение в индексации роботом Google, тем не менее,  я УДАЛИЛ следующие строки из файла robots.txt:

robots.txt

Disallow: /*?replytocom

Disallow: /*?*

Disallow: /*?

После этого, за 2 месяца количество проиндексированных страниц уменьшилось:

11 ноября их 3010

11 января их 2010

Это все равно не мало, но прогресс на лицо, буду ждать полной очистки от дублей.

3. Удаление replytocom через “Инструменты для веб-мастеров Google”

Для этого Вам необходимо зайти в Google вебмастер  (если вы зарегистрированы), выбираете свой сайт и далее “Сканирование”=> “Параметры URL”. После этого добавляем новый параметр replytocom, как показано на рисунке ниже:

dubli-vebmaster-google

Далее сохраняем. Можно выбрать выариант «На усмотрение поисковых роботов».

Теперь мне остается подождать несколько дней или недель и снова проверить блог на дубли страниц и изменения в индексации страниц поисковиками google.

4.  Делаем редирект в файле .htacces

Этот пункт является не обязательным, но всё же, для подстраховки можно добавить эти пару строк в свой файл .htacces.

Данный файл .htacces находится в корневой папке вашего блога, если его нет, можно создать и добавить туда эти строки:

RewriteCond %{QUERY_STRING} replytocom=
 RewriteRule ^(.*)$ /$1? [R=301,L]

Это позволит переадресовать читателя, который попал на страницу с replytocom на основную заметку.

Вот основные шаги, которые помогут вамнаучиться  находить и научится  дубли страниц replytocom на своем блоге на движке WordPress.

5. Прошло семь месяцев, избавился ли я от дублей ? 

Вот такая картина теперь у меня с индексацией страниц:

анализ сайта rabotaiuspeh.com

Как видите, из 3010 страниц, которые были 11 ноября 2013 года в индексе Google, осталось 1030. От дублей, которые вызваны древовидными комментариями я избавился полностью, вот доказательство:

Я набрал в поисковике Google :

site:rabotaiuspeh.com replytocom

Обнаружил там всего 10 постов, в которых упоминались слова «дубли»  и «replytocom», но дублей, которые вызваны были ранее древовидными комментариями уже нет. Это, конечно же,  прогресс, но всё равно, дубли есть. Как это есть, спросите вы? Да, есть, но это уже совсем другие дубли, про которые я расскажу в  заметке про дубли страниц.

Напишите, пожалуйста, что вы думаете об этом.  Сталкивались ли вы с подобными проблемами и насколько быстро эти дубли исключались из индексации Гуглом?

Вот все, о чем хотел сегодня рассказать, уважаемые.

До встречи!

Интересные статьи по данной теме:

Необычные и смешные поисковые запросы читателей блога

Как ускорить индексацию сайта в Яндекс и Google

Что такое траст сайта? Как увеличить доверие поисковых систем?

С уважением, Вилков Николай

Все статьи блога

Хотите в числе первых узнавать о новых статьях и курсах?

Подпишитесь на обновления моего блога и мой канал на YouTube
Если статья вам понравилась, поделитесь с друзьями в социальных сетях. Спасибо!

Получать новости первым!

Получать обновления блога на Email

Обсуждение: 54 комментария

  1. Юрий:

    Помоему у вас картинки с посещаемостью «как было» и «как стало» перепутаны 🙂
    А так спасибо за статью!

    Ответить
  2. Юрий, с картинками все верно. На них отображается не посещаемость, а по каким запросам в Google я находился и сейчас нахожусь на каком месте. Чем ближе место к 1 ому, тем лучше. Раньше по нескольким запросам в Google я был в 20-ке, а теперь только в 7 десятке и количество запросов резко упало. 😛

    Ответить
  3. На моем шаблоне стоит плагин для древовидных комментариев, поэтому о такой проблеме не слышал.

    Скажу только, что надо бороться со всеми ненужными страницами в индексе — от этого блог определенно станет лучше ранжироваться (увеличивается уникальность контента на странице).

    Ответить
  4. Юрий:

    теперь все понятно:)

    Ответить
  5. Диана:

    Ого, никогда бы не догадалась проверить блог на дубли страниц. Спасибо, Николай. Пойду погляжу сейчас тоже, надеюсь у меня такой проблемы нет.

    Ответить
  6. Юрий, это хорошо, что разобрались
    Диана, ну как проверка? Ты мне просто цифры черкни, сколько Яндекс индексирует страниц, а сколько Google и все станет понятно. 😀

    Ответить
  7. Ну я думаю, что строчки в robots.txt будет достаточно. :mrgreen: В роботсе нужно вообще прописать всех страниц, где знак вопроса встречается )))

    Ответить
    1. Антон, такая строка в robots.txt у меня была и тем не менее Google эти записи игнорирует, у Яндекса с этим все хорошо.

      Ответить
  8. Много информации, сразу все не пойму. У меня Яндекс писал, что с вопросительным знаком что-то не так и я его из роботс убрала. Комментарии древовидные, но страниц всего 49 индексирует. Нужно будет уделить время, разобраться. Может не в этом проблема?

    Ответить
    1. Натала, если всего 49 индексирует, значит у Вас не та проблема, о которой я писал. У меня наоборот, при 70 статьях Гугл видит 3020 записей и применяет санкции ко мне

      Ответить
  9. Нужно и мне просмотреть, а нет ли у меня каких то дубликатов на сайте.

    Спасибо за хорошее разъяснение.

    Ответить
    1. Виктор, это нужно делать, если сильно ранятся показатели проиндексированных страниц в Яндексе и Google

      Ответить
  10. Сергей:

    Ага, несколько дней! Вашим методом не избавиться от соплей, они все равно будут висеть в индексе, с единственной разницей, в снипете будет написано «Описание веб-страницы недоступно из-за ограничений в файле robots.txt.»
    Чтобы окончательно избавиться нужно делать редирект в файле .htaccess и открывать в robots.txt при чем полностью:
    Disallow: /*?replytocom
    Disallow: /*?*
    Disallow: /*?
    вот это все убирать, тогда будет результат и то через несколько месяцев в Гугле, в Яшке через 2-3 недели.
    Ваш метод бесполезен, проверял на 2 сайтах пару лет назад, ждал пол года, результаты минимальны 30-40 страниц.

    Ответить
    1. Сергей, приветствую на блоге!
      Спасибо за совет, я в файл .htacces внес корректировку
      RewriteCond %{QUERY_STRING} replytocom=
      RewriteRule ^(.*)$ /$1? [R=301,L]
      между тэгами IfModule
      Древовидные комментарии я сразу отключил.
      В гугле за 4 дня 40 страниц только уменьшилось.
      Думаете, если убрать из robots.txt три эти строчки, то будет лучше, вы проверяли?

      Ответить
  11. Сергей:

    Забыл сказать: Либо полностью запретить древовидные комментарии.
    За статью спасибо, почитал с интересом.

    Ответить
  12. Анна:

    Жаль, что из-за дублей приходится удалять древовидные комментарии и если я правильно поняла из комментариев, плагин таких проблем создавать не будет. Вообще, о дублях страниц много слышала, но подробностей о том, где искать и как избавляться не знала. Так что, Николай, большое спасибо за ценную информацию.

    Ответить
    1. Анна, пожалуйста. Я понимаю, что древовидные комментарии удобны, я их верну но немного по-другому, не плагином.

      Ответить
  13. WPixel:

    replytocom это собственно часть url’а кнопочки «Ответить» под каждым комментарием. Соответственно страничек таких будет столько же сколько комментариев у вас в блоге. Да, эта кнопка появляется когда включаешь древовидные комментарии.Но ноги растут из robots.txt.
    У меня изначально было закрыто в robots.txt по сему гугля хоть и видит их но не показывает в поисковой выдаче.

    Ответить
    1. Pixel, у меня также все закрыто в robots.txt, тем не менее это для Google не указ, а всего лишь рекомендации, которые он игнорирует.

      Ответить
  14. Александр Викторович:

    Такая проблема у меня тоже есть. Повторов в 10 раз больше чем статей. Но у меня на этом блоге всего два комментария. Причина — сложная форма комментирования, с регистрацией, и я ее не могу изменить, такие условия.
    Попробую сделать корректировки в Гугл Веб мастере, по вашей рекомендации.

    Ответить
  15. У меня Гугл постепенно меняет отношение по выдаче блоге по определенным запросам.
    Медленно, но индексация улучшается. Но, как выражаются СЕО-шники, «сопли», созданные древовидными комментариями еще болтаются и непонятно, уйдут ли совсем. 😆

    Ответить
  16. Сергей:

    Николай Вилков.

    Здравствуйте Николай. Извините за долгий ответ. Нужно обязательно убрать все ? в robots.txt , робот должен зайти на эти страница и увидеть редирект 301, тогда сразу увидите результат, у меня было страниц проиндексировано 1500 , за два с половиной месяца осталось 570 и процесс продолжается, я рад. Основной индекс вырос в процентах и трафик с гугла подрос(хотя не знаю с этим это связано или нет). А с яшей проблем вообще нет(тьфу, тьфу), за две недели все выкинул, остались только станицы и посты.

    Ответить
  17. Спасибо, Сергей, попробую убрать с robots.txt эти строки. Позже напишу результат. :mrgreen:

    Ответить
  18. зоя:

    Интересная статья, у меня тоже дубли, но я упорно жду, когда они сами уйдут из поиска. Напишите, как обстаят сейчас у вас дела с дублями.

    Ответить
    1. Зоя, приветствую Вас!
      Перед Вашим комментарием провел анализ и вижу 61 страницу в Яндексе и 2100 страниц в Гугле, а было 3010 в Гугле на 11 ноября.
      Почти тысяча дублей ушла за 2 месяца, вот такие темпы, думаю не плохо. Читал у других вебмастеров также по полгода дубли уходили или как их называют «сопли», пардон 🙂

      Ответить
  19. зоя:

    А обязательно закрывать от древовидных комментариев? если у меня роботс по максимуму все закрывает…я новый установила, в принципе из за нового роботса и стали дубли вылетать..у меня за 20 дней вылетело 650 страниц. действительно долго вылетают

    Ответить
  20. зоя:

    а если у меня в роботсе нет replytocom,надо ли добавлять url в гугле?

    Ответить
  21. зоя:

    И еще! у меня было не много дублей комментариев, они исчезли со временем, а остальные дубли от куда могут быть, у меня их стала еще на 800 больше.

    Ответить
    1. Зоя, я писал в статье только про дубли страниц replytocom, вызванные древовидными комментариями. Чтобы узнать, от чего у Вас появилось много новых дублей необходимо сделать анализ сайта и тогда делать вывод. Просто так я не могу ничего сказать без анализа и конкретных цифр.

      Ответить
  22. Зоя, простите, но я не понял ваш вопрос…
    Вы имеете ввиду при удалении страницы в Гугл добавлять url?

    Ответить
  23. зоя:

    А вы, не глянете мой сайт ,если не тяжело. Дубли у меня вышли из поиска, которые были вызваны древовидными комментариями, а остальные нет, их вообще приличное количество.

    Ответить
    1. Зоя, я вам отправил письмо на почту, указанную у вас, а также прочтите этот пост
      там по вашей теме как раз.

      Ответить
  24. зоя:

    Здравствуйте! Я убрала галочку в настройках «древовидные комментарии», дублей страниц нет, вызванных древовидными комментариями. Мне теперь заново галочку поставить? и в роботсе оставить строки Disallow: /*?*
    Disallow: /*? И еще вопрос, эти дубли же постоянно будут появляться или как?

    Ответить
    1. Да, дубли в Google будут появляться и их нужно запрещать к индексации в robots.txt панели вебмастеров Google

      Ответить
      1. Зоя файл robots.txt на любом блоге доступен по адресу- сайт.ru/robots.txt
        Я свой файл опубликовал, посмотрите, что там есть, а чего нет.
        По-моему, вы слишком фанатично ищите ответы на вопросы, которые совершенно не важны. Не зацикливайтесь на этом файле, а то я уже начинаю сомневаться во всем на свете после ваших вопросов.
        Напишите стандартный robots.txt и понаблюдайте месяц-два… Если будут проблемы, тогда ищите пути их решения.

  25. Николай аналиогично не работает! У вас 1200 дублей в индексе гугла, пусть даже не основном, но он цапает эти страницы.

    Сейчас вижу вы убрали функцию ответов на комментарии. Уже упало количество дублей?

    Ответить
    1. Александр, привет! Христос Воскресе!
      Было 3100 страниц в Гугле 11 ноября, вот сейчас 1280 страниц в Гугле по состоянию на 20 апреля, потихоньку вылетают, но так медленно…
      Древовидные комментарии я убрал сразу, без них можно обойтись, хотя и не очень комфортно читателям.
      Вот почему только с Гуглом такие проблемы с дублями….
      Я удалил в robots.txt строки:
      Disallow: /*?replytocom
      Disallow: /*?*
      И добавил в файл.htacces
      RewriteCond %{QUERY_STRING} replytocom=
      RewriteRule ^(.*)$ /$1? [R=301,L]
      между тэгами IfModule
      Disallow: /*?
      После вылета всех лишних страниц из индекса, подкорректирую robots.txt снова

      Ответить
  26. Николай, это тоже не помогает. Пробовал.

    В общем есть 2 фишки как от них избавиться.

    1. Посмотрите уже реализовано на моем блоге. При нажатии на кнопку «ответить» в комментарии вы не увидите ссылку в трее вида replytocom, там просто #respond и все.

    То есть можно в одном месте подправить код и все. Новых дублей больше не будет. А вот старые еще есть и их надо убирать. Ну они сами вылетят со временем.

    2. Это поставить плагин WordPress Thread Comment. Он выводит комменты яваскриптом. Так сделано у Сани Бобрина. У него нет дублей.

    Вот по-тихоньку жизнь налаживается. =)

    Ответить
    1. Саша, спасибо за ценные советы, очень признателен.
      Постараюсь реализовать в ближайшее время.

      Ответить
  27. зоя:

    А у меня опять полная неразбериха с дублями, поменяла рорботс 2 месяца назад. было 4100 дублей- за 2 месяца уменьшилось до 3280, а сегодня смотрю — за сутки подскачили на 540 дублей. такое разве может быть?

    Ответить
  28. Пожалуйста Николай. Как я понял вы вообще убрали деревяшки. если что могу помочь, будут работать как надо!

    Ответить
    1. Александр, простите, я не понял, что за «деревяшки»? Если Вы имеете в виду дубли страниц, сегодня установлю плагин, который вы порекомендовали.

      Ответить
  29. Деревовидные комментарии. replytocom. Вы их убрали?

    Ответить
    1. Ааа, вот почему «деревяшки», я их отключил еще в ноябре, как только увидел такое огромное количество дублей страниц. Вот сегодня плагин установлю и проанализирую, не возникает ли новых дублей в Google.

      Ответить
  30. Отключить деревяшки, это самые простой и эффективный вариант конечно же. Но старые дубли остались. Кстати у вас url неправильно отображается — /.html

    Ответить
    1. Про url знаю, спрашивал у Сергея Сосновского про эту проблему, он дал советы, но для меня их не так легко реализовать технически. Считаю, что это не очень страшно, лишний слеш в URL страниц.

      Ответить
      1. ну, как сказать 🙂 не красиво чтоли ) но даже не в красоте дело. Я бы побаивался этого 🙂 По этому поводу ответил в почту.

  31. зоя:

    Можно ли опубликовывать статьи если есть дубли, или же пока они не уйдут, статьи не нужно на сайт опубликовывать? просьба ответить

    Ответить
    1. Зоя, наоборот, вы должны с удвоенной энергией продолжать писать полезные и уникальные статьи и правильно их рекламировать в соцсетях и на различных сервисах. Главное, это отключить древовидные комментариии на блоге, убедиться, что новые дубли не образуются и продолжать развитие блога. Дубли постепенно будут вылетать из индекса, со временем всё нормализуется. Кстати, я недавно писал, как реализовать древовидные комментарии на блоге так, что дубли не будут образовываться .

      Ответить
  32. Николай, я сейчас собираю информацию про то, как удалить дубли страниц. До этого отключала древовидые комментарии, но читателям было не удобно и я теперь ищу простую и действенную практическую методику.
    У меня вопрос. Вы пишите, что:
    «Делаем редирект в файле .htacces
    Этот пункт является не обязательным, но всё же, для подстраховки можно добавить эти пару строк в свой файл .htacces.»

    То есть можно не выполнять этот пункт?

    Ответить
    1. Я такой редирект делал, но через пару дней убрал, поскольку мне файл .htacces программист менял полностью по другим причинам. Со временем replytocom уйдут и переадресация будет не нужна.
      Я древовидные комментарии вывел плагином WordPress Thread Comment, он не создает дубли, выводит ответы при помощи jawa

      Ответить
  33. Программа Xenu Link Sleuth давненько установлена.
    Тут натолкнулся на эту статью и решил проверить на дубли.
    Я в шоке,срочно нужно убирать 😯

    Ответить
  34. зоя:

    Здравствуйте!!!! поменяла роботс, по вашей статье, 7 месяцев не было публикаций вообще- дубли ушли от 3500 до 300, начала заново пополнять статьями, и тут дубли опять растут, в чем может быть дело? 😀 😳

    Ответить
    1. Это хороший результат, Зоя, такое уменьшение. Дело может быть шаблоне, смотря какие дубли у вас плодятся, если вызванные комментариями, то необходимо в настройках отключить древовидные комментарии.

      Ответить

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2017 Блог Николая Вилкова | Записки блогера // Дизайн и поддержка: GoodwinPress.ru