logo

Блог Алeксандра Сергиенко

Я занимаюсь заработком в Интернете.
Читая мой блог, Вы узнаете насколько это реально.
Я выбрал свой путь. Вы со мной?
 

Создаем правильный robots txt для wordpress за пару минут

robots txt для wordpress

Здравствуйте посетители блога int-net-partner.ru! В этой статье хочу поговорить с вами о том, как создать файл robots txt для wordpress, в чем его идея и почему он так важен.

Друзья, начнем с главного. Что это, собственно говоря, за файл такой. Как вы можете догадаться из расширения «txt», документ этот текстовый и чаще всего создается через стандартную программу Блокнот, которая включена во все ОС Windows. Корректировать файл или создавать с нуля вы можете именно через Блокнот.

Зачем нужен этот документ? Прописывая его содержимое, веб-мастер уточняет служебные инструкции по индексации сайта и адресует их поисковым системам. Важно не только правильно составить файл, но и расположить его по верной директории, а именно – поместить в корень сайта.



style="display:block"
data-ad-client="ca-pub-8243622403449707"
data-ad-slot="1319308473"
data-ad-format="auto">

Значение robots.txt невозможно переоценить, поэтому сразу после размещения сайта на хостинге, уделите пять минут на проработку текстового файла. Если все сделаете правильно, то качественная оптимизация проекта под поисковики, вам гарантирована.

Ресурсы, созданные на базе движка Вордпресс, требуют большего внимания к упомянутому документу. А все потому, что они имеют возможность создавать большое количество копий основного контента (дубли), что в итоге может привести к понижению в ранжировании или наложению санкций на проект.

Что следует предпринять?

Самостоятельное построение файла дает вам возможность скрывать от индексации определенные разделы и информацию сайта. Также можно защитить блог от атаки спам-утилит, которые сканируют движок на наличие электронных адресов, для последующего отправления по ним спама.

Готовое решение

Я уже не первый год занимаюсь созданием сайтов и изучением всех тонкостей работы по продвижению. Исходя из накопленных знаний, мною сформирован идеальный robots.txt для движка wordpress. Уверен, что и вас выручит такой файл, который не нужно изменять и корректировать.

Начало выглядит так:

Далее следует написать:

И в конце добавить эти данные:

Там где указано название «vashsait.ru», вам следует указать адрес своего сайта. Вот и все. А теперь поясню основные значения, которые упоминались в файле, чтобы вы ориентировались в его содержимом.

  • Директиву поиска принято указывать, как «user-agent». Упоминая эту опцию в файле, будет понятно, какому поисковому роботу адресован документ. Если вы не желаете выделять какую либо ПС, а хотите выставить равные права для всех существующих, в значении пропишите звездочку (*).
  • С помощью «allow» проводится индексация и добавление разделов и ссылок к поисковой выдаче, при запрете на индексацию директории, следует указать «disallow». Последняя команда применяется для скрытия служебных разделов, в том числе и панели админа.
  • Директива «sitemap» позволяет прописать путь к месту расположения карты ресурса, которая содержит структуру материалов сайта.

До или после создания роботса, добавьте в корень ресурса карту сайта и проверьте, открывается ли она по директории, которая прописывается в robots.txt.

  • Главный хост вашей интернет-площадки обозначается директивой «host» и должен совпадать с доменом.

Надеюсь, теперь данные документа для вас стали более понятны. :)

Почему для ПС одни папки открыты, а другие нет?

Каждому блоггеру и веб-мастеру для успеха в трудах необходимо регулярно анализировать свои действия по отношению к ресурсу, который продвигается. Чем раньше вы начнете отслеживать эффективность, тем быстрее сможете выявить ошибки или недочеты и исправить их. Вот и я некоторое время назад захотел проанализировать свой блог в гугл и посмотреть, не блокирует ли он какие-либо страницы моего ресурса без моего ведома.

Тогда я увидел, что некоторые файлы, которые нужно было открыть, а они защищены от индексации и понял причину низкого уровня трафика. Такие данные, как картинки нужно также открывать поисковикам, так как это источник дополнительного трафика.  Поэтому, друзья, контроль, контроль и еще раз контроль. :) Ведь даже если вы опытны и давно занимаетесь сайтостроением, некоторые моменты могут просто вылететь из головы.

Роботс сторонними усилиями

Если по каким-либо причинам вы желаете создать этот текстовый документ на стороннем сервисе, то можете воспользоваться одним из них по ссылке тут. Заполните все данные о вашем ресурсе в соответствующих ячейках.

В графе «Результат» вы увидите содержимое файла, которое можно будет вставить в robots.txt.

Эффективно ли?

Зайдите по ссылке Yandex Webmaster, чтобы посмотреть, как реагирует поисковик на файл вашего ресурса. Закачайте сам файл или скопируйте его в соответствующие строки.

Просмотрите результаты. Если возникнут сложности, вы всегда можете внести изменения.

На этом пока все! Подписывайтесь на новости, впереди читателей блога ждет много полезной информации!

До новых встреч!

P/S

С уважением, Александр Сергиенко


Видеостудия своими руками

Как создать блог в интернете бесплатно?

Обработка голоса для инфобизнесмена
Читай этот блог и ты узнаешь много полезного! Читай и ты!
Поделитесь с друзьями:
Комментарии пользователей ( 9)
  1. Анна Апрельская
    в 10:56

    Я скачала файл из интернета и подставила название своего сайта, вроде работает)

    Ответить
    • Denis
      в 22:44

      ну оно и не может не работать, даже если и не правильный роботс сделать

      Ответить
  2. Денис Тумилович
    в 16:27

    НЕ соглашусь с текущим роботсом. 8-)

    Ответить
    • Александр Сергиенко
      в 16:47

      Я считаю его самым оптимальным. Много вариаций перепробовал.

      Ответить
  3. Лана Вита
    в 14:43

    Александр, приветствую)) я новичок в блоговедении помогите разобраться с роботс. У меня после изменения этого файла почему-то Яндекс перестал по ключевым фразам мои статьи выдавать. И еще у меня в поиске очень много страниц, я понимаю, видимо есть дубликаты и их нужно закрыть. А как?

    И еще у вас в примере указаны следующие позиции Disallow: Эт они что закрывают?)))

    Disallow: */print/

    Disallow: *?print=*

    Disallow: */embed*

    Заранее спасибо)) 8-)

    Ответить
    • Александр Сергиенко
      в 19:45

      Здравствуйте, Лана! Наберите адрес этого блога /robots.txt и скопируйте его, введя адрес своего сайта. И всё будет в норме.

      Ответить
  4. Лана Вита
    в 20:03

    Александр, вы чудо))) спасибо! ;(

    Ответить
  5. Лана Вита
    в 20:11

    Александр, а у вас файла Host нету)) эт так задумано? или?

    Ответить
  6. Лана Вита
    в 20:15

    а-а-а-а, нашла))) Host есть внизу под указаниями для яндекс бота))))) 8) 8) 8) 8)

    Ответить
Ваше Имя
E-mail (не публикуется на сайте)     Поле обязательно для заполнения
Адрес вашего сайта (если есть)
Текст комментария
Статистика сайта блога Александра Сергиенко