Здравствуйте посетители блога int-net-partner.ru! В этой статье хочу поговорить с вами о том, как создать файл robots txt для wordpress, в чем его идея и почему он так важен.
Друзья, начнем с главного. Что это, собственно говоря, за файл такой. Как вы можете догадаться из расширения «txt», документ этот текстовый и чаще всего создается через стандартную программу Блокнот, которая включена во все ОС Windows. Корректировать файл или создавать с нуля вы можете именно через Блокнот.
Зачем нужен этот документ? Прописывая его содержимое, веб-мастер уточняет служебные инструкции по индексации сайта и адресует их поисковым системам. Важно не только правильно составить файл, но и расположить его по верной директории, а именно – поместить в корень сайта.
Значение robots.txt невозможно переоценить, поэтому сразу после размещения сайта на хостинге, уделите пять минут на проработку текстового файла. Если все сделаете правильно, то качественная оптимизация проекта под поисковики, вам гарантирована.
Что следует предпринять?
Самостоятельное построение файла дает вам возможность скрывать от индексации определенные разделы и информацию сайта. Также можно защитить блог от атаки спам-утилит, которые сканируют движок на наличие электронных адресов, для последующего отправления по ним спама.
Готовое решение
Я уже не первый год занимаюсь созданием сайтов и изучением всех тонкостей работы по продвижению. Исходя из накопленных знаний, мною сформирован идеальный robots.txt для движка wordpress. Уверен, что и вас выручит такой файл, который не нужно изменять и корректировать.
Начало выглядит так:
Далее следует написать:
И в конце добавить эти данные:
Там где указано название «vashsait.ru», вам следует указать адрес своего сайта. Вот и все. А теперь поясню основные значения, которые упоминались в файле, чтобы вы ориентировались в его содержимом.
- Директиву поиска принято указывать, как «user-agent». Упоминая эту опцию в файле, будет понятно, какому поисковому роботу адресован документ. Если вы не желаете выделять какую либо ПС, а хотите выставить равные права для всех существующих, в значении пропишите звездочку (*).
- С помощью «allow» проводится индексация и добавление разделов и ссылок к поисковой выдаче, при запрете на индексацию директории, следует указать «disallow». Последняя команда применяется для скрытия служебных разделов, в том числе и панели админа.
- Директива «sitemap» позволяет прописать путь к месту расположения карты ресурса, которая содержит структуру материалов сайта.
- Главный хост вашей интернет-площадки обозначается директивой «host» и должен совпадать с доменом.
Надеюсь, теперь данные документа для вас стали более понятны. 
Почему для ПС одни папки открыты, а другие нет?
Каждому блоггеру и веб-мастеру для успеха в трудах необходимо регулярно анализировать свои действия по отношению к ресурсу, который продвигается. Чем раньше вы начнете отслеживать эффективность, тем быстрее сможете выявить ошибки или недочеты и исправить их. Вот и я некоторое время назад захотел проанализировать свой блог в гугл и посмотреть, не блокирует ли он какие-либо страницы моего ресурса без моего ведома.
Тогда я увидел, что некоторые файлы, которые нужно было открыть, а они защищены от индексации и понял причину низкого уровня трафика. Такие данные, как картинки нужно также открывать поисковикам, так как это источник дополнительного трафика. Поэтому, друзья, контроль, контроль и еще раз контроль. Ведь даже если вы опытны и давно занимаетесь сайтостроением, некоторые моменты могут просто вылететь из головы.
Роботс сторонними усилиями
Если по каким-либо причинам вы желаете создать этот текстовый документ на стороннем сервисе, то можете воспользоваться одним из них по ссылке тут. Заполните все данные о вашем ресурсе в соответствующих ячейках.
В графе «Результат» вы увидите содержимое файла, которое можно будет вставить в robots.txt.
Эффективно ли?
Зайдите по ссылке Yandex Webmaster, чтобы посмотреть, как реагирует поисковик на файл вашего ресурса. Закачайте сам файл или скопируйте его в соответствующие строки.
Просмотрите результаты. Если возникнут сложности, вы всегда можете внести изменения.
На этом пока все! Подписывайтесь на новости, впереди читателей блога ждет много полезной информации!
До новых встреч!
P/S
Также советую прочесть следующие статьи:
1. Что такое rss лента и как ее настроить?
С уважением, Александр Сергиенко
Я скачала файл из интернета и подставила название своего сайта, вроде работает)
ну оно и не может не работать, даже если и не правильный роботс сделать
НЕ соглашусь с текущим роботсом.
Я считаю его самым оптимальным. Много вариаций перепробовал.
Александр, приветствую)) я новичок в блоговедении помогите разобраться с роботс. У меня после изменения этого файла почему-то Яндекс перестал по ключевым фразам мои статьи выдавать. И еще у меня в поиске очень много страниц, я понимаю, видимо есть дубликаты и их нужно закрыть. А как?
И еще у вас в примере указаны следующие позиции Disallow: Эт они что закрывают?)))
Disallow: */print/
Disallow: *?print=*
Disallow: */embed*
Заранее спасибо))
Здравствуйте, Лана! Наберите адрес этого блога /robots.txt и скопируйте его, введя адрес своего сайта. И всё будет в норме.
Александр, вы чудо))) спасибо!
Александр, а у вас файла Host нету)) эт так задумано? или?
а-а-а-а, нашла))) Host есть внизу под указаниями для яндекс бота)))))
