На повестке дня - сделать первый шаг для поисковой оптимизации сайта.
Поисковые системы - это в первую очередь роботы, которые занимаются индексированием нашего сайта и предоставлением его в своем поиске. А для того, чтоб легче воспринимать веб-сайты, они используют вспомогательные файлы. В первую очередь это файлы robots.txt и sitemap.xml, о них сегодня и речь пойдет, точней о создании этих файлов для WordPress.
Представим что мы уже добавили свой сайт в такие поисковые системы как Яндекс и Google. И они приступили к индексации нашего сайта. И в первое же обращение поисковики смотрят наш файл robots.txt...
Поскольку на индексацию нашего сайта поисковой машине выделяется лишь определенное время, его необходимо использовать исключительно с пользой. В основном, за это отвечает файл robots.txt, лежащий в корне сайта, к которому поисковик обращается в первую же очередь. Задача этого файла - упрощение работы поисковых роботов путем исключения "лишних" страниц, которые не несут в себе информационной составляющей.
WordPress создает много "лишних" страниц, индексирование которых поисковыми ботами может привести не только к тому, что важные страницы сайта не попадут в поиск, но и может вызвать неприятности с дублированием контента (в случае, если не проведены seo работы по уникализации разделов), за этим уже последуют санкции, что неприятно.
Значит, нам необходимо исключить весь "мусор" из индексации. Я покажу свой robots.txt и прокомментирую:
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: */trackback Disallow: */feed Host: www.a3s.biz User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: */trackback Disallow: */feed Sitemap: http://www.a3s.biz/sitemap.xml
Заполнив наш robots.txt таким образом, мы даем понять поисковому роботу какие категории сайта не стоит индексировать. Тут запрещен доступ в админку и страницу авторизации, в плагины, кеш и шаблоны, а также все фиды и трекбеки. Часто рекомендуют запрещать доступ к комментариям, но я считаю что комментарии - уникальный текст, который должен находиться поисковиками. Еще можно запретить к поиску страницы рубрик, меток и архивов, но в этом смысла мало, если они у вас уникальные.
Первые записи (до Host: www.a3s.biz) имеют отношение исключительно к Яндексу, у него запись "User-agent" уникальная, для всех остальных поисковых систем используется просто звездочка. Также, только Яндексу принадлежит директива "Host" , потому вписывать ее для других поисковиков не нужно.
Последней строчкой (Sitemap: http://www.a3s.biz/sitemap.xml) мы указываем расположение нашей карты сайта, файла sitemap.xml, о котором далее...
Файл sitemap.xml полная противоположность robots.txt, если последний указывает поисковому роботу какие страницы не следует индексировать, то первый - помогает попасть в поиск важным страницам. Файл sitemap.xml успешно используется такими поисковиками, как Google, Yahoo, Ask.com, MSN и Яндекс, то есть - самыми популярными, что очень хорошо. Не смотря на то, что поисковые системы не гарантируют использование карты сайта, ее стоит создавать.
Конечно, самым качественным способом создания карты сайта является "ручное" создание с помощью предназначенных для этого программ, но это занимает много времени... Благо, для WordPress существует замечательный плагин, который автоматически генерирует и обновляет наш sitemap.xml, называется он "Google XML Sitemaps", несмотря на название, карты, создаваемые им, подходят для всех поисковых систем. Тут находится его описание, и скачать там же можно. Советую.
Спасибо. пожалуй возьму ваш роботс
Непонимаю, зачем нужны метки если они делают дубли ? всмысле если мы запрещяем метки индексировать то какой тогда от них толк ?
В первую очередь — юзабилити. Удобность в пользовании.
Грамотный пост
Благодарю. :)
Спасибо за информацию) А как можно отключить индексирование комментариев?
В роботс можно добавить строку:
Но комментарии — это уникальный текст, индексация которого, по моему мнению, довольно полезна.
Спасибо, просто на сайте отключены комментарии :)
А как сделать карту сайта xml без плагинов для WP?
Плагин для xml карты сайта один из лучших. Думаю, глупо было бы от него отказываться. А без плагина…не знаю, разве то, вручную менять после каждого поста. Есть специальные программы и онлайн сервисы, которые генерируют карту сайта. Но, повторюсь, для нормальной работы нужно будет после каждой новой статьи заново генерировать и заливать xml. Это…как минимум, неудобно.
Если установить плагин Google XML Sitemaps, что делать с файлом sitemap.xml в корне сайта и ссылкой в robots.txt на него???
Четко, ясно, коротко)