Мой основной проект: Боевые искусства в кинематографе! (fight-films.info)

Свеженькое
Реакция публики
Облако пометок
css Google html SEO WordPress Яндекс видео графический дизайн заработок индексация интернет ключевые слова контент партнерка поисковые системы посещаемость продвижение раскрутка реклама сайт статья хостинг

Правильный robots.txt и sitemap.xml для WordPress

Search Engine OptimizationНа повестке дня - сделать первый шаг для поисковой оптимизации сайта.

Поисковые системы - это в первую очередь роботы, которые занимаются индексированием нашего сайта и предоставлением его в своем поиске. А для того, чтоб легче воспринимать веб-сайты, они используют вспомогательные файлы. В первую очередь это файлы robots.txt и sitemap.xml, о них сегодня и речь пойдет, точней о создании этих файлов для WordPress.

Представим что мы уже добавили свой сайт в такие поисковые системы как Яндекс и Google. И они приступили к индексации нашего сайта. И в первое же обращение поисковики смотрят наш файл robots.txt...

Создание правильного robots.txt для WordPress

Поскольку на индексацию нашего сайта поисковой машине выделяется лишь определенное время, его необходимо использовать исключительно с пользой. В основном, за это отвечает файл robots.txt, лежащий в корне сайта, к которому поисковик обращается в первую же очередь. Задача этого файла - упрощение работы поисковых роботов путем исключения "лишних" страниц, которые не несут в себе информационной составляющей.

WordPress создает много "лишних" страниц, индексирование которых поисковыми ботами может привести не только к тому, что важные страницы сайта не попадут в поиск, но и может вызвать неприятности с дублированием контента (в случае, если не проведены seo работы по уникализации разделов), за этим уже последуют санкции, что неприятно.

Значит, нам необходимо исключить весь "мусор" из индексации. Я покажу свой robots.txt и прокомментирую:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: www.a3s.biz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://www.a3s.biz/sitemap.xml

Заполнив наш robots.txt таким образом, мы даем понять поисковому роботу какие категории сайта не стоит индексировать. Тут запрещен доступ в админку и страницу авторизации, в плагины, кеш и шаблоны, а также все фиды и трекбеки. Часто рекомендуют запрещать доступ к комментариям, но я считаю что комментарии - уникальный текст, который должен находиться поисковиками. Еще можно запретить к поиску страницы рубрик, меток и архивов, но в этом смысла мало, если они у вас уникальные.

Первые записи (до Host: www.a3s.biz) имеют отношение исключительно к Яндексу, у него запись "User-agent" уникальная, для всех остальных поисковых систем используется просто звездочка. Также, только Яндексу принадлежит директива "Host" , потому вписывать ее для других поисковиков не нужно.

Последней строчкой (Sitemap: http://www.a3s.biz/sitemap.xml) мы указываем расположение нашей карты сайта, файла sitemap.xml, о котором далее...

Как создать карту сайта для поисковых роботов (sitemap.xml)

Файл sitemap.xml полная противоположность robots.txt, если последний указывает поисковому роботу какие страницы не следует индексировать, то первый - помогает попасть в поиск важным страницам. Файл sitemap.xml успешно используется такими поисковиками, как Google, Yahoo, Ask.com, MSN и Яндекс, то есть - самыми популярными, что очень хорошо. Не смотря на то, что поисковые системы не гарантируют использование карты сайта, ее стоит создавать.

Конечно, самым качественным способом создания карты сайта является "ручное" создание с помощью предназначенных для этого программ, но это занимает много времени... Благо, для WordPress существует замечательный плагин, который автоматически генерирует и обновляет наш sitemap.xml, называется он "Google XML Sitemaps", несмотря на название, карты, создаваемые им, подходят для всех поисковых систем. Тут находится его описание, и скачать там же можно. Советую.

комментариев 12
  1. Спасибо:

    Спасибо. пожалуй возьму ваш роботс

  2. Кест:

    Непонимаю, зачем нужны метки если они делают дубли ? всмысле если мы запрещяем метки индексировать то какой тогда от них толк ?

    • BarSug:

      В первую очередь — юзабилити. Удобность в пользовании.

  3. seoblogo:

    Грамотный пост

  4. ФДуч:

    Спасибо за информацию) А как можно отключить индексирование комментариев?

    • BarSug:

      В роботс можно добавить строку:

      Disallow: */comments/

      Но комментарии — это уникальный текст, индексация которого, по моему мнению, довольно полезна.

    • ФДуч:

      Спасибо, просто на сайте отключены комментарии :)

  5. Простой:

    А как сделать карту сайта xml без плагинов для WP?

    • BarSug:

      Плагин для xml карты сайта один из лучших. Думаю, глупо было бы от него отказываться. А без плагина…не знаю, разве то, вручную менять после каждого поста. Есть специальные программы и онлайн сервисы, которые генерируют карту сайта. Но, повторюсь, для нормальной работы нужно будет после каждой новой статьи заново генерировать и заливать xml. Это…как минимум, неудобно.

  6. Дима:

    Если установить плагин Google XML Sitemaps, что делать с файлом sitemap.xml в корне сайта и ссылкой в robots.txt на него???

  7. Статьи:

    Четко, ясно, коротко)