Как правильно составить файл robots txt для wordpress?

Чтобы правильно составить файл robots txt для wordpress не надо знать много, просто скопируйте его здесь, вставьте в файл текстового формата и залейте в корень вашего сайта.

Ниже я приведу пример файла robots txt  со своего wordpress блога:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: wordpresses.ru
 
Sitemap: /sitemap.xml.gz
Sitemap: /sitemap.xml
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: wordpresses.ru

Sitemap: /sitemap.xml.gz
Sitemap: /sitemap.xml

файл robots txt для wordpress

  • Файл robots txt поможет вам закрывать к индексации ненужные файлы, что позволит поисковику гораздо быстрее индексировать ваш сайт и не замечать ненужные для вас разделы.
  • Так же файл robots txt поможет закрыть дубликаты страниц, фиды, оставленные на вашем сайте трекбэки.
  • Данный файл подскажет поисковой системе, как часто приходить на ваш сайт.

Проаналзировать файл robots txt вы сможете по ссылке http://webmaster.yandex.ua/robots.xml

Теперь я вам объясню, что обозначают все эти значение:

  1. Параметр User-agent: обозначает  примерно такое: «для робота» далее можно поставить или имя поисковика, либо * что означает, что это распространяется на все поисковые системы.
  2. Параметр Crawl-delay: 4 даёт поисковому роботу 4 секунды на то, чтобы он проиндексировал вашу страницу. Можно поставить и меньшее значение, но что если ваш сервер будет отвечать слишком медленно, тогда поисковик не успеет проиндексировать страницу.
  3. С помощью параметра Disallow: / мы закрыли все ненужные дерективы
  4. И с помощью параметра Sitemap: указали где расположена наш карты сайта Goggle XML Sitemaps

1 комментарий

  1. Дмитрий Июнь 17, 2012 11:26 дп  Ответить

    Спасибо, полезная статья!

Добавить комментарий