Блог Кировского строителя Интернет

Решил навести порядок на блоге, с точки зрения верстки и других немаловажных факторов, все сделано на отлично, так как основные правила были заложены еще на стадии разработки.

Решил провести работу над файлом robots.txt, так как в поиск стали попадать ленты, стандартная проблема последних версий WordPress.

Результат виден из графиков, ошибок (красный график) не было с самого начала, а вот предупреждения (желтый график) видны по нарастающей ломаной кривой. Так же видно, что некоторые разделы, я решил оградить от индексации. На откровенных ГС – это поможет вам избавиться от попадания под фильтр поисковика.

Приведу в пример стандартный вариант написания robots.txt под последнюю версию WordPress 2.8.6 на текущий момент.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

User-agent: Yandex
Disallow: /xmlrpc.php?rsd
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.site.ru
 
User-agent: *
Disallow: /xmlrpc.php?rsd
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
 
Sitemap: http://www.site.ru/sitemap.xml

Если вы желаете закрыть от индексации другие разделы, сделайте по аналогии правилом Disallow.

Сегодня хочу представить вам сайт, который собрал в себе крутейшие музыкальные клипы, наслаждайтесь работой вместе с музыкой!