
Решил навести порядок на блоге, с точки зрения верстки и других немаловажных факторов, все сделано на отлично, так как основные правила были заложены еще на стадии разработки.
Решил провести работу над файлом robots.txt, так как в поиск стали попадать ленты, стандартная проблема последних версий WordPress.

Результат виден из графиков, ошибок (красный график) не было с самого начала, а вот предупреждения (желтый график) видны по нарастающей ломаной кривой. Так же видно, что некоторые разделы, я решил оградить от индексации. На откровенных ГС – это поможет вам избавиться от попадания под фильтр поисковика.
Приведу в пример стандартный вариант написания robots.txt под последнюю версию WordPress 2.8.6 на текущий момент.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | User-agent: Yandex Disallow: /xmlrpc.php?rsd Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: www.site.ru User-agent: * Disallow: /xmlrpc.php?rsd Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Sitemap: http://www.site.ru/sitemap.xml |
Если вы желаете закрыть от индексации другие разделы, сделайте по аналогии правилом Disallow.
Сегодня хочу представить вам сайт, который собрал в себе крутейшие музыкальные клипы, наслаждайтесь работой вместе с музыкой!