Здравствуйте. Моему сайту (http://kovkavolgograd.ru/) три месяца. Индексируется в яндексе только одна страница. robots.txt брал с интернета. Подскажите какие строчки в robots.txt запрещают индексацию страниц сайта и записей сайта? Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments С Ув.
adgjm90, у вас в роботсе правило: Disallow: /*?* А все ссылки работают через ?, например - И урл запрещен правилом /*?* У яндекса есть тулза для проверки роботса: Кроме того у вас дубль сайта есть под другому адресу, что тоже есть не очень хорошо для индексации нового сайта:
Самый распространенный роботс на ВП: User-agent: * Crawl-delay: 4 Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* User-agent: Yandex Crawl-delay: 4 Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Host: site.ru Sitemap: http://site.ru/sitemap.xml.gz Sitemap: http://site.ru/sitemap.xml
Bnopen, Спасибо большое ! А вот это Disallow: /*? из той же серии как и Disallow: /*?* ? Про второй сайт знаю. Он на ucoz . Сегодня его переделывал с ковки на металлоизделия. Или его по быстрей убрать вообще ? Я в этих делах новичок, это первые мои два сайта, для работы делал, сам кузнец по художественной ковке. Спасибо еще раз. С Ув.
adgjm90, да правило Disallow: /*? тоже надо убрать и в двух секциях: в User-agent: * и в User-agent: Yandex для яндекса. Тогда, все ок и урл разрешен будет в индексации. Ну и можно просто сделать чпу для сайта или другой вид ссылок в настройках, просто если в урле есть символ "?" то индексация запрещена правилом. Просто поисковики не очень хорошо относятся к дублям контента.
