Мой сайт avtosnab24.ru подключен к информации на сайте моего поставщика... и у меня отражается зеркально также информация что и у них. Но вот беда... что бы снизить нагрузку на сервер они поставили ограничение на количество переходов но сайту 2000 в день и когда лимит превышен отключают к показу наличие и цену. И предупредили что бы я закрыл доступ к модулю на сайте для роботов. И я закрыл вроде бы как... по крайней мере в яндексе проверял... он показывает запрет. Но все равно у меня часто бывает перебор по переходам более 2000 и меня отключают. Что мне делать? Как заблокировать роботов? Вот что у меня в файле Robots.txt User-agent: * Disallow: /parts Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /admin Disallow: /login/ Disallow: /search/ Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /dogovor Sitemap: http://avtosnab24.ru/sitemap.xml User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking Disallow: /parts Disallow: /dogovor Host: avtosnab24.ru User-agent: Aport User-agent: Googlebot Disallow: /parts User-agent: StackRambler Disallow: /parts
Может Вам попробовать также сделать такую систему защиты как временное ограничение при переходе на сайт, например как на opencart.com. Т.е. 3-5 сек. выводится окошко, подождите сайт загружается. Также попробуйте в head вставить данный мета-тег <meta name="robots" content="noindex,nofollow" /> У вас случайно не стоит мониторинг сайта типа host-tracker.com?
Но в этом случае весь сайт будет под запретом...а это плохо для индексации тех страниц что нужны. Хотелось бы только модуль каталога запчастей "parts" закрыть --- Добавлено, 11 авг 2014 --- А как проверить стоит он или нет? host-tracker.com я вроде бы его не устанавливал, темболее что это платная услуга. Может Вам попробовать также сделать такую систему защиты как временное ограничение при переходе на сайт, например как на opencart.com. Т.е. 3-5 сек. выводится окошко, подождите сайт загружается. .... Что это даст?
User-agent: * Disallow: /parts ну так у тебя роботы всё ровно тогда будут съедать всё. Может быть настроить кеширование например поможет.
Если Вы сами не устанавливали мониторинг host-tracker.com, то следовательно его и нет у Вас. По поводу временного ограничения - это даст, то что отсеется часть ботов.
Вы можете установить на Ваши сайты кеширующие плагины и ограничить поисковых ботов настройкой файла robots.txt cat /var/log/nginx/access.log.1.gz | grep site.ru | grep bot | wc -l 4206 вот у меня была похожая ситуация....попробуй может поможет