Цитата:
Сообщение от Seo-man
В данное время поисковые роботы яндекса и гугла 100% не заходят в папки, указанные в robots.txt?
Например сделаю папку для запрета поисковых ботов к файлу обраток:
User-agent: *
Disallow: /links/
Это 100% скроет мою линкпомойку от поисковых роботов?
|
Могу сказать точно что роботы заходят и читают файл robots.txt проверил буквально недавно .
Я для более качественной индексации сайта(так как он открывался не достаточно быстро) прописал как положено:
User-agent: *
Crawl-delay: 10(время ожидания до открытия сайта)
и Вы знаете был поражен на следующий день прибавилось прилично страниц в индексе!!!
Причем проверил на двух сайтах и эффект одинаковый!
Естественно в зависимости от скорости открытия сайта величину выставляет каждый свою но перебарщивать естественно не советую!!!