01.02.2009, 23:01 | #1 |
Регистрация: 08.05.2008
Адрес: Молдова/ПМР, Тирасполь
Сообщений: 3,557
Вы сказали Спасибо: 95
Поблагодарили 137 раз(а) в 124 сообщениях
Репутация: 1596
|
Работает ли robots.txt?
В данное время поисковые роботы яндекса и гугла 100% не заходят в папки, указанные в robots.txt?
Например сделаю папку для запрета поисковых ботов к файлу обраток: User-agent: * Disallow: /links/ Это 100% скроет мою линкпомойку от поисковых роботов?
__________________
Недорогой хостинг! forum-seo.net/showthread.php?p=10754 Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). |
02.02.2009, 01:17 | #2 |
Пользователь
Регистрация: 02.08.2008
Сообщений: 483
Вы сказали Спасибо: 6
Поблагодарили 28 раз(а) в 27 сообщениях
Репутация: 630
|
ну а как же )) от робота скроет ) от платона нет.
__________________
Использую для продвижения биржу статей Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). - 100 % выхлоп, честные веб-мастера, достойные площадки, и аналогичный сервис вечных ссылок Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). , помощь рефам в работе. |
02.02.2009, 09:43 | #3 |
Регистрация: 08.05.2008
Адрес: Молдова/ПМР, Тирасполь
Сообщений: 3,557
Вы сказали Спасибо: 95
Поблагодарили 137 раз(а) в 124 сообщениях
Репутация: 1596
|
Как же платон без роботов найдёт линкпомойку?
Как правильно запретить доступ к папке только яндексу и гуглу? Для яндекса нашел, а для гугла нет.
__________________
Недорогой хостинг! forum-seo.net/showthread.php?p=10754 Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). |
02.02.2009, 11:46 | #4 |
Пользователь
Регистрация: 02.08.2008
Сообщений: 483
Вы сказали Спасибо: 6
Поблагодарили 28 раз(а) в 27 сообщениях
Репутация: 630
|
Не найдёт, но если по стуку, то без проблем.
Насчёт гугла, насколько помню вроде бы GoogleBot или просто Google в юзер агенте прописывать.
__________________
Использую для продвижения биржу статей Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). - 100 % выхлоп, честные веб-мастера, достойные площадки, и аналогичный сервис вечных ссылок Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). , помощь рефам в работе. |
05.02.2009, 08:42 | #5 | |
Пользователь
Регистрация: 05.11.2008
Адрес: Харьков
Сообщений: 149
Вы сказали Спасибо: 20
Поблагодарили 10 раз(а) в 8 сообщениях
Репутация: 709
|
Цитата:
Я для более качественной индексации сайта(так как он открывался не достаточно быстро) прописал как положено: User-agent: * Crawl-delay: 10(время ожидания до открытия сайта) и Вы знаете был поражен на следующий день прибавилось прилично страниц в индексе!!! Причем проверил на двух сайтах и эффект одинаковый! Естественно в зависимости от скорости открытия сайта величину выставляет каждый свою но перебарщивать естественно не советую!!!
__________________
Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). |
|
05.02.2009, 14:19 | #6 |
Пользователь
Регистрация: 11.10.2008
Сообщений: 297
Вы сказали Спасибо: 9
Поблагодарили 8 раз(а) в 8 сообщениях
Репутация: 408
|
Я бы на Вашем месте просто все линки бы порезал. От того что каждый тут оставил свою ссылку, ему большого плюса нет, а Вам "удар" по сайту.
__________________
...жизнь не что иное, как ожидание чего-то большего,..., и смерть - это единственное, на что мы действительно надеемся. Брэм Стокер, Граф Дракула. |
05.02.2009, 17:33 | #7 |
Регистрация: 08.05.2008
Адрес: Молдова/ПМР, Тирасполь
Сообщений: 3,557
Вы сказали Спасибо: 95
Поблагодарили 137 раз(а) в 124 сообщениях
Репутация: 1596
|
Это последнее сообщение кому адресованно?
__________________
Недорогой хостинг! forum-seo.net/showthread.php?p=10754 Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). |