Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете. (http://forum-seo.net/index.php)
-   Вопросы сео новичков (http://forum-seo.net/forumdisplay.php?f=14)
-   -   посмотрите правильность robots.txt! (http://forum-seo.net/showthread.php?t=6486)

independ 18.02.2010 12:48

посмотрите правильность robots.txt!
 
[url]http://www.secprice.ru/robots.txt[/url]

Хочу закрыть ссылки от индексации, посмотрите пожалуйста правильность заполнения robots.txt
Поправьте если что не так плиzzz.......

Seo-man 19.02.2010 12:06

robots.txt ограничивает доступ к страницам сайта, а не к ссылкам.

User-Agent: *
Disallow: /admin/
Disallow: /includes/

Ты закрыл доступ к папкам admin и includes

Alexbest201 24.02.2010 08:41

Для этого мы делаем так
<noindex>ССЫЛКА</noindex>.
Или имелось ввиду страницы?

antontv2009 25.06.2010 06:40

Если dle то я бы посоветовал так:
User-Agent: *
Allow: /index.php
Allow: /main/
Allow: /softs/
Тут все котегории
Allow: /

Crawl-delay: 10
Sitemap: [url]http://ваш[/url] сайт.ru/uploads/sitemap.xml

Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /backup/
Disallow: /favorites/
Disallow: /?do=lastcomments
Disallow: /statistics.html

Host: ваш сайт.ru

antontv2009 25.06.2010 06:43

А по поводу ноиндекс и нофалоу не канает сейчас у yandex изменился алгоритм и он все равно читает их просто в индекс не пускает. а вот если оба вместе то тогда не считывает инфу закрытую сразу ноиндекс и нофалоу


Часовой пояс GMT +3, время: 08:49.

Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd. Перевод: zCarot