Цитата:
Сообщение от Santa
Не могу разобраться с robots.txt
Вобщем моя цель склеить две страница с www и без www
Создал файл robots.txt и там написал:
User-Agent: Yandex
Allow:
Disallow: /print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: mysite.ru
Sitemap: [url]http://mysite.ru/sitemap.xml[/url]
Теперь когда начинаю проверять сайт на cy-pr.com, он не показывает что страницы склеины. И пишет, что в файле robots.txt ОШИБКА 404
PLEASE подскажите, в чём может быть проблема?!
|
Ппопробуй такой:
#Main Section
User-agent:*
Crawl-delay: 15
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=lostpassword
# End Of Main ssection
# Sitemap Section
User-Agent: Yandex
Sitemap: sitemap.xml
# End Of Sitema Section