Robots.txt для Яндекса
Не могу разобраться с robots.txt
Вобщем моя цель склеить две страница с www и без www
Создал файл robots.txt и там написал:
User-Agent: Yandex
Allow:
Disallow: /print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: mysite.ru
Sitemap: [url]http://mysite.ru/sitemap.xml[/url]
Теперь когда начинаю проверять сайт на cy-pr.com, он не показывает что страницы склеины. И пишет, что в файле robots.txt ОШИБКА 404
PLEASE подскажите, в чём может быть проблема?!
|