Помогите с установкой и настройкой robots.txt и .htaccess
Вот сделал .htaccess вроде всё работает.
========
Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^gistoryja\.ru$ [NC]
RewriteRule ^(.*)$ http://www.gistoryja.ru/$1 [R=301,L]
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/index\.(.+)$
RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]
ErrorDocument 404 /404.jpg
========
вот сделал robots.txt
Правильно?
=======
User-agent: *
Disallow: /sendmail/
Disallow: /opr/
User-agent: Yandex
Disallow: /sendmail/
Disallow: /opr/
Host: [url]www.сайт.ru[/url]
Sitemap: [url]http://www.сайт.ru/sitemap.xml[/url]
=======
|