+7(916) 554-97-57
7 дней в неделю с 9:00 до 20:00
СОЗДАНИЕ LANDING PAGE

САЙТ КОТОРЫЙ ПРОДАЕТ

РАССКАЖИТЕ О ВАШЕМ ПРОЕКТЕ
Запись

Создание использование и настройка файла Robots.txt дерективы Disallow и Allow

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Как создать robots.txt

Воспользуйтесь любым текстовым редактором (например, Блокнотом или WordPad), создайте файл с именем robots.txt и заполните его в соответствии с представленными ниже правилами. После этого необходимо загрузить файл в корневой каталог вашего сайта.

Скачать файл Robots.txt

Настройки файла Robots.txt

Файл Robots.txt начинается с дерективы

User-agent: *

Эта деректива означает, для каких поисковых систем будем создавать следующие правила. В нашем случае "*" это значит, что для всех роботов.

Использование директив Disallow и Allow

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'

User-agent: *
Disallow: /

Блокирует доступ ко всему сайту.

User-agent: *
Disallow: /cgi-bin

Блокирует доступ к страницам начинающимся с "/cgi-bin".

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'.

Директива Sitemap

User-agent: *
Allow: /
Sitemap: http://mysite.ru/sitemap.xml

Sitemap: http://mysite.ru/sitemap.xml - путь к месту где располагается карта.

Директива Host

User-Agent: *
Disallow: /cgi-bin
Host: www.glavnoye-zerkalo.ru

Если у вашего сайта есть зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его для всех зеркал в файле robots.txt: имя главного зеркала должно быть значением директивы 'Host'.


Копирование материала разрешается только с индексируемой ссылкой на наш сайт.

Статья от 10.11.2015
КОНТАКТЫ
+7(916) 554-97-57
7 дней в неделю с 9:00 до 20:00
support@line-site.ru
Круглосуточно и обрабатываются в течении суток
ГлавнаяСтатьи и новостиЗаказатьЛичный кабинет
Web-студия LineSite создает Landing Page сайты, используя новые технологии и тенденции
в области разработки сайтов
© 2014 - 2018 line-site.ru
ЗНАКОМСТВО
Заявки обрабатываются в течении суток
ЗАКАЗАТЬ ЗВОНОК
Заявки обрабатываются в течении суток
ВОПРОС СПЕЦИАЛИСТУ
Заявки обрабатываются в течении суток
ПОДАРОК
Для того, что бы получить подарок необходимо заказать у нас сайт. Подарок определяется путем попадания Вашего промо кода в выигрышные числа. Промо код действителен только один раз и на один проект.
Заявки обрабатываются в течении суток
ЗАКАЗАТЬ LANDING PAGE
Заявки обрабатываются в течении суток
ВОЙТИ В КАБИНЕТ
Заявки обрабатываются в течении суток