Инструкции

Изменение robots.txt в системе управления UralCMS

Вы можете самостоятельно редактировать файл robots.txt в системе управления UralCMS.

Для этого необходимо перейти в раздел:

1. Настройки и оформление 

2. Настройки поисковых систем

3. Изменение robots.txt

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Данные функции дают поисковому роботу указания, какие страницы можно индексировать, а какие запрещены для индексации, также указывается расположение карты сайта, корректный адрес сайта и т.д.

В системе управления UralCMS файл robots.txt создается автоматически при активации нового сайта. При этом содержимое этого файла создается по умолчанию и разрешает индексировать все разделы сайта, за исключением системных разделов (раздела адиминистрирования).

Файл robots.txt может работать с двумя протоколами - http и https.

Пример файла robots.txt с сайтом на протоколе http:

Если сайт переехал на протокол https, измените файл robots.txt, заменив http на https в полях Host и Sitemap.

Обратите внимание, что в поле Host нужно добавлять адрес сайта без знака «/» на конце.


Описание основных функций для файла robots.txt:

Примечание: каждая функция указывается с новой строки.

User-agent — функция для указания ботов поисковых систем

Пример использования функции:

  • User-agent: * (указание для любых ботов)
  • User-agent: Yandex (указание для бота ПС Яндекс)

Disallow — функция для запрета индексирования отдельных категорий, рубрик, папок и т.д.

Пример использования функции:

  • Disallow: (без указания - нет запрещенных для индексации страниц)
  • Disallow:/editor/ (запрет индексирования раздела по адресу sitename.ru/editor/)

Host — функция для указания основного зеркала сайта (адреса сайта)

Пример использования функции:

  • Host: sitename.ru (указание для поисковых ботов об основном домене сайта)

Sitemap — функция для указания адреса карты сайта

Пример использования функции:

  • Sitemap: http://sitename.ru/?sitemap.xml (адрес карты сайта в формате xml)

# — знак решетки, расположенный в начале строки, указывает на принудительно игнорирование функции

Пример использования:

  • #Sitemap: http://sitename.ru/?sitemap.xml (указание на игнорирование функции)
  • #Host: sitename.ru (указание на игнорирование функции)

Корректное содержание файла robots.txt для UralCMS

User-agent: *
Crawl-delay: 2
Disallow: /editor/

Disallow: /basket/
Disallow: /registration/
Disallow: /enter/
Disallow: /sitesearch/
Disallow: /subscribe/
Disallow: /mycabinet/
Disallow: /passrecovery/

Disallow: */filter/
Disallow: /*producer=
Disallow: /*minprice=
Disallow: /*maxprice=
Disallow: /*f[
Disallow: /*sort=
Disallow: /*show_by=
Disallow: /*daily=
Disallow: /*print=1

Host: sitename.ru

Sitemap: http://sitename.ru/?sitemap.xml

Где sitename.ru — адрес сайта вашей компании, просто замените его на свой.

Обращаем ваше внимание на то, что ошибки, допущенные при редактировании данного файла могут привести к некорректному индексированию сайта поисковыми системами. Поэтому, если вы сомневаетесь в том, что правильно внесли изменения в файл robots.txt, обратитесь в службу поддержки.

Данный сайт использует файлы cookie и прочие похожие технологии. В том числе, мы обрабатываем Ваш IP-адрес для определения региона местоположения. Используя данный сайт, вы подтверждаете свое согласие с политикой конфиденциальности сайта.
ОК