Редактирование robots.txt в системе управления сайтом Ural-CMS

Вы можете самостоятельно редактировать файл robots.txt через систему управления сайтом Ural-CMS, для этого необходимо перейти в раздел:

Настройки и оформление → Настройки оформления → Редактировать robots.txt

Редактирование robots.txt в системе управления сайтом Ural-CMS

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Данные функции дают поисковому роботу указания, какие страницы можно индексировать, а какие запрещены для индексации, также указывается расположение карты сайта, корректный адрес сайта и т.д.

В системе управления URAL-CMS файл robots.txt, создается автоматически при активации нового сайта. При этом содержимое этого файла создается по умолчанию и разраешает индексировать все разделы сайта, за исключением системных разделов (раздела адиминистрирования).

Описание основных функций для файла robots.txt:

Примечание: каждая функция указывается с новой строки.

User-agent — функция для указания ботов поисковых систем

Пример использования функции:

  • User-agent: * (указание для любых ботов)
  • User-agent: Yandex (указание для бота ПС Яндекс)

Disallow — функция для запрета индексирования отдельных категорий, рубрик, папок и т.д.

Пример использования функции:

  • Disallow: (без указания - нет запрещенных для индексации страниц)
  • Disallow:/editor/ (запрет индексирования раздела по адресу sitename.ru/editor/)

Host — функция для указания основного зеркала сайта (адреса сайта)

Пример использования функции:

  • Host: sitename.ru (указание для поисковых ботов об основном домене сайта)

Sitemap — функция для указания адреса карты сайта

Пример использования функции:

  • Sitemap: http://sitename.ru/?sitemap.xml (адрес карты сайта в формате xml)

# — знак решетки, расположенный в начале строки, указывает на принудительно игнорирование функции

Пример использования:

  • #Sitemap: http://sitename.ru/?sitemap.xml (указание на игнорирование функции)
  • #Host: sitename.ru (указание на игнорирование функции)

Корректное содержание файла robots.txt для сайта на UralCMS

User-agent: *
Disallow:/editor/
Disallow: /basket/
Disallow: /*print=1
Disallow: /*sort=
Disallow: /*show_by=
Host: sitename.ru
Sitemap: http://sitename.ru/?sitemap.xml

Где sitename.ru — адрес сайта вашей компании, просто замените его на свой.

Обращаем ваше внимание на то, что ошибки, допущенные при редактировании данного файла могут привести к некорректному индексированию сайта поисковыми системами. Поэтому, если вы сомневаетесь в том, что правильно внесли изменения в файл robots.txt, обратитесь в нашу службу поддержки.

Рекомендации Управление структурой
Настройки сайта Интерактивные сервисы Заказы и сообщения

Новости

Быстрая навигация

Видео-обзор системы управления

Обработка персональных данных на сайте в соответствии со 152-ФЗ

Реализован инструментарий для возможности информирования пользователей об обработке передаваемых персональных данных через формы обратной связи.

Оформление чеков при онлайн-оплате в соответствии с 54-ФЗ

Для пользователей эквайринга от Яндекс.Касса и Сбербанк реализован механизм отправки чеков в ФНС и покупателю через интернет.

Смотреть все новости Подписаться на новости