Редактирование robots.txt в системе управления сайтом Ural-CMS

Вы можете самостоятельно редактировать файл robots.txt через систему управления сайтом Ural-CMS, для этого необходимо перейти в раздел:

Настройки и оформление → Настройки оформления → Редактировать robots.txt

Редактирование robots.txt в системе управления сайтом Ural-CMS

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Данные функции дают поисковому роботу указания, какие страницы можно индексировать, а какие запрещены для индексации, также указывается расположение карты сайта, корректный адрес сайта и т.д.

В системе управления URAL-CMS файл robots.txt создается автоматически при активации нового сайта. При этом содержимое этого файла создается по умолчанию и разрешает индексировать все разделы сайта, за исключением системных разделов (раздела адиминистрирования).

Файл robots.txt может работать с двумя протоколами - http и https.

Пример файла robots.txt с сайтом на протоколе http:

Если сайт переехал на протокол https, измените файл robots.txt, заменив http на https в полях Host и Sitemap.

Обратите внимание, что в поле Host нужно добавлять адрес сайта без знака слэш на конце.

Описание основных функций для файла robots.txt:

Примечание: каждая функция указывается с новой строки.

User-agent — функция для указания ботов поисковых систем

Пример использования функции:

  • User-agent: * (указание для любых ботов)
  • User-agent: Yandex (указание для бота ПС Яндекс)

Disallow — функция для запрета индексирования отдельных категорий, рубрик, папок и т.д.

Пример использования функции:

  • Disallow: (без указания - нет запрещенных для индексации страниц)
  • Disallow:/editor/ (запрет индексирования раздела по адресу sitename.ru/editor/)

Host — функция для указания основного зеркала сайта (адреса сайта)

Пример использования функции:

  • Host: sitename.ru (указание для поисковых ботов об основном домене сайта)

Sitemap — функция для указания адреса карты сайта

Пример использования функции:

  • Sitemap: http://sitename.ru/?sitemap.xml (адрес карты сайта в формате xml)

# — знак решетки, расположенный в начале строки, указывает на принудительно игнорирование функции

Пример использования:

  • #Sitemap: http://sitename.ru/?sitemap.xml (указание на игнорирование функции)
  • #Host: sitename.ru (указание на игнорирование функции)

Корректное содержание файла robots.txt для сайта на UralCMS

User-agent: *
Disallow:/editor/
Disallow: /basket/
Disallow: /*print=1
Disallow: /*sort=
Disallow: /*show_by=
Host: sitename.ru
Sitemap: http://sitename.ru/?sitemap.xml

Где sitename.ru — адрес сайта вашей компании, просто замените его на свой.

Обращаем ваше внимание на то, что ошибки, допущенные при редактировании данного файла могут привести к некорректному индексированию сайта поисковыми системами. Поэтому, если вы сомневаетесь в том, что правильно внесли изменения в файл robots.txt, обратитесь в нашу службу поддержки.

Рекомендации
Управление структурой
Настройки сайта Интерактивные сервисы Заказы и сообщения

Новости

Быстрая навигация

Видео-обзор системы управления

Реализован механизм восстановления удаленных разделов и их элементов

В системе управления добавлен функционал по восстановлению недавно удаленных разделов и их отдельных элементов.

Новые возможности экспорта, скидок и вывода позиций в списках магазина

Доработан механизм округления суммы заказа в скидках, обновлен экспорт в Яндекс.Маркет, новые настройки вывода доп.картинок для позиций в списках.

Смотреть все новости Подписаться на новости
Данный сайт использует файлы cookie и прочие похожие технологии. В том числе, мы обрабатываем Ваш IP-адрес для определения региона местоположения. Используя данный сайт, вы подтверждаете свое согласие с политикой конфиденциальности сайта.
ОК