Оставить заявку
Telegram
WhatsApp
Изменение robots.txt в системе управления UralCMS
Вы можете редактировать файл robots.txt в системе управления UralCMS.
Видео: управление файлом robots.txt
• ВИДЕО С YOUTUBE
Для изменения содержимого файла перейдите в раздел:
- Настройки и оформление
- Настройки поисковых систем
- Изменение robots.txt
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Данные функции дают поисковому роботу указания, какие страницы можно индексировать, а какие запрещены для индексации, также указывается расположение карты сайта, корректный адрес сайта и т.д.
В системе управления UralCMS файл robots.txt создается автоматически при активации нового сайта. При этом содержимое этого файла создается по умолчанию и разрешает индексировать все разделы сайта, за исключением системных разделов (раздела адиминистрирования).
Файл robots.txt может работать с двумя протоколами - http и https.
Пример файла robots.txt с сайтом на протоколе http:
Если сайт переехал на протокол https, измените файл robots.txt, заменив http на https в полях Host и Sitemap.
Обратите внимание, что в поле Host нужно добавлять адрес сайта без знака «/» на конце.
Описание основных функций для файла robots.txt:
Примечание: каждая функция указывается с новой строки.
User-agent — функция для указания ботов поисковых систем
Пример использования функции:
- User-agent: * (указание для любых ботов)
- User-agent: Yandex (указание для бота ПС Яндекс)
Disallow — функция для запрета индексирования отдельных категорий, рубрик, папок и т.д.
Пример использования функции:
- Disallow: (без указания - нет запрещенных для индексации страниц)
- Disallow:/editor/ (запрет индексирования раздела по адресу sitename.ru/editor/)
Host — функция для указания основного зеркала сайта (адреса сайта)
Пример использования функции:
- Host: sitename.ru (указание для поисковых ботов об основном домене сайта)
Sitemap — функция для указания адреса карты сайта
Пример использования функции:
- Sitemap: http://sitename.ru/?sitemap.xml (адрес карты сайта в формате xml)
# — знак решетки, расположенный в начале строки, указывает на принудительно игнорирование функции
Пример использования:
- #Sitemap: http://sitename.ru/?sitemap.xml (указание на игнорирование функции)
- #Host: sitename.ru (указание на игнорирование функции)
Корректное содержание файла robots.txt для UralCMS
User-agent: *
Crawl-delay: 2
Disallow: /editor/
Disallow: /basket/
Disallow: /registration/
Disallow: /enter/
Disallow: /sitesearch/
Disallow: /subscribe/
Disallow: /mycabinet/
Disallow: /passrecovery/
Disallow: */filter/
Disallow: /*producer=
Disallow: /*minprice=
Disallow: /*maxprice=
Disallow: /*f[
Disallow: /*sort=
Disallow: /*show_by=
Disallow: /*daily=
Disallow: /*print=1
Host: sitename.ru
Sitemap: http://sitename.ru/?sitemap.xml
Где sitename.ru — адрес сайта вашей компании, просто замените его на свой.
Обращаем ваше внимание на то, что ошибки, допущенные при редактировании данного файла могут привести к некорректному индексированию сайта поисковыми системами. Поэтому, если вы сомневаетесь в том, что правильно внесли изменения в файл robots.txt, обратитесь в службу поддержки.