robots.txt составляем самостоятельно для Битрикса.

Статья будет интересна для самостоятельного продвижения сайтов на Аспро и Битрикс.

Robots.txt — текстовый файл в корне сайта (/robots.txt), дающий указания поисковым роботам о том, какие страницы или разделы индексировать, а какие — нет.

Поисковые роботы (краулер, паук, бот) — программы поисковых систем (Googlebot, Bingbot, YandexBot и другие), автоматически обходят веб‑страницы, сканируют контент для индексирования. В SEO robots.txt имеет важное значение для ранжировании сайта. Правильно составленный robots обеспечивает корректное индексирование. Экономит время поисковых роботов на индексирование ненужных данных (дублей страниц, персональные данные, неуникальный контент, служебные файлы).

Используя полученные данные, можно самостоятельно и бесплатно улучшить индексирование сайта, исправить грубые ошибки мешающие продвижению сайта в Яндексе.

В Битриксе robots.txt как и в большинстве CMS представлен заводскими настройками. Для небольших сайтов визиток этого вполне достаточно. Для интернет-магазинов с большими торговый каталогом, использование готовых решений от Аспро (Максимум, Премьер) или маркетплейса, требуется корректировать файл.

Составляем индивидуальный robots.txt для магазина

Используем данные Вебмастр Яндекса.

Путь: Вебмастер - Индексирование - Страницы в поиске - Исключенные страницы.

Обратите внимание: резкий рост исключенных страниц с 20 000 до 168 000, каталог магазина всего 20 000 SKU. 

В легенде указана причина такого всплеска. 

• Редирект 130 000+ 
• Дубль 15 000+ 
• Малоценная или маловостребованная страница 21 000+

Роботы сканируют страницы которые не несут смысла для посетителя.

Почему исключаются страницы из поиска

Изучая вкладку Исключенные страницу - становится понятна их природа. Это подсказывает как устранить ошибки.

Видно, что /catalog/3334/?brand_name=Kapous  и  /catalog/3334/  - по сути дубли одной страницы, с параметром "Бренд". Яндекс склеивает такие страницы на свое усмотрение и продолжает обходить.

Как избавить от дубля страницы

 Для такого url составим правило запрещающее индексирование страниц по параметру ?brand_name= 

Используем 2 Директивы:

Чтобы правильно составить правило (Директива Disallow: ) - обратимся к проверке в разделе Яндекс Вебмастера: Анализ Robots.txt.

Копируем в поле для проверки наши URL 

Оба адреса доступны для индексирования. Для данного случая добавляем директиву Disallow: */?brand_name=, в окне Версия robots.txt: и проверяем результат.

Что означает такая запись? 

Фактически: запрет на обращение к url-адресам с параметром ?brand_name=

Проверяем правильность шагов:

 

Результат:

Дубль страницы запрещен. Текущий адрес - ок. 

Таким образом закрываем ненужные дубли страниц. 

Ждем применения новых правил 10-15 дней и проверяем внесение изменений.

Дубли с посадочными страницами 

В случае с посадочными страницами в решениях Аспро, особенно Премьер и Максимум, когда посадочные формируются URL через фильтр /filter/.
Чтобы не допустить появления большого количества дублей страниц по признакам фильтров (из настроек SEO умного фильтра) можно использовать директиву Allow:

Пример:
Формируем посадочную страницу по признаку “Бренд” используя стандартный инструменты Аспро.
При этом не нужно чтобы создавались дубли по другим параметрам (цвет, материал, мощность).
Используя директиву: Allow: */filter/collection- , получаем такой результат:



После того как составили и проверили логику работ директив в панели вебмастера - вносим их в файл на сайте.

Используя данные инструменты можно самостоятельно выявлять и устранять ошибки индексирования, повышая доверие со стороны Яндекса.

90% Интернет-магазинов на готовых решениях индексируются с ошибками, что приводит к падению видимости сайта в результатах поиска и понижение позиций.

 
Оказываем услуги по Seo оптимизации и продвижению сайтов и магазинов в Яндексе и Google.
 Хотите, чтобы robots.txt для вашего сайта на Bitrix был составлен правильно и без риска ошибок?

Закажите услугу по оптимизации сайта: проверим текущий robots.txt, и подготовим ценовое предложение