Мета-теги robots и x-robots: управление индексацией сайта

Когда речь заходит о SEO-оптимизации, важно понимать не только, как продвинуть сайт в поисковой выдаче, но и как правильно управлять индексацией страниц. Особенно это касается тех страниц, которые не должны появляться в поисковой выдаче. И вот здесь на помощь приходят мета-теги robots и x-robots. В этой статье мы подробно объясним, что это за теги, как их использовать и зачем они вообще нужны.

Что такое теги robots и x-robots

Robots — специальный тег HTML, который подсказывает поисковикам, что делать с конкретной страницей сайта: индексировать её или нет.

Заголовок x-robots работает аналогично, но на уровне сервера. Это значит, что директивы применяются до загрузки кода страницы. X-Robots-Tag может управлять индексацией и других типов файлов. Например, картинок или PDF-файлов.

Директивы — инструкции, которые вы даете поисковикам, чтобы контролировать, как они индексируют и отображают сайт в поисковой выдаче. Команды можно задавать через теги, настройки сервера или файл robots.txt.

Типы директив

Для тега robots:

• Noindex: запрещает индексировать страницу;
• Nofollow: запрещает следовать по ссылкам, размещенным на странице;
• Index: разрешает индексировать страницу;
• Follow: допускает переход по ссылкам ресурса.

Для заголовка x-robots:

Используются те же самые директивы с той же механикой, только с фокусом на картинках, документах и других объектах.

Для файла robots.txt:

• Disallow: запрещает доступ к определённым страницам или разделам ресурса;
• Allow: разрешает доступ к выбранным страницам сайта;
• User-agent: указывает, для каких поисковиков применяются директивы.

В каких случаях использовать robots и x-robots

Применение зависит от конкретной задачи и типа контента:

• Страницы, не предназначенные для поиска. Например, корзина покупок, результаты поиска внутри сайта, дублированный контент и т.д.
• Медиафайлы. PDF-документы, изображения и другие файлы, которые не нужно показывать в поисковиках, лучше обрабатывать через тег x-robots.
• Динамически создаваемые страницы. Если есть страницы, которые генерируются на сервере и не должны индексироваться, для них тоже лучше использовать x-robots.

Практические примеры настройки

1. Настройка мета-тегов robots для HTML-страниц

Для того чтобы правильно настроить тег, выполните следующие шаги:

1. Определите страницы, которые не должны индексироваться.
2. Добавьте мета-теги в заголовок HTML-документа. Например: <meta name="robots" content="index, follow">.
3. Сохраните изменения и проверьте, что страницы индексируются.

2. Настройка заголовков x-robots для файлов на сервере

Для настройки заголовков необходимо:

1. Открыть файл .htaccess в корневой директории сайта.
2. Добавить правила для указания заголовков. Например, чтобы запретить индексацию всех изображений в определенной папке: <FilesMatch "\.(jpg|jpeg|png|gif)$"> Header set X-Robots-Tag "noindex, nofollow" </FilesMatch>
3. Сохранить изменения и перезагрузить сервер.

Частые ошибки при настройке meta tag robots

Рассмотрим наиболее распространенные ошибки:

Часто встречается ошибка, когда теги или атрибуты прописаны с опечатками или неправильно структурированы.

Ошибка: <meta name="robots" contents="noindex, nofollow">.

Правильно: <meta name="robots" content="noindex, nofollow">.

На странице может быть несколько тегов robots с противоречивыми значениями.

Иногда вебмастера применяют тег noindex ко всем страницам сайта, что приводит к полному неиндексированию.

Неправильная настройка заголовков x-robots в файле .htaccess или конфигурации сервера может привести к нежелательным результатам.

Если сайт использует HTTPS, а ссылки и теги прописаны с HTTP, это может вызвать проблемы с индексацией.

Meta robots должны быть размещены в разделе head. Размещение в теле документа может привести к игнорированию поисковыми системами.

Где проверить отсутствие ошибок в тегах

1. Google Search Console и Яндекс.Вебмастер. Сервисы помогут найти страницы с ошибками индексации и предложат советы по их исправлению.
2. Инструменты разработчика в браузере. Встроенные инструменты позволяют проверить правильность тегов и заголовков HTTP. Просто откройте раздел head в коде и посмотрите заголовки HTTP в разделе "Network".
3. Автоматические сканеры. Например, Screaming Frog SEO Spider просканирует сайт, найдет ошибки индексации и предоставит подробный отчет о настройках, что поможет быстро найти и исправить проблемы.

Если вы обновляете структуру сайта или перемещаете страницы, не забудьте обновить robots и x-robots-tag. Неправильные или устаревшие теги могут привести индексированию закрытых страниц.