На небольшом сайте проблема обычно выглядит одинаково: в индекс попадают страницы поиска, архивы автора, служебные шаблоны, тестовые записи или дубли пагинации. Плагин для SEO может это закрыть, но если задача точечная, проще и надежнее управлять индексацией на уровне темы или мини-плагина. Так меньше лишней логики и проще понять, что именно изменилось.
Когда это действительно нужно
Отключать индексацию имеет смысл не для «всего подряд», а для конкретных URL, которые не несут самостоятельной ценности в поиске. Обычно это:
- страницы поиска WordPress с параметром
?s=; - архивы автора на сайте с одним автором;
- служебные страницы, которые не должны конкурировать с основным контентом;
- внутренние тестовые записи и черновые шаблоны, если они уже стали доступны по прямой ссылке;
- дубли пагинации и фильтров, если они создают мусорные URL.
Если у вас полноценная SEO-система уже настроена, сначала проверьте, не решается ли задача штатными настройками плагина. Но когда нужен контроль без лишних зависимостей, код часто удобнее.
Диагностика проблемы
Перед правками нужно понять, что именно индексируется и почему. Не стоит закрывать все подряд только потому, что в отчете есть «дубли». Сначала проверьте:
- какие URL уже есть в индексе;
- какие из них реально нужны пользователю;
- есть ли у страницы canonical;
- не закрыта ли она уже через
noindexилиrobots.txt; - не ломает ли текущая тема вывод мета-тегов.
Быстрый способ диагностики — открыть страницу в браузере и посмотреть исходный код. Если в <head> уже есть meta name="robots", не добавляйте второй такой же тег вручную. Сначала выясните, кто его выводит: тема, SEO-плагин или кастомный код.
Что проверить в первую очередь
- исходный код страницы через «Просмотр кода страницы»;
- ответ сервера в DevTools или через
curl -I; - наличие
X-Robots-Tagв заголовках; - правила в
robots.txt; - канонический URL на странице.
Пошаговое решение через код
Если нужно закрыть от индексации только отдельные типы страниц, удобнее добавить фильтр в мини-плагин или functions.php дочерней темы. Для служебных страниц часто достаточно мета-тега noindex, follow.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_search() || is_author() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант работает с современным механизмом wp_robots. Он не подменяет весь набор правил, а аккуратно добавляет нужные директивы. Для поисковых страниц это обычно достаточно.
Если нужно закрыть конкретную страницу по ID, можно сделать более точечную проверку:
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_page( 123 ) ) {
$robots['noindex'] = true;
$robots['nofollow'] = true;
}
return $robots;
} );Такой подход полезен для тестовых лендингов, страниц благодарности или внутренних шаблонов, которые не должны попадать в поиск.
Когда лучше использовать X-Robots-Tag
Если нужно закрыть не HTML-страницу, а файл или ответ API, мета-тег не поможет. Тогда используют заголовок X-Robots-Tag. В WordPress его можно добавить через хук send_headers:
<?php
add_action( 'send_headers', function() {
if ( is_feed() ) {
header( 'X-Robots-Tag: noindex, follow', true );
}
} );Это не универсальная замена мета-тегу, но для feed-страниц и некоторых служебных ответов подходит лучше.
robots.txt: что он может, а что нет
Файл robots.txt полезен для управления обходом, но не для гарантированного удаления из индекса. Это частая ошибка: страницу закрывают в robots.txt и ждут, что она исчезнет из поиска. Если URL уже известен поисковику, он может остаться в индексе без контента.
Пример аккуратного правила для служебных разделов:
User-agent: *
Disallow: /search/
Disallow: /author/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpНо для реального удаления из индекса лучше сочетать robots.txt с noindex. Иначе поисковик может продолжать видеть URL, даже если не сможет его полноценно обойти.
Сравнение подходов
| Подход | Когда использовать | Плюс | Минус |
|---|---|---|---|
| SEO-плагин | Если уже стоит и настроен | Удобно для массовых правил | Лишняя зависимость и дубли логики |
Код через wp_robots | Точечные страницы и типы архивов | Прозрачно и без лишнего UI | Нужно аккуратно поддерживать |
robots.txt | Ограничить обход | Просто и быстро | Не гарантирует удаление из индекса |
Проверка результата после внедрения
После правки не ограничивайтесь визуальной проверкой страницы. Нужно убедиться, что директива реально попала в ответ и не конфликтует с другими настройками.
- Откройте страницу в браузере и проверьте исходный код.
- Убедитесь, что в
<head>есть одна директиваnoindex, а не две. - Проверьте заголовки ответа через DevTools или
curl -I https://example.com/.... - Если используется Search Console, отправьте URL на повторную проверку после переобхода.
Для быстрой проверки можно использовать такую команду:
curl -I https://example.com/search/?s=testЕсли вы закрывали страницу через wp_robots, в HTML-ответе должен появиться соответствующий meta robots. Если использовали заголовок, ищите X-Robots-Tag в response headers.
Частые ошибки и как их исправить
Закрыли страницу только в robots.txt
Это не равно noindex. Если URL уже в индексе, добавьте мета-тег или заголовок X-Robots-Tag.
Добавили два разных robots-тега
Так бывает, когда SEO-плагин уже выводит свои директивы, а вы добавили еще один блок вручную. Оставьте один источник правды: либо плагин, либо код.
Использовали nofollow там, где нужен только noindex
Для большинства служебных страниц достаточно noindex, follow. Полный nofollow может мешать передаче внутреннего веса и обходу ссылок.
Закрыли не тот шаблон
Например, проверяли is_page(), а проблема сидит в архиве автора или в поиске. Сначала определите тип страницы через условные теги WordPress, потом пишите правило.
Практические советы по безопасности и производительности
Если вы вносите код в functions.php, делайте это в дочерней теме или мини-плагине. Так правка не исчезнет после обновления темы. Для точечных SEO-правил мини-плагин часто удобнее: меньше риска случайно сломать шаблон.
Не ставьте тяжелый SEO-плагин только ради одной настройки, если сайт небольшой и задача локальная. Но если у вас уже есть комплексный набор правил, иногда проще управлять индексированием через один инструмент, чем размазывать логику по теме и отдельным сниппетам.
Если нужно регулярно чистить дубли, служебные страницы и мусорные настройки, имеет смысл посмотреть на инструменты, которые закрывают технические SEO-задачи шире, например Clearfy Pro: https://wpshop.ru/plugins/clearfy?utm_source=wpplugin.ru&utm_medium=article&utm_campaign=kak-otklyuchit-indeksaciyu-otdelnyh-stranic-wordpress-bez-plagina
Главный критерий здесь простой: после внедрения у страницы должен быть один понятный источник директивы, а не набор разрозненных правил, которые потом трудно отлаживать.