Если в индексе появились страницы вида /page/2/, /page/3/ и дальше, это не всегда ошибка. Для блога, каталога или архива пагинация часто нужна поисковику как часть структуры сайта. Но бывают ситуации, когда такие страницы дают мусор в индексе, создают дубли или забивают отчёты в Search Console. В этом случае задача не просто «запретить всё подряд», а убрать именно лишние страницы пагинации и не сломать обход важных разделов.
Короткий ответ такой: чаще всего пагинацию не закрывают через robots.txt, а либо ставят на неё noindex,follow, либо оставляют индексируемой только там, где она действительно полезна. Какой вариант выбрать, зависит от того, что именно у вас индексируется и как устроен шаблон архива.
Когда страницы пагинации действительно стоит убирать из индекса
Не каждая страница пагинации мешает SEO. Если на второй и следующих страницах есть уникальные товары, записи или карточки, а сам архив важен для обхода, поисковик может спокойно их держать в индексе. Проблема обычно возникает в таких случаях:
- страницы
/page/2/и дальше почти полностью дублируют первую страницу архива; - в индекс попадают десятки пустых или почти пустых страниц;
- поисковик тратит обход на служебные архивы вместо полезных страниц;
- в выдаче начинают всплывать не те URL, которые вы хотите продвигать;
- на сайте есть фильтры, сортировки и пагинация, которые вместе создают много однотипных страниц.
Если у вас обычный блог с нормальной внутренней перелинковкой, чаще всего достаточно не индексировать только глубокую пагинацию. Если это каталог или архив с важной навигацией, сначала проверьте, не потеряете ли вы полезный трафик, закрыв такие страницы полностью.
Что делать не стоит: почему robots.txt — плохой способ для этой задачи
Самая частая ошибка — закрыть пагинацию в robots.txt через Disallow. Это выглядит просто, но для индексации такой способ неудобен: поисковик может не увидеть страницу, не прочитать её мета-теги и не понять, что вы хотите сделать с её индексацией. В результате URL может остаться в индексе как «запрещённый к обходу», а не исчезнуть нормально.
Для WordPress это особенно заметно на архивах, где пагинация связана с внутренними ссылками. Если робот не может пройти по этим страницам, он хуже видит структуру архива и может реже добираться до старых материалов. Поэтому для удаления из индекса обычно используют не блокировку обхода, а директиву noindex на самих страницах.
Правильный способ: поставить noindex,follow на страницы пагинации
Самый практичный вариант — оставить страницы доступными для обхода, но запретить их индексацию. Тогда робот сможет пройти по ссылкам внутри архива, а сама страница не будет закрепляться в поиске.
В WordPress это можно сделать несколькими способами:
- через SEO-плагин, если он умеет задавать
noindexдля архивов и пагинации; - через код в теме или дочерней теме;
- через настройки конкретного плагина, если пагинацию создаёт не сам WordPress, а, например, архив товаров или записей другого типа.
Если у вас уже стоит SEO-плагин, сначала проверьте его настройки. Многие решения позволяют отдельно управлять индексированием архивов, страниц авторов, рубрик и пагинации. Это удобнее, чем писать код вручную, потому что настройка переживает обновления темы и не слетает после правок шаблона.
Как закрыть пагинацию через код
Если плагина нет или он не даёт нужной гибкости, можно добавить условный вывод мета-тега robots в functions.php дочерней темы или через небольшой кастомный плагин. Перед изменениями сделайте резервную копию: ошибка в PHP может временно уронить сайт.
Для обычных страниц пагинации архивов подойдёт такой вариант:
add_action( 'wp_head', function () {
if ( is_paged() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
} );Этот код добавляет noindex,follow на все страницы, которые WordPress считает пагинированными. Важно понимать ограничение: is_paged() срабатывает не только на архивы записей, но и на другие типы страниц, где есть пагинация. Если вам нужно закрыть только архивы рубрик, меток или записей, а не всё подряд, условие придётся уточнять.
Например, если вы хотите закрывать только архивы и главную ленту блога, но не трогать другие страницы, логику нужно подстроить под структуру сайта. Универсального кода для всех случаев нет, потому что у разных тем и плагинов пагинация может быть реализована по-разному.
Как проверить, что мета-тег появился
После сохранения откройте страницу /page/2/ или любую другую пагинированную страницу и посмотрите исходный код. В <head> должен быть тег вида:
<meta name="robots" content="noindex,follow" />Если его нет, проверьте три вещи: код действительно загружен в активной теме, страница считается пагинированной именно WordPress, а не плагином, и кэш не отдаёт старую версию HTML. На сайтах с серверным кэшем или CDN изменения иногда видны не сразу.
Если нужно убрать из индекса только часть пагинации
Иногда закрывать все страницы пагинации не нужно. Например, первая и вторая страницы рубрики ещё полезны, а начиная с третьей в индексе уже появляется мусор. В таком случае можно ограничиться более точной логикой. Это уже задача не для стандартной настройки, а для аккуратной доработки шаблона.
Практически это означает, что вы:
- оставляете индексируемыми важные архивы;
- закрываете только глубокую пагинацию;
- не трогаете страницы, которые нужны для перехода робота по ссылкам.
Такой подход полезен для крупных сайтов, где пагинация — часть нормальной навигации, а не источник дублей. Но если вы не уверены, лучше начать с более простого варианта: закрыть все пагинированные страницы от индексации и посмотреть на результат в Search Console.
Как понять, что решение сработало
После изменения не ждите мгновенного исчезновения URL из поиска. Поисковик должен заново обойти страницы, увидеть noindex и постепенно убрать их из индекса. Это занимает время, особенно если сайт давно сканировался и у него много внутренних ссылок на пагинацию.
Проверять нужно в три шага:
- Откройте несколько URL вида
/page/2/,/page/3/и убедитесь, что в исходном коде естьnoindex,follow. - Проверьте, что страницы по-прежнему открываются для робота и не отдают 403, 404 или редирект на главную без причины.
- Посмотрите отчёты в Google Search Console: такие URL должны постепенно уходить из индекса или переходить в статус исключённых.
Если страницы не выпадают из индекса, часто причина не в самом noindex, а в том, что робот видит старую версию из кэша или на странице есть канонический URL, который указывает не туда. В этом случае нужно проверить и кэш, и шаблон canonical.
Что ещё может мешать убрать пагинацию из индекса
На практике проблема редко сводится только к одному мета-тегу. Вот что стоит проверить, если страницы продолжают индексироваться:
- Кэш. После правки HTML может ещё какое-то время отдаваться старая версия страницы.
- Плагин SEO. Некоторые плагины сами формируют
robotsи могут перезаписывать ваш код. - Канонические ссылки. Если
canonicalуказывает на пагинированную страницу или на неправильный URL, поисковик может вести себя не так, как вы ожидаете. - Ссылки с других страниц. Если на пагинацию ведёт много внутренних ссылок, робот будет продолжать её обходить, даже если она закрыта от индексации.
Поэтому правильная схема обычно выглядит так: страницы пагинации доступны, но не индексируются; важные материалы связаны внутренними ссылками; кэш очищен; а в Search Console вы отслеживаете, как URL постепенно исчезают из индекса.
Когда лучше не закрывать пагинацию полностью
Полностью убирать пагинацию из индекса не всегда выгодно. Если у вас новостной сайт, большой блог или каталог, вторая и третья страницы архива могут быть полезны как точки входа. Тогда лучше не бороться с самой пагинацией, а улучшить содержимое архива: добавить нормальные заголовки, убрать пустые блоки, сделать более осмысленную структуру рубрик и не плодить однотипные страницы фильтров.
Если же пагинация действительно создаёт мусор, начинайте с noindex,follow. Это самый безопасный способ: он не ломает обход сайта и даёт поисковику понять, что индексировать страницу не нужно. Для WordPress это обычно лучше, чем жёстко запрещать обход или удалять URL вручную без понимания причины дублей.
Итог простой: чтобы убрать страницы пагинации WordPress из индексации, не закрывайте их в robots.txt, а задайте noindex,follow на сами страницы, проверьте кэш и убедитесь, что робот по-прежнему может проходить по ссылкам. Тогда вы уберёте мусор из индекса и не сломаете структуру сайта.