Индексация сайта в 2026: поисковые боты, AI-краулеры и как ими управлять

До 2023 года индексация означала одно: попасть в базы Яндекса и Google. В 2026 контуров два. Сайт сканируют не только поисковые роботы, но и AI-краулеры — GPTBot, ClaudeBot, PerplexityBot, — а поверх поискового индекса Яндекса строит ответы Алиса. По нашему baseline-замеру (2 496 коммерческих запросов, проверка Алисы и Google AI Overviews по каждому) Алиса даёт ответ на 57% запросов, AI Overviews — на 77%. Страница, которой нет в индексе, не существует ни для выдачи, ни для нейросетей.

Правила двух контуров различаются, и на этом теряют видимость даже крупные сайты: четверть мирового топ-1000 сегодня закрыта для GPTBot, причём часто — незаметно для владельцев, вместе с анти-бот защитой CDN или «защитным» шаблоном robots.txt. Ниже — как проверить оба контура за 10 минут, чем AI-краулеры отличаются от поисковых ботов и какие советы из старых статей в 2026 уже вредят.

Алексей Малков

Основатель GEOAudit.org • GEO/SEO-стратег

150+ аудитов • 12 лет в digital • 100+ отзывов на фрилансе

Индексация robots.txt AI-краулеры

Профиль автора →

Кто индексирует ваш сайт в 2026: таблица ботов

Первый контур — классические поисковые роботы: наполняют индекс выдачи. Второй — AI-краулеры: собирают контент для обучения моделей и для ответов в реальном времени. Важная деталь: у Алисы и AI Overviews отдельного «AI-индекса» нет — они строятся поверх индексов Яндекса и Google. Любая ошибка классической индексации автоматически режет и AI-видимость в этих системах.

Практическое правило для B2B: пускать поисковых ботов и AI-краулеры «ответного» контура (OAI-SearchBot, ChatGPT-User, PerplexityBot); решение по обучающим (GPTBot, ClaudeBot, Google-Extended) принимать осознанно — для бизнеса, который хочет упоминаний в нейросетях, блокировка почти всегда ошибка. Готовые конфигурации по каждому боту — в разборе robots.txt для AI-краулеров.

Что такое индексация сайта — в одном абзаце

Индексация сайта — попадание его страниц в базу поисковой системы; только из этой базы страницы попадают в выдачу и в AI-ответы. Не путайте с ранжированием: индексация — «страница известна системе», ранжирование — «на каком она месте». Пока страницы нет в индексе, обсуждать позиции, сниппеты и цитируемость в Алисе бессмысленно.

Чек-лист: проверка индексации за 10 минут

Шаги 1-8 и 10 укладываются в 10 минут; шаг 9 требует доступа к логам — обычно это задача разработчику на 15 минут. Шаги 1-7 — классический контур, 8-10 — AI.

1. (1 мин) site:вашдомен.ru в Яндексе и Google. Смотрите порядок цифр, а не точное число (оператор показывает оценку). Если страниц в разы меньше, чем на сайте, — сразу к шагам 5-6.
2. (2 мин) Яндекс Вебмастер → «Индексирование» → «Страницы в поиске» → исключённые: у каждой страницы указана причина (дубль, малоценная, редирект).
3. (2 мин) Google Search Console → отчёт «Индексирование страниц»: причины «Просканировано, но не проиндексировано», «Обнаружено, не просканировано», «Страница с переадресацией».
4. (1 мин) Ключевая коммерческая страница: «Проверка страницы» в Вебмастере и URL Inspection в GSC. Проверять только главную — ошибка: главная в индексе почти всегда, проблемы живут в каталоге и блоге.
5. (1 мин) вашдомен.ru/robots.txt: нет ли Disallow: / (классика после переезда с тестовой среды) и кого из AI-ботов вы блокируете — возможно, неосознанно, вместе с шаблоном CMS.
6. (1 мин) Исходный код проблемных страниц: <meta name="robots" content="noindex"> и HTTP-заголовок X-Robots-Tag (DevTools → Network). Второй — самая незаметная из причин: в HTML его не видно.
7. (1 мин) вашдомен.ru/sitemap.xml: файл открывается, в нём нет 404 и закрытых страниц, он указан в robots.txt и загружен в обе панели.
8. (1 мин) AI-контур: откройте страницу с отключённым JavaScript (DevTools → Ctrl+Shift+P → «Disable JavaScript»). То, что исчезло, для AI-краулеров не существует.
9. (логи, задача разработчику) Логи сервера за месяц по User-Agent: есть ли визиты GPTBot, ClaudeBot, PerplexityBot. Ноль визитов при открытом robots.txt — повод проверить файрвол и анти-бот защиту CDN.
10. (1 мин) Спросите ChatGPT (с поиском) и Алису о вашем продукте и компании. Это финальный тест обоих контуров сразу: консоли для AI-индекса не существует, ответ нейросети — единственная «выдача», которую можно проверить напрямую.

Чем AI-краулеры отличаются от поисковых ботов

Это граница между SEO и GEO: классическая индексация — зона SEO (видимость в выдаче), доступность AI-краулерам — зона GEO (видимость в ответах нейросетей). Правила ниже относятся ко второму контуру.

1. Они не исполняют JavaScript. По исследованию Vercel/Merj на реальном трафике краулеров ни один крупный AI-бот не рендерит JS: GPTBot скачивает JS-файлы примерно в 11,5% запросов, ClaudeBot — в 23,8%, но не исполняет их. Googlebot ваш React-каталог отрендерит и проиндексирует, а GPTBot и PerplexityBot увидят пустой контейнер. Это главная причина ситуации «в Google есть, в ChatGPT нет». Решение — SSR или пререндеринг ключевых страниц.

2. У них нет консоли. Для Яндекса и Google есть Вебмастер и Search Console; «Search Console для ChatGPT» не существует. Проверка AI-контура — только косвенная: логи сервера по User-Agent и прямые вопросы к ассистентам (шаги 9-10 чек-листа).

3. Обучение и ответы — разные боты. GPTBot собирает данные для обучения моделей, OAI-SearchBot и ChatGPT-User приходят за страницей в момент, когда пользователь задал вопрос. Блокируя «все AI-боты» одной директивой, вы отключаете не только попадание в обучающие данные, но и цитирование в реальном времени — то есть весь канал. Google-Extended — обратный случай: его блокировка не влияет на индексацию Поиска, только на обучение Gemini.

4. Им помогает llms.txt. Файл-указатель для нейросетей: какие страницы главные и о чём сайт. Он не заменяет ни robots.txt, ни sitemap — это ориентир, а не директива. Как его составить — в руководстве по llms.txt.

Почему страницы выпадают из индекса: симптом → причина

Правило диагностики: сначала техника (robots, noindex, ответ сервера), потом контент. Переписывать тексты при закрытом robots.txt — самая дорогая из бесполезных работ.

Как ускорить индексацию: что работает и где не работает

Ориентиры по срокам: по исследованию IndexCheckr на 16 млн страниц средний срок индексации в Google — 27,4 дня, за первую неделю индексируется только 14% страниц. Молодой сайт ждёт первую индексацию в среднем ~18 дней, трастовый — ~3 дня. В Яндексе переобход отрабатывает до 14 дней. Планируйте запуски контента с этим лагом.

Ошибки управления индексацией в 2026

1. Блокировать GPTBot по чужому сценарию. Доля топ-1000 сайтов, закрытых для GPTBot, выросла с 5% в 2023 до 25% к 2026 — но это в основном медиа, чья сделка «остаться в Google, не отдать контент в обучение» осмысленна: они продают сам контент. Если вы продаёте товары или услуги, у вас обратная задача — чтобы нейросети о вас знали и вас рекомендовали. Копировать robots.txt издателей — отключить себе канал.
2. Следовать старым статьям. Директива Host отменена Яндексом ещё в 2018, Crawl-delay игнорируется с 2019 (скорость задаётся в Вебмастере), тег <noindex> — архаика. Эти советы до сих пор в топе выдачи.
3. Верить, что Disallow удаляет страницу из выдачи. Закрытая в robots.txt страница может остаться в выдаче со сниппетом «Владелец предпочёл скрыть содержимое». Для удаления нужен noindex (при открытом доступе робота) или инструмент удаления в панелях.
4. Проверять только оператором site: и только главную. Обе цифры обманчивы: оператор даёт оценку, главная индексируется почти всегда. Реальная картина — в отчётах панелей по разделам.
5. Не замечать анти-бот защиту CDN. Правило «challenge всем незнакомым ботам» в CDN-сервисах молча режет GPTBot и PerplexityBot даже при разрешающем robots.txt. Проверяется только по логам (шаг 9 чек-листа).

FAQ

Автор: Павел Ким, технический GEO-инженер. Рецензент: Алексей Малков, основатель GEOAudit.org, 150+ аудитов.

Заказать GEO-аудит или связаться с нами можно через форму на сайте, по email info@geoaudit.org или в Telegram @geoaudit — отвечаем в течение двух часов в рабочие дни.