Какой ИИ читает сайты и что он там видит

Читать сайты умеют почти все крупные нейросети, но делают это четырьмя разными способами: через поисковый индекс, через собственный краулер, заходом по ссылке в момент запроса и просто по памяти обучения. От того, какой способ сработал, зависит, что модель увидит: свежий текст, версию годичной давности или один заголовок из выдачи. Запрос «нейросеть анализ сайта» обычно означает второе и третье — человек хочет, чтобы модель открыла адрес и разобрала страницу. Ниже — какой ИИ анализирует сайты каким способом, что попадает в текст, который доходит до модели, и что не попадает никогда: картинки, вкладки по клику, видео без расшифровки.

Алексей Малков

Основатель GEOAudit.org • GEO/SEO-стратег

150+ аудитов • 12 лет в digital • 100+ отзывов на фрилансе

AI-краулеры и доступ Технический GEO-аудит AI Visibility Score

Профиль автора →

У нейросети четыре разных способа добраться до сайта

За фразой «ИИ прочитал сайт» прячутся четыре разных механизма, и от того, какой сработал, зависит буквально всё: увидит модель вчерашние правки или версию годичной давности, дойдёт ли до текста вообще или ограничится заголовком из выдачи. Разница между этими механизмами больше, чем разница между самими моделями.

Имена ботов операторы нейросетей публикуют открыто, и термины оттуда удобно держать рядом с русскими: web crawler — это бот планового обхода, он забирает website целиком и заранее; user-agent с суффиксом User приходит на один конкретный адрес и только тогда, когда его об этом попросили.

Первые три способа — это чтение, четвёртый — воспоминание. Модель, отвечающая по памяти, никуда не заходила: она пересказывает то, что попало в обучающие данные, и свежих правок там нет по определению. Отсюда знакомая сцена: компания переписала описания услуг полгода назад, а нейросеть уверенно называет старые. Как ответ собирается по шагам, разобрано в материале о том, как работают нейроответы, а что при этом происходит с обходом и индексацией сайта — в отдельной статье.

Вывод из таблицы прикладной: чтобы искусственный интеллект прочитал сайт, к нему должен быть открыт хотя бы один канал. Закрыли краулеры — остались индекс и память. Сайта нет в индексе и краулеры закрыты — не осталось ничего, и никакой промпт этого не починит.

Модель получает не страницу, а её текстовый слепок

Ни одна нейросеть не смотрит на сайт так, как смотрит человек. Под капотом это нейронная сеть, натренированная предсказывать текст по тексту, и никакого зрения у неё нет. Между вашей страницей и моделью стоит извлечение текста: HTML разбирают, теги выкидывают, оставляют содержимое — заголовки, абзацы, пункты списков, ячейки таблиц, подписи alt, тексты ссылок. Получившийся набор строк мы в аудитах называем слепком страницы. Это и есть то, что реально доходит до модели, и именно его стоит держать в голове, когда вы просите её проанализировать адрес.

У слепка три свойства, о которых редко думают. Первое: порядок в нём такой, как в коде, а не как на экране — блок с ценами, визуально поднятый наверх стилями, но лежащий в разметке внизу, модель прочитает последним. Второе: оформление не участвует. Жирный шрифт, цвет, размер, положение в сетке исчезают, и важность передаётся только словами и уровнем заголовка. Третье: всё, что не текст, из слепка выпадает.

Строка про свёрнутые блоки — та, из-за которой спорят чаще всего. Если текст ответа лежит в HTML и просто скрыт стилями, он в слепке есть. Если же по клику уходит запрос на сервер и текст приезжает только после него, в слепке останется пустая вкладка. Что ещё модель делает с этим текстом сама, а что придётся считать руками, разобрано в материале нейросеть для анализа сайта.

Ни один способ доступа не показывает текст внутри картинки

Здесь важно разделить два сюжета. Если вы сами загрузите скриншот в чат, мультимодальная модель текст с картинки прочитает — это её штатная работа. Но краулер, который обходит сайты впрок, изображения не распознаёт: в слепок попадает только имя файла и alt. Поэтому схема процесса, прайс картинкой и цитата клиента, набранная поверх фотографии, для нейросети не существуют.

• Инфографика и схемы. Красиво человеку, пусто модели. Рядом нужен абзац, пересказывающий тот же смысл словами.
• Цены и характеристики в PDF или картинке. Самая частая потеря на сайтах производителей: весь конкретный материал лежит в файле, а на странице остаются общие слова.
• Вкладки и калькуляторы, которые оживают по клику. Содержимое приезжает скриптом, робот его не дожидается.
• Видео и вебинары. Экспертиза есть, текста нет. Расшифровка решает вопрос за один вечер.
• Отзывы из внешнего виджета. Подгружаются с чужого домена и в слепок вашей страницы не попадают.
• Всё, что за формой. Прайс по заявке, доступ по регистрации, закрытая база знаний — для модели этих страниц нет.

Отдельная история — контент, который появляется только после выполнения скриптов. Поисковые роботы Яндекса и Google умеют обрабатывать JavaScript, и в индекс страница попадает уже собранной, хотя и не мгновенно. У AI-краулеров такой гарантии нет: операторы её не обещают, и в наших проверках именно этот слой ломается чаще остального. Что при этом происходит с текстом и как это чинить, подробно разобрано в статье про JavaScript и AI-краулеры.

Страницу целиком не читает никто

Вопрос, которого почти нет в статьях конкурентов: сколько текста вообще доходит до модели. Ответ: не весь, и ограничений тут три. При извлечении длинные страницы обрезают. У модели есть предел объёма, который она может держать в работе за раз, и в этот предел кроме вашей страницы попадают ещё несколько источников. А из поискового индекса берётся не документ целиком, а подходящий под запрос фрагмент.

Практическое следствие одно и оно жёсткое: если ответ на вопрос стоит в конце длинной страницы, шансы, что его прочитают, ниже, чем у ответа из первых абзацев. Поэтому мы просим авторов ставить прямой ответ в начало раздела, а разбор и оговорки — после. Как устроен абзац, который нейросети вытаскивают в ответ охотнее всего, разобрано в материале про цитируемые фрагменты.

Один и тот же сайт разные ИИ видят по-разному

Алиса и Нейро отвечают поверх индекса Яндекса: отдельного «нейробота», который ходил бы по вебу специально ради них, у Яндекса нет, а значит, всё упирается в обычную индексацию. ChatGPT сочетает собственный обход впрок с заходом по ссылке в момент разговора. Perplexity держит свой краулер и почти всегда показывает список источников, по которым собран ответ. Gemini опирается на инфраструктуру Google, у которой рендеринг страниц встроен в основной процесс. Grok сильнее прочих завязан на ленту X и свежие публикации.

Из этого следует вещь, которую в отчётах регулярно нарушают: вывод по одной платформе не переносится на остальные. Сайт может быть отлично прочитан Perplexity и при этом отсутствовать в ответах Алисы просто потому, что нужные страницы не в индексе Яндекса. Поэтому замер делается по нескольким системам сразу, а разница между ними — сама по себе диагноз: она показывает, на каком именно канале доступа рвётся связь.

За 150+ аудитов самая частая картина такая: страница выглядит наполненной, а в слепке остаются заголовок, пункты меню и подпись формы. Весь смысл лежит в баннерах, схемах и вкладках, которые подгружаются кликом. Владелец при этом уверен, что на сайте всё написано, и формально он прав — написано. Просто не в том слое, который читает нейросеть.

Алексей Малков

Основатель GEOAudit.org

Как проверить, что ИИ доходит до вашего сайта

Шесть проверок, которые делаются за один вечер и не требуют платных сервисов. Порядок имеет значение: каждая следующая имеет смысл, только если предыдущая прошла.

1. Логи сервера. Отфильтруйте обращения по именам ботов из документации операторов — GPTBot, ClaudeBot, PerplexityBot, ChatGPT-User и остальные. Это единственный способ узнать наверняка, приходил ли кто-то к вам по вебу и с каким ответом ушёл.
2. Файл robots.txt. Посмотрите, не закрыт ли нужный бот и не стоит ли общий запрет, о котором давно забыли. Кого пускать, а кого нет, разбираем в материале про robots.txt и AI-краулеров.
3. Коды ответа. Робот, получивший 403 или таймаут, вернётся нескоро. Блокировки по региону и агрессивная защита от ботов срезают доступ незаметно для владельца.
4. Слепок страницы. Отключите в браузере скрипты и посмотрите, что осталось. То, что исчезло, для краулера тоже не существует.
5. Файл llms.txt. Не обязателен и не заменяет доступности сайта, но помогает подсветить главные страницы. Что в нём писать, собрано в руководстве по llms.txt.
6. Повторный замер. Ответы моделей нестабильны, вывод по одному прогону — это шум. Мы фиксируем дату каждого замера и сравниваем между собой, иначе динамику увидеть нечем.

Первые три пункта отвечают на вопрос «пускаем ли мы ИИ», четвёртый — «что он у нас находит», последние два — «меняется ли что-то со временем». Разводить их полезно: в аудитах мы регулярно видим сайты, где доступ открыт, а находить на страницах нечего, и обратную ситуацию, когда контент отличный, но робот получает ошибку и уходит.

Когда просить нейросеть прочитать сайт бессмысленно

Пять ситуаций, в которых чтение страницы моделью не даст ничего полезного. Знать их лучше заранее, чем после оплаченного отчёта.

1. Вам нужны цифры. Трафик, позиции, частотность, доля рынка — этого модель не знает и достроит по правдоподобию. Числа берутся из счётчика, панелей вебмастера и сервисов съёма позиций, а модель годится максимум для их интерпретации.
2. Сайт закрыт целиком. Внутренний портал, личный кабинет, платный доступ. Читать нечего, и задача превращается в другую: работать через внешние площадки и упоминания.
3. Сайта нет в индексе. Новый домен без истории обхода — нейросетям попросту нечего процитировать. Сначала базовая индексация, потом работа над попаданием в ответы.
4. Медицина, право, финансы без вычитки. Модель ошибается в фактах ровным уверенным тоном, а отвечать перед пациентом или клиентом будете вы. Профильный специалист читает такие тексты обязательно.
5. Вы ждёте от чтения страницы ответа про AI-видимость. Разбор вашей страницы и то, называют ли вас в нейросетях в ответ на запросы клиентов, — два разных замера. Второй делается прогоном запросов по платформам, а не вопросом «оцени мой сайт».

И про порядок работ. GEO не заменяет SEO и не идёт вместо него: попадание бренда в ответ нейросети надстраивается над позициями в обычной выдаче, потому что ответ чаще всего собирается из страниц, которые и так стоят наверху. Если сайт не виден в Яндексе и Google по своему кластеру, начинать с GEO рано.

Что чинить в первую очередь

Порядок действий, который мы ставим в план работ, когда выясняется, что слепок страницы пуст или неполон.

1. Вернуть смысл в текст. Всё, что сейчас живёт в картинках, схемах и PDF, продублировать словами на странице. Это самая дешёвая правка с самым заметным эффектом.
2. Отдавать содержимое сразу. Вкладки, аккордеоны и списки характеристик должны быть в HTML при загрузке, а не приезжать после клика.
3. Поднять ответ выше. Прямой ответ в первых абзацах раздела, детали ниже. До конца длинной страницы модель может не дойти.
4. Открыть доступ тем, кого ждёте. Проверить robots.txt, коды ответа и защиту от ботов. Решение, кого пускать, принимается осознанно, а не по умолчанию из старого конфига.
5. Свести разметку с текстом. Разметка Schema.org помогает поисковым системам, но не заменяет содержимое: если в JSON-LD написано одно, а на странице другое, выигрывает страница.
6. Замерить повторно. Через две-три недели повторить прогон запросов и сравнить с предыдущим замером по дате.

Если хочется не разбираться самому, а получить готовый список правок по сайту, этим занимается технический GEO-аудит — от 40 000 ₽: доступность для AI-краулеров, рендеринг, разметка и то, что остаётся в слепке каждой ключевой страницы. Начать можно и с бесплатной проверки: диагностика AI-видимости показывает, по каким вашим запросам нейросети уже дают ответ и чьи названия в нём звучат.

FAQ