Индекс стабильности нейроответов Алисы

Через сервис Arsenkin ai-serp мы 4 раза сняли AI-блок Алисы в поиске по одним и тем же 23 запросам. Сервис записал ответ у 74 %, 35 %, 74 % и 35 % запросов (06.08, 14.09, 13.10, 03.11). Условия сбора различались, а отсутствие ответа в данных нельзя отличить от сбоя сбора, поэтому причину перепадов мы не утверждаем. Среди запросов с ответом в начале пары ответ сохранился у 7 из 17, 8 из 8 и 8 из 17. Индекс соседних пар 52, 61 и 61 % при потолке 61 %, который задают сами доли. Это наш узкий набор, а не оценка всего поиска.

Алексей Малков

Основатель GEOAudit.org • GEO/SEO-стратег

10+ лет в digital

Профиль автора →

Что записал сервис

• Доля запросов с записанным ответом: 74 %, 35 %, 74 %, 35 %.
• Индекс соседних пар: 52 %, 61 %, 61 %. В каждой из трёх пар потолок при этих долях равен 61 %, а база случайного совпадения 43 %.
• Запросы с ответом отдельно: ответ в следующем срезе сохранился у 7 из 17, 8 из 8 и 8 из 17.
• По всем четырём срезам: ответ записан везде у 5 из 23 запросов, нигде у 5, запись менялась хотя бы раз у 13.
• Наш сайт в источниках: 0, 0, 1 и 1 запрос из 23 по срезам.

Что считает индекс

Запрос, по которому ответа не было в обоих срезах, тоже считается стабильным, поэтому запросы с ответом мы показываем отдельно. В наборе из 23 запросов один запрос двигает индекс примерно на 4 пункта. Текст ответа, его качество и состав источников индекс не оценивает.

Это показатель для GEO, то есть для ответов нейросети. Позиции сайта в классической выдаче Яндекса, которые относятся к SEO, здесь не измерялись, а слово «seo» в запросах обозначает лишь тему вопроса.

Индекс зависит от долей

Если в одном срезе ответ записан у 8 запросов, а в другом у 17, запись обязана смениться минимум у 9. Значит, индекс такой пары не превысит 14 из 23, то есть 61 %. Это потолок. База случайного совпадения показывает индекс, который получился бы, если бы ответы в двух срезах распределились независимо при тех же долях: для этой пары 43 %.

Поэтому 61 % в парах 14.09 → 13.10 и 13.10 → 03.11 нельзя читать как отдельное наблюдение об устойчивости: индекс равен потолку, и все смены шли в одну сторону. Разрыв между индексом и базой говорит лишь о том, что совпадений больше, чем при независимом распределении, и причину не объясняет.

Срезы и пары

Набор в четырёх срезах один и тот же: 23 запроса, регион Москва, один инструмент. Время в таблице: время записи файла замера по часам рабочей машины.

Соседние пары

Несоседние пары

В парах с равными долями потолок снимается: 06.08 → 13.10 совпали 21 из 23 (91 %) при базе 61 %, 14.09 → 03.11 совпали 19 из 23 (83 %) при базе 55 %. В паре 06.08 → 03.11 доли разные, индекс 52 % при потолке 61 %. Причину и повторяемость этого по четырём датам установить нельзя.

Срез 14.09 больше не исключаем

Раньше мы называли срез 14.09 выбросом. Срез 03.11 повторил тот же уровень: 8 из 23. Поэтому срез 14.09 теперь не исключаем, а причину не утверждаем.

Чем различались условия сбора

Пары нельзя считать равными. Набор, регион и инструмент совпадают, остальное различалось:

• Срез 14.09. В файле одна задача сервиса на весь набор и другой формат записи. Оговорка действует для пар 06.08 → 14.09 и 14.09 → 13.10.
• Срез 03.11, сервис. Сервер Arsenkin работал медленно. Параллельный опрос задач замера упирался в лимит 30 запросов в минуту: 109 ответов 429 на наборе 23 и 173 на наборе 87, ни один повтор не исчерпан. Прогоны шли ~1,5 и ~2,5 часа.
• Срез 03.11, таймауты. 8 задач из 23 не дождались ответа за 420 секунд, результаты забраны позже теми же задачами, без повторной постановки. На наборе 87 таймаутов нет.
• Время суток и промежутки. Файлы срезов записаны в разное время, число дней между срезами тоже разное.

Причину падения 03.11 эти условия не устанавливают. Без 8 запросов с таймаутом индекс пары 13.10 → 03.11 равен 53 % (8 из 15), число записанных ответов на остальных 15 запросах изменилось с 14 до 7. Но и эти запросы снимались при том же состоянии сервиса.

Кейс на себе: цитирование нашего сайта

Набор включает запросы по теме нашего сайта, поэтому мы отдельно считаем, попал ли geoaudit.org в источники ответа. Значения низкие. В срезах 06.08 и 14.09 сайта в источниках не было ни по одному запросу из 23. В срезах 13.10 и 03.11 он был по одному запросу: «виды geo аудита».

По запросу с нашим названием «geoaudit» ответ записан в 3 срезах из 4, но нашего сайта в его источниках не было ни разу. Между срезами сайт менялся, поэтому цитату нельзя отнести к конкретной правке, а одно совпадение в двух срезах не показывает тренд.

Второй набор: 87 запросов

13.10.2026 и 03.11.2026 мы сняли ещё один набор из запросов, которые сами отслеживаем. Показываем только итоги. Срезов у него два, поэтому с основным набором он не складывается. Пересечение наборов: 1 запрос, всего разных запросов 109.

Индекс пары 13.10 → 03.11 равен 62 % (54 из 87) при потолке 71 % и базе 55 %: ответ пропал по 29 запросам, появился по 4, среди запросов с ответом в первом срезе сохранился у 46 из 75. Начало сбора 13.10 совпало с выкаткой правок на сайте. Рост числа запросов с нашим сайтом в источниках с 1 до 4 снят всего на двух точках, тренда он не доказывает.

Методика

• Что снимали. AI-блок Алисы в поиске через сервис Arsenkin, инструмент ai-serp. Запросы отправлял сервис, вручную мы их не задавали.
• Запросы. Основной набор из 23 запросов не менялся: это запросы, которые мы сами отслеживаем, в их числе запрос с названием компании.
• Даты. 06.08.2026, 14.09.2026, 13.10.2026, 03.11.2026. Каждый запрос в наборе снят один раз за срез.
• Регион. Москва (213).
• «Ответ есть». Сервис записал по запросу ответ. «Ответа нет» значит, что такой записи нет.
• «Наш сайт в источниках». Домен geoaudit.org есть в списке источников этого ответа.
• Расчёт. Скрипт по сохранённым файлам замеров, без участия языковой модели и без новых запросов к сервису.

Ограничения

• Запись сервиса. Мы видим то, что записал сервис. Отличить отсутствие ответа от сбоя сбора по нашим файлам нельзя.
• Причина открыта. Замер фиксирует запись на дату и не объясняет, почему ответ появился или пропал. Это могут быть и Алиса, и условия сбора.
• Один срез в день. Индекс сравнивает отдельные даты и не показывает, как записи меняются внутри дня.
• Малая выборка. 23 запроса и 4 даты. Небольшие различия между парами на таком наборе не стоит трактовать.
• Отдельный срез. Доля записанных ответов менялась от среза к срезу, поэтому один срез нельзя принимать за характеристику запроса или сайта.
• Узкий набор. Это запросы, которые мы сами отслеживаем. Результат нельзя переносить на весь поиск, другие тематики и другие регионы.

Запросы основного набора

В таблице запись сервиса по срезам: «есть» значит, что ответ записан. Адреса источников мы не приводим.

Как ссылаться

Вместе с цифрой указывайте дату среза, размер набора и условие сбора. Например: «По данным GEOAudit.org, на наборе из 23 отслеживаемых запросов доля запросов, по которым сервис Arsenkin ai-serp записал ответ в AI-блоке Алисы, составила 74 % 13.10.2026 и 35 % 03.11.2026. 8 задач последнего среза забраны после таймаута, причина изменения не установлена».