Как мы измеряем видимость в ИИ
Каждая цифра у нас измерена на выборке и прослеживается до исходного ответа ИИ, а когда мы утверждаем, что правка сработала, мы доказываем это на контрольной группе, а не рисуем растущую линию. Эта страница объясняет, как именно — с формулами. Данные, которым можно доверять.
Что мы измеряем: % видимости, а не позиции
Ваша видимость — это доля реальных вопросов покупателей, в ответ на которые ИИ-сервис упоминает ваш бренд: visibility = mentions / total samples. Если мы задаём 25 вопросов по 3 раза и ваш бренд появляется в 30 из этих 75 ответов, видимость — 40%. Мы считаем её по каждому ИИ-сервису и по неделям. «Ранг» или «позицию» мы принципиально не показываем — ниже объясняем, почему это число было бы шумом.
Поверхности: какой ИИ-сервис, какая поверхность
Каждый ИИ-сервис проверяется на той поверхности, которой реально пользуются ваши клиенты, а не на её суррогате:
Честно о поверхностях: Perplexity измеряется через официальный API — ответы API могут отличаться от того, что видит авторизованный пользователь в приложении Perplexity (нет персонализации, другая маршрутизация моделей). Поверхности, собираемые через DataForSEO (ChatGPT, Google AI Overviews / AI Mode, Gemini), снимаются в чистых неавторизованных сессиях — они тоже могут отличаться от персонализированного интерфейса авторизованного пользователя. У каждого ИИ-сервиса мы подписываем фактически измеренную поверхность и никогда не выдаём одну поверхность за другую.
Настоящее веб-приложение (не только API), через провайдера данных, в чистых неавторизованных US-сессиях — личная история не искажает ответы.
Извлекается из живых страниц выдачи Google. AI Overviews появляются лишь на части запросов — если блока нет, мы фиксируем именно это (а не «бренд не упомянут») и исключаем такой прогон из знаменателя. Выборка — из неавторизованных сессий; доступность и ответы зависят от рынка.
Отдельная поверхность ИИ-ответов, считывается с живой поисковой выдачи. Доступность зависит от рынка; недоступная поверхность фиксируется как таковая, а не засчитывается как отсутствие бренда.
Официальный API Perplexity — вместе с источниками, которые он цитирует.
Веб-интерфейс Gemini через провайдера данных.
Официальный API Anthropic с веб-поиском. Путь через API стоит ~15× дороже парсинга, поэтому Claude замеряется 1 раз в неделю (тарифы «Рост» и «Агентство»).
Честность охвата: что мы измеряем — и чего нет
В подвале каждого отчёта и кабинета назван точный набор ИИ-сервисов, стоящих за цифрами («Измеренные ИИ-сервисы: …»), — он собирается из реально использованных сервисов, а не из зашитого списка. Мы говорим о том, что рекомендуют именно измеренные сервисы, и никогда не заявляем без оговорок, будто знаем, «что рекомендует ИИ в вашей стране». Если на рынке есть значимые ИИ-сервисы, которые мы пока не измеряем (например, Яндекс Алиса и GigaChat в России), подвал прямо говорит об этом, пока они не добавлены.
Та же честность — с конкурентами: не каждый бренд, названный в ответе ИИ, конкурирует на вашем рынке. Обнаруженные конкуренты по умолчанию помечаются как «Без категории»; только конкуренты, подтверждённые как прямые (вами или классификатором выше строгого порога уверенности), участвуют в расчёте «Разрыва с конкурентами» и денежной оценки, а доминирование на рынке всегда вычисляется из наших собственных измеренных ответов и никогда не утверждается из общих знаний модели.
Выборки и 95-процентные доверительные интервалы Уилсона
Ответы ИИ недетерминированы — один и тот же вопрос в соседних прогонах может дать разные шорт-листы. Поэтому мы никогда не опираемся на единственный ответ. Каждый отслеживаемый промпт выполняется как N промптов × 3 замера, каждую неделю, по каждому ИИ-сервису (Claude через официальный API с веб-поиском замеряется 1 раз в неделю). Прогоны Google AI Overview / AI Mode, где поверхность не отрисовалась, фиксируются как «поверхность отсутствует» и исключаются из знаменателя видимости, а не засчитываются как отсутствие бренда. Вокруг каждого значения видимости мы строим интервал Уилсона с доверительной вероятностью 95% (z = 1.96):
half-width = z·√(p̂(1−p̂)/n + z²/4n²) / (1 + z²/n)
Эта полоса нарисована на каждом графике. Если полоса широкая, мы честно говорим, что выборка мала, — и никогда не изображаем точность, которой в данных нет.
Почему мы не показываем «позицию №4»
Порядок, в котором ИИ-сервисы перечисляют бренды, от прогона к прогону почти случаен. Независимые исследования (см. исследование SparkToro) показывают, что порядок списков в ответах LLM нестабилен между прогонами, поэтому инструмент, уверяющий, что вы «поднялись с №4 на №2», продаёт вам шум. Медианный порядок упоминания мы показываем только как второстепенный сигнал, с явной пометкой «почти случайно», и никогда не превращаем его в метрику для оптимизации.
Оповещения: z-критерий для двух долей против вашей базы за 4 недели
Когда ваша видимость сдвигается, мы сначала проверяем, что сдвиг статистически реален, и только потом присылаем оповещение. Доля текущей недели сравнивается с вашей скользящей базой за 4 недели с помощью z-критерия для двух долей:
Оповещение о падении или росте уходит только когда p < 0.05 две недели подряд, либо когда изменение — не менее 15 процентных пунктов на выборке из 30+ ответов. Мы также отмечаем на графиках известные релизы ИИ-моделей: когда сервис выпускает новую модель, цифры прыгают у всех, и вам важно отличать «модель поменялась» от «ваша видимость поменялась».
Мы закрашиваем бейдж — и только тогда шлём оповещение — когда p < 0.05 две недели подряд или |Δ| ≥ 15pp. Ниже 30 ответов в неделю мы не выносим вердикта — остаётся «недостаточно данных». Мы отделяем сигнал от шума, чтобы вы не действовали (и не платили) из-за мнимых скачков позиций. Дельта, интервал и p-value всегда стоят рядом со словом «реально» — числа вместо прилагательных.
Честный прирост: правка действительно сработала?
Это та часть, которую остальные подделывают. Когда вы внедряете правку, мы замораживаем базовое окно и помечаем промпты, на которые правка должна повлиять (целевая группа). Одновременно мы откладываем набор нетронутых промптов из той же ниши (контрольная группа). После лага в 3 дня — достаточного, чтобы изменение вступило в силу, — мы измеряем обе группы на окнах равной длины и вычисляем разность разностей (difference-in-differences):
Δ_control = share_after − share_before (untouched prompts)
Lift (DiD) = Δ_target − Δ_control , with a 95% CI
Вычитание изменения контрольной группы убирает всё, что двигалось у рынка целиком, — обновление модели, сезонное колебание, кампанию конкурента. Остаётся та часть, которую правдоподобно вызвала именно ваша правка. Мы сообщаем её с доверительным интервалом и одним из пяти вердиктов:
| Подтверждённый прирост | DiD > 0, целевая группа значима на уровне 95%, интервал DiD не задевает 0, и ≥30 ответов на группу и окно. |
|---|---|
| Вероятный прирост | Положительный, но выборка средняя, интервал касается 0, контроль тоже вырос — или контрольной группы нет. |
| Сигнала пока нет | Движение сидит внутри полосы шума. Честный ответ, а не приукрашенный. |
| Спад | Статистически реальное снижение за вычетом контроля. |
| Недостаточно данных | В каком-то из окон выборка ниже минимума — мы так и говорим, а не гадаем. |
У отдельного небольшого бренда чистой контрольной группы может не быть. В этом случае мы всё равно показываем «до/после» с доверительным интервалом, но ограничиваем вердикт «вероятным» и прямо говорим, что часть движения может оказаться дрейфом рынка. Мы скорее недооценим эффект, чем продадим вам ложную уверенность.
«Мы внесли правку — и видимость выросла» — это не доказательство, что правка сработала. Ответы ИИ дрейфуют постоянно: один и тот же вопрос редко возвращает один и тот же шорт-лист дважды, а обновления моделей сдвигают цифры сразу у всех. Линия, пошедшая вверх после ваших действий, — совпадение, пока вы не покажете, что нетронутые промпты не двинулись так же. Именно это сравнение — а не красивая линия — и есть доказательство. Поэтому мы выводим на первый план вердикт и интервал, а график считаем украшением.
Наборы промптов: генерируются, редактируются, версионируются
Мы генерируем вопросы покупателей из вашей ниши по всему пути — проблема, решение, сравнение, покупка, — причём не менее 70% промптов вообще не упоминают ваш бренд (именно там покупатели и находят новые бренды). Любой промпт можно отредактировать. Правки создают новую замороженную версию набора, а на каждом графике в неделю смены набора появляется видимая отметка разрыва тренда — чтобы вы не приняли смену анкеты за смену рынка.
Исходные ответы: каждая точка данных прослеживается
Каждое число в вашем кабинете ведёт к полному тексту ответа, из которого оно получено, — с ИИ-сервисом, отметкой времени и источниками, которые сервис процитировал. Никаких чёрных ящиков: если мы говорим, что вас упомянули в 12 из 75 ответов, вы можете прочитать все 75.
Когда ИИ-сервис сбоит: пометка «частично», никаких тихих пробелов
ИИ-сервисы и провайдеры данных иногда падают по таймауту. В этом случае неудавшиеся прогоны исключаются из знаменателя, затронутый отчёт или недельный срез явно помечается как частичный, а пробел виден на ваших графиках. Мы никогда не закрываем пробел оценкой и никогда не выдаём молча пропавший ответ за «не упомянут».
Чего мы не обещаем
Никто не может гарантировать попадание в ответ ИИ — и остерегайтесь любого, кто такое обещает. AmIVisible показывает, где ваши шансы, что изменилось и отличимо ли изменение от шума. Мы измеряем лучшую доступную оценку с честными границами — и не продаём уверенность, которой не бывает. Когда честный ответ — «не сработало» или «пока сказать нельзя», именно его вы и увидите.
Остались вопросы о методологии? Запустите бесплатную проверку и посмотрите исходные ответы своими глазами.