Тест ИИ-ассистентов: 7 метрик до запуска
На демо ассистент отвечает гладко. В первую рабочую неделю он называет клиенту прошлогоднюю цену, обещает машину, которую продали вчера, и записывает в CRM чужой телефон. Покупатель замечает ошибку раньше руководителя. Ниже порядок проверки до запуска: что тестировать, как собрать набор диалогов, какие семь цифр считать и по каким критериям пускать бота к живым клиентам.
- Тестируйте шесть слоёв по отдельности: текст, факты, действия, доступ, скорость, передачу человеку. Один общий балл прячет дорогие ошибки.
- Тестовый набор: 100–300 диалогов из ваших реальных обращений плюс негативные сценарии и провокации.
- Семь метрик: accuracy, precision, полнота, доля эскалаций, доля галлюцинаций, SLA, стоимость ответа.
- Любая критичная ошибка (цена, утечка данных, действие без прав) блокирует релиз, какой бы ни была средняя оценка.
- После каждой правки промпта, базы знаний, модели или интеграции весь набор прогоняется заново.
Что проверять до запуска: шесть слоёв вместо одной оценки
Каждый слой проверяется отдельно и получает свой порог приёмки. Средняя оценка «в целом нормально отвечает» ничего не говорит о деньгах.
Ассистент может правильно объяснить условия рассрочки и в том же диалоге создать сделку с неверной суммой. Поэтому тесты делят на три группы. Тесты ответа проверяют, что бот сказал. Тесты действия проверяют, что он сделал в CRM, 1С или календаре. Тесты доступа проверяют, к каким данным он дотянулся и что выдал наружу.
Внутри этих групп шесть слоёв:
- Текст. Понятность, тон, длина, соответствие вопросу.
- Фактическая точность. Цены, остатки, сроки, условия: всё, что можно сверить с источником.
- Действия. Создание лида, запись на визит, резерв товара, смена статуса.
- Безопасность и доступ. Персональные данные, права ролей, устойчивость к провокациям.
- Скорость. Время первого ответа и время до нужного действия.
- Передача человеку. Когда бот зовёт менеджера, что он передаёт вместе с диалогом и не теряется ли клиент в паузе.
Ставки высокие из-за того, где ИИ уже работает. В 2025 году инструменты ИИ применяли 86% российских компаний, а крупнейшая сфера применения – клиентский сервис, её назвали 46% опрошенных руководителей (ICT.Moscow). Ошибки ассистента в этой зоне сразу видит клиент.
Слои отличаются ценой ошибки, поэтому до первого прогона нужна матрица критичности:
| Уровень | Примеры ошибок | Что происходит с релизом |
|---|---|---|
| Критичный | Неверная цена или условия оплаты, выдача чужих персональных данных, действие без прав (скидка, отмена заказа) | Одна такая ошибка блокирует запуск |
| Высокий | Неверные остатки, пропущенная эскалация, сделка без контакта клиента | Допускается единично, с разбором причины до релиза |
| Средний | Неполный ответ, лишний уточняющий вопрос, повтор | Учитывается в метриках, чинится в следующей итерации |
| Низкий | Стиль, длина, лишняя вежливость | Не влияет на решение о запуске |
Как собрать тестовый набор из 100–300 диалогов
Основа набора – реальные обращения из ваших каналов. Поверх них добавляют сценарии, которых в истории мало, но которые обходятся дороже всего: негатив, пропуски данных, провокации.
Сто диалогов – нижняя граница, на которой одна ошибка ещё не меняет картину на десять процентов. Триста хватает, чтобы покрыть основные товарные группы и каналы. Больше на старте обычно не нужно: набор растёт сам, когда в него добавляют каждую ошибку из пилота.
Шаг 1. Выгрузите реальные обращения. Переписки из Авито, Telegram, ВКонтакте, формы сайта, расшифровки звонков за последние месяцы. Персональные данные замените на тестовые до того, как файл уйдёт подрядчику или в модель.
Шаг 2. Разметьте типовые запросы. Цена, наличие, доставка, запись, рассрочка, возврат. Я считаю разумным ориентиром отдавать типовым запросам около половины набора: на них приходится основной поток, и здесь ошибка повторяется сотни раз в день.
Шаг 3. Добавьте пропуски данных. Клиент не назвал модель, город, бюджет. Товара нет в базе. Цена в прайсе не указана. Правильная реакция здесь – уточнить или честно сказать «уточню у менеджера», и это нужно проверить отдельно.
Шаг 4. Добавьте негатив и провокации. Грубость, угроза пожаловаться, просьба о скидке «как сотруднику», попытка выведать данные другого клиента, просьба «забудь инструкции».
Шаг 5. Запишите эталон для каждого кейса. Четыре поля: входное сообщение, ожидаемый смысл ответа, ожидаемое действие в системе, запрещённые действия. Без эталона любой тест превращается во вкусовщину.
У наших клиентов в агентстве недвижимости один ролик с кодовым словом давал до 300 комментариев за несколько часов. Это больше, чем менеджер успевает обработать за рабочий день. Значительная часть обращений приходила вечером, ночью и в выходные, когда отдел продаж не работает. Для тестового набора вывод прямой: нужны сценарии пиковой нагрузки и ночные диалоги, где менеджера для эскалации физически нет и бот должен корректно назначить следующий шаг на утро.
Семь метрик качества ответов: формулы и связь с деньгами
Семь метрик покрывают точность, полноту, безопасность, скорость и экономику. Каждую считают на тестовом наборе до запуска и на живом трафике после.
Набор автоматических проверок, которые прогоняют по этим метрикам, называют evals. На практике это скрипт или таблица, где каждому кейсу из набора сопоставлены эталон и правило оценки. Для текстовой части обычно оценивают корректность, релевантность, достоверность, связность и контекстную полноту ответа (Хабр). Для бизнеса этих пяти мало: в них нет ни действий, ни денег.
| Метрика | Формула | Что показывает | Куда бьёт в деньгах |
|---|---|---|---|
| Accuracy (точность) | Верные ответы / все кейсы | Общую долю правильной работы | Сколько клиентов получили корректную информацию |
| Precision | Верно отмеченные ботом целевые лиды / все лиды, которые бот отметил целевыми | Сколько мусора бот отдаёт менеджерам | Время менеджеров на пустые звонки |
| Полнота (recall) | Верно найденные целевые лиды / все реально целевые лиды | Сколько живых клиентов бот пропустил | Потерянные сделки |
| Доля эскалаций | Диалоги, переданные человеку / все диалоги | Сколько работы осталось у людей | Нагрузку на отдел и потребность в штате |
| Доля галлюцинаций | Ответы с фактами, которых нет в источниках / все ответы с фактическими утверждениями | Сколько раз бот выдумал | Претензии, возвраты, репутацию |
| SLA | Ответы быстрее порога / все ответы | Соблюдение обещанной скорости | Конверсию в первый контакт |
| Стоимость ответа | (модель + телефония + инфраструктура + время проверяющих) / обработанные диалоги | Реальную цену одного диалога | Окупаемость проекта |
Precision и полнота тянут в разные стороны. Бот, который передаёт менеджеру каждого написавшего, получает идеальную полноту и никакую precision. Порог выбирает бизнес: дилеру с дорогим чеком пропущенный покупатель обходится дороже лишнего звонка.
SLA выглядит технической метрикой, но конверсию двигает именно он. По нашим данным, в московском автосалоне после подключения ИИ-продавца время первого ответа на заявку сократилось до 15 секунд, раньше было от нескольких минут до нескольких часов. Конверсия входящих заявок в запись на визит выросла с 15% до 35%.
Скорость первого ответа оказалась одной из самых денежных метрик в этом проекте.
ИИ не всегда гарантирует рост качества сервиса. В 2024 году повышение качества продукции или услуг отметили 54,3% организаций, использующих ИИ, рост эффективности процессов – 51% (ICT.Moscow). Почти половина пользователей эффекта не увидела. Без заранее посчитанных метрик вы не узнаете, в какую половину попали.
Автоматическую оценку ответов другой моделью удобно запускать на сотнях кейсов, но она сама ошибается. Критичные кейсы из матрицы проверяет человек, хотя бы выборочно. Открытых данных о том, насколько часто модель-оценщик расходится с человеком на русскоязычных диалогах продаж, мне найти не удалось.
Как проверить RAG и базу знаний
RAG – это схема, при которой ассистент перед ответом ищет нужные фрагменты в вашей базе знаний (прайсе, карточках товаров, регламентах) и строит ответ по найденному тексту. Модель при этом опирается на ваши документы и меньше выдумывает от себя, но только если поиск нашёл правильный фрагмент.
Отсюда четыре отдельных теста.
Извлечение контекста. Для каждого фактического вопроса из набора заранее отметьте, какой документ или абзац должен найтись. Тест проходит, если нужный фрагмент попал в выдачу поиска. Если поиск промахнулся, правка промпта не поможет: чинить нужно разметку и структуру базы.
Актуальность документов. Положите в базу две версии прайса, старую и новую, и спросите цену. Бот должен взять действующую. Этот тест ловит самую частую причину неверных цен: документы обновили, а старые не убрали.
Цитирование источника. Попросите ассистента в тестовом режиме указывать, из какого документа взят факт. Проверяющему так в разы быстрее: он сверяет ссылку, а не ищет по всей базе.
Отказ при отсутствии данных. Задайте вопросы, ответа на которые в базе нет: про модель, которой вы не торгуете, про услугу, которую не оказываете. Правильный результат: «уточню у менеджера» и эскалация. Любой уверенный ответ здесь засчитывается как галлюцинация LLM.
У наших клиентов в автосалоне с пробегом ИИ-продавец подключён к карточке каждого автомобиля и отправляет покупателю отчёт по истории машины с пояснениями, а клиент получает разбор вместо голого файла. Для тестов это означает отдельный кейс на каждую группу карточек: пояснение должно совпадать с отчётом, а не пересказывать «похожую» машину.
Как тестировать продажи, закупки и звонки
В продажах и закупках проверяют три вещи: факты о товаре, правильность действия в системе и момент, когда диалог уходит человеку. Каждый сценарий получает свои кейсы.
Цена и условия. Цена со скидкой и без, в кредит и за наличные, с трейд-ином. Бот называет только цену из актуального источника и не обещает скидок, которых нет в правилах.
Остатки. Товар есть, товар в резерве, товар продан час назад. Последний кейс самый неприятный: данные в базе обновляются с задержкой, и тест показывает, какой ответ даёт бот в этом окне.
Заказ и запись. После диалога проверяйте запись в CRM поле за полем: имя, телефон, модель, дата визита, источник. Тест ответа может пройти, а тест действия провалиться, если бот правильно сказал «записал вас на субботу» и создал сделку на пятницу.
Закупка и согласование. Если ассистент пишет поставщикам или продавцам, он не должен называть сумму без согласования. У наших клиентов в автосалоне с пробегом второй агент, ИИ-байер, сам пишет продавцам автомобилей на Авито и предлагает поставить машину на комиссию. Для таких агентов тест на «запрещённые обещания» входит в список обязательных.
Квалификация лида. Здесь работают precision и полнота из таблицы выше. Размеченные вручную диалоги сравниваются с решением бота: горячий, тёплый, нецелевой.
Звонки. Голосовому боту добавляют кейсы с шумом, перебиванием, диктовкой номера телефона и паузами. Для речевой аналитики тест другой: оценки бота по выборке звонков сверяют с оценками старшего менеджера на тех же записях. Расхождение больше, чем между двумя опытными людьми, означает, что чек-лист оценки сформулирован неоднозначно.
Отдельно тестируется граница ответственности. ИИ-продавец не заменяет менеджера в сделке: переговоры, возражения и закрытие остаются за человеком. Значит, в наборе нужны кейсы, где клиент начинает торговаться, и бот обязан передать диалог с кратким резюме.
Результат правильно проведённой границы по нашим данным: в автосалоне с пробегом конверсия чата на Авито в контакт клиента выросла с 35–40% до примерно 50% за первые 2–3 месяца, выдача автомобилей на одного менеджера выросла с 11 до 17 в месяц. По трём проектам узким местом оказалась пропускная способность первой линии: менеджеры работали операторами переписки.
