Тестирование AI-агента

Разберём, как проверить ответы AI-агента в тестовом чате перед запуском и на что обратить внимание во время проверки.

Перед запуском AI-агента в реальный канал лучше сначала проверить его во вкладке «Тест». Это позволяет понять, насколько корректно агент отвечает, понимает ли вашу базу знаний и не уходит ли в странные импровизации, которыми потом приходится страдать поддержке.

И главное — если ответ оказался плохим, его можно тут же поправить прямо из тестового диалога, не уходя в другие разделы. Об этом расскажем ниже.

Что вы узнаете 📝

В этой инструкции разберём:

  • зачем нужен тест и что он показывает;
  • как работает тестовый чат и чем он отличается от боевого;
  • как проверить агента и что именно стоит спросить;
  • что делать, если ответ оказался плохим — как отредактировать его на месте;
  • что делать, если агент не знает ответа — как добавить новый.

Зачем нужен тест 🎯

Тестовый чат помогает проверить:

  • понимает ли агент ваши материалы;
  • правильно ли отвечает на частые вопросы;
  • не противоречат ли друг другу темы, база знаний и инструкции;
  • достаточно ли информации для ответа;
  • не нужно ли уточнить настройки перед запуском.

Как работает тестовый чат

Тестовый чат работает по той же логике, что и реальные каналы. Это значит, что ответы в тесте и в рабочем канале должны быть одинаковыми.

Тест доступен в любом статусе агента, включая «Черновик». Подключать канал заранее не обязательно: сначала можно спокойно проверить всё в тесте.

⚠️ Вкладка «Тест» становится доступной после загрузки базы знаний. Если базы ещё нет, сначала добавьте материалы — об этом в статье «База знаний AI-агента».

Готовые вопросы из базы знаний 💡

Чтобы не начинать с пустого экрана, BotMan сам генерирует список вопросов на основе вашей базы знаний. Они появляются в блоке «Начните с этих примеров».

Эти вопросы — хороший стартовый чек-лист: если агент уверенно отвечает на каждый из них, значит, базовое понимание материалов есть. Кликните по любому вопросу — он автоматически отправится в диалог.

💡 Пока вопросы подгружаются, отображается индикатор «Подгружаем вопросы...». Это нормально — генерация занимает время, особенно если база знаний большая.


Как проверить агента ✅

Откройте нужного AI-агента → вкладка «Тест»:

  1. Задайте несколько типовых вопросов — можно из готовых примеров, можно своих.
  2. Проверьте точность, понятность и логику ответов.
  3. Если ответ плохой — отредактируйте его прямо в чате (см. ниже).
  4. Если агент не знает ответа — добавьте его, не уходя из теста (тоже ниже).
  5. После правок задайте вопрос ещё раз, чтобы убедиться, что агент отвечает по-новому.

Что стоит проверить в тесте

Полезно прогнать несколько типов запросов:

  • простые FAQ-вопросы;
  • одинаковые вопросы в разных формулировках;
  • пограничные случаи;
  • вопросы, на которые агент не должен придумывать ответ;
  • вопросы, где важна точность формулировки.

Если ответ плохой — редактируйте на месте ✏️

Главная новая возможность теста: ответы агента можно править прямо в диалоге, без перехода в Темы или Базу знаний.

Рядом с ответом агента появляется кнопка «Редактировать» (если для этого вопроса уже есть тема в Базе знаний). Нажмите её — откроется модальное окно с двумя полями:

  • Вопрос — формулировка, на которую агент отвечал. Её тоже можно изменить.
  • Ответ — текущий ответ агента. Перепишите его на тот, который считаете правильным.

После сохранения:

  • ответ обновится в Темах автоматически — если тема для этого вопроса уже существует, она перезапишется;
  • в чате появится подсказка «Вы изменили ответ — задайте вопрос ещё раз, чтобы проверить»;
  • задайте тот же вопрос повторно, чтобы убедиться, что агент теперь отвечает корректно.

Дополнить с помощью AI ✨

Если переписывать ответ руками не хочется, есть кнопка «Дополнить с помощью AI». Нажмите — появится поле, в котором можно описать, что нужно добавить или изменить (например, «добавь информацию про сроки доставки в регионы»).

AI сгенерирует дополнение и добавит его к существующему ответу, не затирая старые данные. Удобно, когда основа правильная, а не хватает только пары деталей.

Если агент не знает ответа — добавьте его ➕

Иногда агент честно отвечает, что не нашёл ответа в базе знаний. В таком случае под его сообщением появляется блок «Ответ не найден в базе знаний» с кнопкой «Добавить ответ».

Нажмите её — откроется модалка «Создать ответ»:

  • Вопрос — уже заполнен тем, что вы задали;
  • Ответ — введите текст ответа, который должен давать агент.

После сохранения новый ответ появится в разделе «Темы» как новая запись, и агент сможет использовать его в реальных диалогах. В чате появится подсказка «Вы добавили ответ — задайте вопрос ещё раз, чтобы проверить».

💡 Это самый быстрый способ закрыть дыры в базе знаний: вы находите проблему и тут же её исправляете, не теряя контекст.


Связь с разделом «Темы» 🔗

Всё, что вы редактируете или добавляете из теста, попадает в раздел «Темы»:

  • Отредактировали ответ на вопрос, для которого уже есть тема → тема обновится автоматически.
  • Добавили ответ на вопрос, которого ещё нет в Темах → создастся новая тема.

Дальше эти темы можно дополнительно править вручную, объединять, удалять — обычным образом через вкладку «Темы».

⚠️ Важно: вкладка «Темы» появляется только у уже созданного агента, при его редактировании. На этапе создания нового агента её ещё нет — значит, добавлять и редактировать ответы можно только через вкладку «Тест». После сохранения агента «Темы» появятся, и вы сможете работать с ними напрямую.

Очистка истории

Если нужно начать проверку заново, историю тестового чата можно очистить и посмотреть, как агент поведёт себя в новом диалоге. 

Что важно знать

Тестовый чат нужен именно для проверки логики ответов.

Сейчас в тесте:

  • нельзя полноценно проверять запуск сценария, отправку email, теги и другие действия;
  • результаты теста отдельно нигде не сохраняются;
  • дополнительных отличий от боевого режима, кроме отсутствия реальной работы в канале, сейчас нет.

FAQ

Нужно ли подключать канал, чтобы протестировать агента❓
Нет. Для проверки логики достаточно вкладки «Тест».

Будут ли ответы в тесте отличаться от ответов в канале❓
Нет, логика одинакова.

Можно ли в тесте проверить функции агента (email, теги, флоу)❓
Нет, тест предназначен именно для проверки ответов.

Куда сохраняются изменения, которые я сделал из теста❓
В раздел «Темы». Если отредактировали ответ — обновится существующая тема. Если добавили новый — создастся новая тема.

Откуда берутся готовые вопросы в блоке «Начните с этих примеров»❓
BotMan генерирует их автоматически на основе вашей базы знаний.

Почему у меня нет вкладки «Темы»❓
Она появляется только после того, как агент сохранён. Если вы только что создаёте нового агента — пока пользуйтесь редактированием через «Тест», а «Темы» откроются, когда сохраните агента.

Можно ли откатить изменение, если случайно сохранил неправильный ответ❓ Зайдите в раздел «Темы» и отредактируйте или удалите тему вручную.

Почему у некоторых ответов нет кнопки «Редактировать»❓
Кнопка появляется только для вопросов, на которые есть тема в Базе знаний. Если темы нет — агент сформировал ответ из базы знаний на лету. В таком случае используйте «Добавить ответ», чтобы зафиксировать этот вопрос как тему.

Полезные ссылки 🔗

👆 На этом пока всё