Инструкции/Тестирование чат-бота

Общие сведения

Раздел "Тестирование" предназначен для проверки работы чат-ботов в безопасной среде. Здесь можно:

• Протестировать ответы бота на различные вопросы
• Настроить параметры нейросети для конкретного бота
• Проверить работу тестовой версии бота после переобучения
• Восстановить датасет бота из состояний Интерактивного ассистента

Важно: Интерфейс тестирования не предназначен для исправления и обучения чат-бота. Все изменения в шаблонах и ответах необходимо вносить в Интерактивном ассистенте.

Основные понятия

• Тестовая версия бота — копия основного бота с примененными изменениями, созданная при выборе опции "Протестировать" в модуле дообучения.
• Процент уверенности — порог, при котором бот считает ответ правильным (настраивается отдельно для тестирования).
• Процент совпадения слов — чувствительность к опечаткам при распознавании вопросов.
• Датасет — набор данных для обучения бота, который формируется из состояний Интерактивного ассистента.
• Восстановление датасета — процесс обновления данных бота из текущих состояний Интерактивного ассистента.

Начало тестирования

Выбор бота для тестирования

В верхней части страницы находится выпадающий список для выбора бота:

Последовательность действий:

1. Найдите выпадающий список "Выберите бота".

2. Нажмите на список, чтобы раскрыть варианты.

3. Выберите бота для тестирования. Тестовые версии ботов имеют суффикс " - Тестовый" (например: "Для тестов - Тестовый").

4. После выбора бота автоматически загружаются его текущие параметры.

Особенности выбора:

• Основные боты — боты, которые работают в продакшн-среде

• Тестовые боты — создаются при выборе "Протестировать" в модуле дообучения

• Параметры бота — для каждого бота отображаются его настройки (процент совпадения слов, процент уверенности)

Статус чат-бота

Под заголовком "Статус чат-бота BotAI" отображается текущее состояние системы:

• Доступен — бот готов к тестированию

• Не доступен — возникли проблемы с подключением

Перед началом тестирования убедитесь, что статус "Доступен".

Настройка параметров тестирования

Параметры нейросети для тестирования

В карточке "Параметры бота" можно изменить настройки нейросети только для текущей сессии тестирования. Эти изменения не сохраняются в основных настройках бота.

1. Процент уверенности бота в правильном ответе:

• Ползунок от 1% до 100%

• Чем выше значение, тем чаще бот будет отвечать "не понял"

• Чем ниже значение, тем чаще бот будет пытаться ответить, даже если не уверен

• Рекомендуется: 50-60% для тестирования новых шаблонов

2. Процент совпадения слов (проверка на опечатки):

• Ползунок от 0% до 100% с шагом 5%

• Определяет, насколько похожими должны быть слова, чтобы считаться одинаковыми

• 90% — "првиет" и "привет" считаются одинаковыми

• Рекомендуется: 85-95% для реалистичного тестирования

3. Выводить кол-во ответов максимально совпадающих:

• Поле для ввода числа от 0

• 0 — показывать только лучший ответ

• 3 — показывать 3 наиболее подходящих ответа

• Полезно для анализа, какие теги бот рассматривал как возможные

Процесс тестирования бота

Отправка вопроса боту

Последовательность действий:

1. В поле "Введите вопрос" введите фразу, которую хотите протестировать.

2. Нажмите синюю кнопку с иконкой отправки или нажмите Enter.

3. Ответ бота отобразится в окне чата слева.

4. Для каждого ответа показывается Тег, ответ, Список максимально совпадающих тегов с указанием процента совпадения, время отправки и статус доставки.

Анализ ответа бота

После получения ответа проанализируйте его корректность:

1. Правильный ответ — бот выбрал нужный тег и дал корректный ответ

2. Неправильный ответ — бот выбрал неверный тег или дал некорректный ответ

3. "Не понял" — бот не нашел подходящего тега для вопроса

Что делать при неправильном ответе:

1. Зафиксируйте, какой вопрос был задан
2. Запишите, какой ответ получили
3. Определите, какой ответ должен был быть
4. Перейдите в Интерактивный ассистент
5. Отредактируйте или добавьте соответствующие состояния (теги), шаблоны и ответы
6. Вернитесь в Тестирование и используйте кнопку "Восстановление" для обновления датасета
7. Повторно протестируйте вопрос

Управление датасетом бота

Восстановление датасета из Интерактивного ассистента

Что делает кнопка "Восстановление":

1. Собирает все состояния из Интерактивного ассистента, связанные с выбранным ботом

2. Извлекает шаблоны вопросов из каждого состояния

3. Извлекает ответы бота из каждого состояния

4. Формирует новый датасет для обучения бота

5. Применяет датасет к выбранному боту (основному или тестовому)

Когда использовать:

• После редактирования состояний в Интерактивном ассистенте

• После добавления новых тегов или шаблонов

• Когда нужно синхронизировать данные между модулями

• Перед тестированием внесенных изменений

Просмотр и анализ датасета

В верхней панели доступны две кнопки для работы с данными бота:

1. "Посмотреть датасет" :

• Показывает текущий датасет бота в структурированном виде

• Отображает все теги, шаблоны вопросов и ответы

• Помогает оценить полноту обучения бота

• Позволяет выявить пробелы в данных

 

2. "Изменить датасет" :

• Открывает интерфейс для просмотра структуры датасета

• Не предназначен для редактирования — все изменения вносятся в Интерактивном ассистенте

• Позволяет понять, как данные организованы для обучения бота

Важно: Все изменения в шаблонах вопросов и ответах бота должны вноситься исключительно в Интерактивном ассистенте. После внесения изменений используйте кнопку "Восстановление" для обновления датасета бота.

Рабочий процесс тестирования и доработки

Сценарий 1: Тестирование новой тестовой версии бота

Когда выполнять: После создания тестовой версии в процессе дообучения.

Последовательность действий:

1. Выберите тестового бота (с суффиксом " - Тестовый")
2. Протестируйте основные сценарии, которые были изменены
3. Проверьте новые шаблоны вопросов
4. Убедитесь, что бот правильно понимает разные формулировки
5. Если найдены ошибки — зафиксируйте их
6. Перейдите в Интерактивный ассистент для внесения исправлений
7. Вернитесь в Тестирование и нажмите "Восстановление"
8. Повторно протестируйте исправленные сценарии

Сценарий 2: Добавление новой функциональности

Когда выполнять: При добавлении новых продуктов, услуг или изменении бизнес-процессов.

Последовательность действий:

1. Создайте новые состояния в Интерактивном ассистенте
2. Настройте шаблоны вопросов и ответы для новых тегов
3. Вернитесь в Тестирование
4. Выберите нужного бота
5. Нажмите кнопку "Восстановление"
6. Протестируйте новые сценарии
7. При необходимости доработайте состояния в Интерактивном ассистенте
8. Повторите восстановление и тестирование

Сценарий 3: Оптимизация параметров нейросети

Когда выполнять: Когда бот слишком часто отвечает "не понял" или, наоборот, уверенно отвечает неправильно.

Последовательность действий:

1. Подготовьте набор тестовых вопросов (20-30 типичных запросов)
2. Зафиксируйте текущие результаты (какие ответы правильные, какие нет)
3. Понизьте "Процент уверенности" на 10-20%
4. Повторите тестирование на том же наборе вопросов
5. Сравните результаты
6. Настройте "Процент совпадения слов" для оптимальной работы с опечатками
7. Зафиксируйте лучшие настройки
8. Перейдите в раздел Чат-боты и примените эти настройки к основному боту

Рекомендации по эффективному тестированию

Подготовка тестовых данных

1. Типичные вопросы: Соберите реальные вопросы пользователей из истории чатов.

2. Разные формулировки: Для каждой темы подготовьте 5-10 способов задать один вопрос.

3. Опечатки и ошибки: Включите вопросы с типичными опечатками ("првиет", "скажите пожалуйста").

4. Сложные случаи: Добавьте вопросы на стыке тем, где бот может ошибиться.

Организация процесса тестирования

1. Регулярность: Проводите тестирование после каждого значительного обновления бота.

2. Документирование: Записывайте, какие темы были протестированы и какие проблемы найдены.

3. Приоритеты: Сначала тестируйте критически важные сценарии (оплата, поддержка).

4. Коллективное тестирование: Привлекайте разных сотрудников для получения разнообразных формулировок.

Взаимодействие с другими модулями

1. Интерактивный ассистент: Все изменения вносите только здесь.

2. Восстановление датасета: Всегда выполняйте после изменений в ассистенте.

3. Дообучение: Для обучения на реальных диалогах используйте соответствующий модуль.

4. Основные настройки: Параметры нейросети, найденные в тестировании, применяйте в разделе Чат-боты.

Устранение неполадок при тестировании

Бот не отвечает на вопросы:

1. Проверьте статус чат-бота — должен быть "Доступен".

2. Убедитесь, что выбран правильный бот в выпадающем списке.

3. Попробуйте понизить процент уверенности в настройках.

4. Проверьте, есть ли у бота обученные теги в Интерактивном ассистенте.

5. Нажмите кнопку "Восстановление" для обновления датасета.

Ответы бота не соответствуют настройкам Интерактивного ассистента:

1. Убедитесь, что вы нажали кнопку "Восстановление" после внесения изменений в ассистенте.

2. Проверьте, что состояния в ассистенте связаны с правильным ботом.

3. Убедитесь, что состояния имеют статус "Включено".

4. Проверьте, что в шаблонах вопросов и ответов нет ошибок.

Тестовая версия бота не отображается в списке:

1. Убедитесь, что вы создали тестовую версию через модуль дообучения (кнопка "Протестировать").

2. Проверьте, что тестовый бот имеет статус "Включено" в основном разделе чат-ботов.

3. Если бот только что создан, подождите 1-2 минуты — может потребоваться время на инициализацию.

4. Перезагрузите страницу тестирования.