Инструкции/Дообучение чат-бота

 

Общие сведения

Модуль "Дообучение" — это инструмент для улучшения работы чат-бота через анализ реальных диалогов с пользователями. Он позволяет оператору оценивать ответы бота, исправлять ошибки и формировать базу знаний для переобучения искусственного интеллекта. Регулярное использование модуля значительно повышает точность и релевантность ответов бота.

 

Основные понятия

• Процент совпадения — уверенность бота в своем ответе (от 0% до 100%).
• Тег — категория или тема ответа бота (например: "баланс", "поддержка", "меню").
• Игнор-фразы — автоматические сообщения бота, которые исключаются из анализа.
• Отметка оператора — ручная оценка ответа бота ("хорошо" или "плохо").
• Отметка пользователя — оценка, которую поставил сам пользователь во время диалога.
• Переобучение модели — процесс обновления ИИ бота на основе накопленных оценок.

 

Выбор бота для работы

 

Начало работы

Перед началом работы с модулем необходимо выбрать конкретного чат-бота, диалоги которого вы будете анализировать.

Последовательность действий:

1. В верхней части страницы найдите выпадающий список "Выберите бота".

2. Нажмите на список, чтобы раскрыть варианты.

3. Выберите нужного бота из доступных (например: "Бот для Интернет-магазина").

Результат: После выбора бота активируются все элементы интерфейса модуля дообучения.

 

Важно: Без выбора бота функционал модуля будет недоступен.

 

Управление игнор-фразами

 

Что такое игнор-фразы?

Игнор-фразы — это автоматические служебные сообщения от бота, которые не должны попадать в список для анализа и дообучения. Примеры: "Информация по состоянию баланса", "Подтвердите введенные показания".

 

Работа со списком игнор-фраз

Блок "Список игнор-фраз" может быть свернут — нажмите на заголовок, чтобы развернуть.

Добавление новой фразы:

1. В развернутой таблице найдите нижнюю строку с кнопкой ✚ в правом углу.

2. Нажмите кнопку ✚.

3. В появившейся строке введите текст фразы.

4. Для сохранения нажмите зеленую кнопку с галочкой ✔ .

 

Редактирование существующей фразы:

2. Отредактируйте текст в поле.

3. Сохраните изменения зеленой кнопкой ✔ или отмените красной кнопкой ▬ .

 

Удаление фразы:

В строке с ненужной фразой (в режиме просмотра) нажмите красную кнопку с минусом ▬ .

В таблице отображаются все текущие игнор-фразы. Для каждой фразы доступны кнопки редактирования и удаления.

 

Настройка фильтров для анализа диалогов

 

Основные фильтры

Для эффективной работы необходимо правильно настроить фильтры в блоке "Список Вопрос-Ответ чат-бота".

 

1. Период анализа:

Дата начала периода — укажите начальную дату для выборки диалогов.

Дата конца периода — укажите конечную дату.

Используйте календарь, нажав на иконку рядом с полем.

 

2. Порог уверенности бота:

Используйте ползунок "Процент автоматической отметки успешного ответа".

Установите значение от 1% до 100% (рекомендуется 80-90%).

Ответы с процентом совпадения ВЫШЕ этого значения будут автоматически помечаться как успешные.

 

3. Фильтры по оценкам:

Отметка пользователя — фильтр по оценке от клиента ("Все", "Непроставлено", "Хороший", "Плохой").

Отметка оператора — фильтр по вашей предыдущей оценке.

 

4. Фильтр по обучению:

В поле "Отметка, что бот обучен" выберите:

• "Все" — показать все диалоги
• "Нет" — показать только необработанные диалоги (рекомендуется для начала работы)
• "Да" — показать уже обработанные диалоги

 

5. Фильтр по шаблонам:

В поле "Совпадающие по шаблонам" выберите:

• "Показывать все" — все диалоги
• "Исключить совпадающие" — только вопросы, которых нет в шаблонах
• "Только совпадающие" — вопросы, которые уже есть в шаблонах

 

6. Фильтр по тегам:

В поля "Фильтр по тегу бота" и "Фильтр по конечному тегу" выберите:

• "Показывать все" — все теги
• "Определенный тег" — определенный тег, наример "greeting - Приветствие"

 

Применение фильтров

После настройки всех параметров:

1. Найдите оранжевую кнопку "Применить" в правом верхнем углу блока с фильтрами.

2. Нажмите кнопку "Применить".

3. Дождитесь загрузки данных (появится индикатор загрузки).

4. В таблице появятся диалоги, соответствующие вашим фильтрам.

 

Анализ и оценка диалогов

 

Структура таблицы диалогов

Каждая строка в таблице представляет один ответ бота на реплику пользователя и содержит следующие колонки:

 

 

Колонка "ID Чата / Дата":

• ID чата — уникальный идентификатор диалога

• Дата и время — когда было отправлено сообщение

 

Колонка "Вопрос-ответ":

• Вопрос — что написал пользователь

• Ответ — как ответил бот

• Если система распознала опечатку — показывается оригинал и исправленный вариант

 

Колонка "Теги":

• Предыдущий тег — контекст диалога до ответа

• Тег бота — какой тег выбрал бот для ответа

• Конечный тег — итоговый тег после диалога

 

Колонка "Совпадения":

• Процент совпадения — уверенность бота (цвет индикатора: зеленый/желтый/красный)

• Вопрос из шаблона — указание, если вопрос уже есть в базе шаблонов

 

Колонка "Отметки":

• Пользователь — оценка от клиента (если ставил)

• Оператор — ваша предыдущая оценка

• Статус обучения — использовался ли диалог для обучения

 

Колонка "Действия":

Кнопки для ручной оценки ответа бота:

✔ - "Хороший ответ"

✖ - "Плохой ответ"

← - "Сбросить отметку"

 

Процесс оценки ответов бота

 

Сценарий А: Ответ бота УДАЧНЫЙ

 

Сценарий B: Ответ бота НЕУДАЧНЫЙ

 

Сценарий C: Вопрос точно совпадает с шаблоном

Когда в столбце "Совпадения" указано "Вопрос из шаблона: [имя_тега]":

• В колонке "Действия" будет неактивная или информационная кнопка с галочкой.

• Чтобы изменить поведение бота для таких точных совпадений, нужно редактировать сам шаблон в разделе настройки тегов бота.

 

Сценарий D: Ответ уже оценен ранее

Если вы или другой оператор уже оценивали этот диалог:

• Чтобы изменить оценку — нажмите синюю кнопку со стрелкой для сброса, затем поставьте новую оценку.

• Если оценка верна — переходите к следующему диалогу.

 

Рекомендации по оценке

• Начинайте с фильтра "Отметка, что бот обучен: Нет" — так вы увидите только необработанные диалоги.
• Обращайте внимание на процент совпадения:
  • Зеленый (выше 80%) — обычно правильные ответы
  • Желтый (50-80%) — требуют проверки
  • Красный (ниже 50%) — скорее всего, ошибка бота
• Проверяйте теги: Убедитесь, что выбранный ботом тег соответствует смыслу вопроса.
• Минимальный объем: Для заметного улучшения бота рекомендуется оценить не менее 50-100 диалогов за сессию.

 

Сохранение изменений модели

 

 

Переобучение модели

 

Критически важный шаг! Без переобучения бот продолжит работать по старой модели.

Последовательность действий:

1. После сохранения изменений найдите оранжевую кнопку ⮂ Переобучение модели рядом с кнопкой сохранения.

2. Нажмите кнопку "Переобучение".

3. Откроется модальное окно с выбором типа обучения.

 

Модальное окно выбора типа обучения

После нажатия кнопки "Переобучение" откроется модальное окно с вариантами последующих действий:

 

 

Вариант 1: Создание тестовой версии (рекомендуется)

Когда выбирать: Всегда начинайте с этого варианта, особенно при значительных изменениях.

Что происходит:

• Создается копия бота с названием "[Имя бота] - Тестовый"
• Все ваши оценки применяются к тестовой версии
• Основной бот продолжает работать без изменений

Как протестировать:

1. После создания тестовой версии перейдите в раздел "Настройки" → "Чат-бот" → "Тестирование".

2. Выберите бота с названием "[Имя бота] - Тестовый".

3. Проверьте ответы бота на типичные вопросы.

4. Убедитесь, что изменения работают корректно.

 

Вариант 2: Обучение основного бота

Когда выбирать: Только после успешного тестирования, когда вы уверены в изменениях.

Что происходит:

• Изменения применяются напрямую к основному боту
• Бот немедленно начинает работать по обновленной модели
• Процесс необратим (требует осторожности)

Меры предосторожности:

• Всегда тестируйте изменения перед применением к основному боту
• Планируйте обновление на время низкой нагрузки
• Предупредите коллег о возможных временных изменениях в работе бота

 

 

Рекомендации по переобучению

• Частота: Проводите переобучение после оценки 200-500 диалогов или не реже 1 раза в неделю.
• Время: Планируйте переобучение на время низкой нагрузки на систему.
• Тестирование: Всегда начинайте с создания тестовой версии.
• Очередность: Всегда выполняйте в последовательности: Оценка → Сохранение → Переобучение.

 

Оптимальные подходы

 

Рабочий процесс

1. Регулярность: Выделяйте время на дообучение бота регулярно (например, 1-2 раза в неделю).

2. Объем: За одну сессию оценивайте 100-200 диалогов для стабильного улучшения.

3. Приоритеты: Начинайте с диалогов с низким процентом совпадения (красная зона).

4. Консистентность: Старайтесь, чтобы разные операторы оценивали диалоги одинаково.

 

Оценка ответов

1. Контекст: Всегда учитывайте предыдущие сообщения в диалоге.

2. Корректность тега: При выборе нового тега убедитесь, что он точно соответствует смыслу вопроса.

3. Пограничные случаи: Если не уверены в оценке — пропустите диалог или обсудите с коллегами.

4. Новые темы: Если часто встречаются вопросы без подходящего тега — создайте новый тег в настройках бота.

 

Эффективность дообучения

1. Измерение улучшений: Сравнивайте процент успешных ответов до и после переобучения.

2. Обратная связь: Следите за оценками пользователей после переобучения.

3. Адаптация: Регулярно обновляйте список игнор-фраз на основе новых автоматических сообщений.

4. Документация: Ведите записи о значительных изменениях в работе бота.

 

Устранение неполадок

 

Нет данных в таблице:

1. Проверьте, что выбран правильный бот в верхнем выпадающем списке.

2. Убедитесь, что задан корректный период в фильтрах.

3. Проверьте, что бот имел диалоги в выбранный период.

4. Нажмите кнопку "Применить" после настройки фильтров.

 

Кнопки оценки не активны:

1. Убедитесь, что диалог еще не был оценен (колонка "Бот обучен: Нет").

2. Проверьте, что вопрос не является точным совпадением с шаблоном.

3. Убедитесь, что диалог не попадает под действие игнор-фраз.