Собрать обычную работу
Для оценки ИИ нужна подборка задач из обычной работы: типовые обращения, сложные случаи и вопросы, на которые в исходных данных нет ответа. Для каждого случая заранее определяют пригодный результат. Тогда можно сравнивать версии модели по одним и тем же условиям.
Сначала определить правильный результат
Представим помощника, который разбирает обращения магазина. Правильность здесь состоит из разных вещей: верно определена проблема, найдена подходящая политика возврата, не обещано лишнего и выбран допустимый следующий шаг. Объединение этих требований в оценку «ответ хороший» затрудняет исправление. Если ошибка связана с поиском документа, улучшение стиля текста её не устранит. Критерии должны отражать действия, которые реально происходят после ответа.
Соберите примеры обычных обращений, пограничных ситуаций и случаев, где данных недостаточно. Для каждого запишите ожидаемое поведение, а не обязательно единственную идеальную фразу. Помощник может корректно попросить номер заказа или передать обращение специалисту. Такие ответы нельзя автоматически считать хуже уверенного решения. Иначе сама проверка начнёт поощрять выдумки и излишнюю самостоятельность.
Не смешивать настройку с экзаменом
Часть примеров можно использовать для улучшения инструкций и поиска. Другую часть нужно оставить для независимой проверки после изменений. Если команда постоянно правит систему под один знакомый набор, результат показывает знание этого набора, а не готовность к реальной работе. Полезно дополнительно собирать новые ошибки из пилота и периодически обновлять проверочную выборку, сохраняя историю изменений.
Повторяйте важные случаи несколько раз и отмечайте устойчивость поведения. Один удачный ответ не объясняет, что произойдёт при чуть другой формулировке. Сравнивайте одинаковые версии документов и инструментов, иначе непонятно, что вызвало изменение результата. В протоколе достаточно хранить задачу, версию настроек, ответ, итог проверки и причину несоответствия — без ненужных персональных данных.
Проверять качество вместе с эксплуатацией
Условная система может отвечать точнее, но заставлять сотрудника ждать и читать чрезмерно длинный текст. Поэтому рядом с качеством смотрят время до пригодного ответа, объём ручных исправлений и стоимость обработки. Ошибки стоит разделить по последствиям: неудачная формулировка и ошибочная внешняя операция требуют разной реакции. Средняя оценка не должна скрывать редкие, но тяжёлые сбои.
