Сформулировать гипотезу
Пилот проверяет конкретное предположение: например, сократит ли ИИ время подготовки черновика при прежнем качестве проверки. Для ответа нужны один процесс, исходные показатели и согласованный критерий результата. Общая формулировка «попробовать ИИ» этих условий не задаёт.
Как превратить идею в проверяемую гипотезу
Условный пилот касается подготовки ответов по внутренней базе знаний. Формулировка «сотрудникам будет удобнее» допускает почти любой итог. Более полезная гипотеза связывает результат и ограничение: сотрудник быстрее находит подтверждённое правило, а доля ответов с неверным источником не растёт. До запуска нужно договориться, что считается готовым ответом и как определяется ошибка. Иначе каждая сторона будет оценивать собственную версию успеха.
Зафиксируйте исходный процесс на похожих задачах. Если новый инструмент проверяют на простых вопросах, а прежний способ измеряли в период сложных обращений, сравнение будет слабым. В небольшом пилоте особенно важно описывать состав выборки и исключения. Это не лабораторная точность ради отчёта, а способ не принять случайное изменение потока за эффект технологии.
Границы защищают результат
Составьте короткую карточку эксперимента: задача, участники, источники, допустимые действия, срок наблюдения, ответственный и правила принятия решения. В неё полезно добавить перечень того, что пока не проверяется. Например, поиск по одной базе не доказывает готовность работать со всеми корпоративными документами. Такая граница делает вывод честным и помогает не расширять пилот каждый раз, когда появляется интересная дополнительная возможность.
Изменения всё равно возникнут. Записывайте их вместе с причиной и моментом включения: обновили инструкцию, заменили источник, добавили проверку доступа. Если результаты резко улучшились, команда сможет установить, что помогло. Если система стала хуже, будет понятен путь возврата. Незаметное изменение нескольких условий одновременно делает итоговый отчёт практически бесполезным для дальнейшего внедрения.
Три разумных окончания эксперимента
Пилот может закончиться расширением, ограниченным использованием или остановкой. Для каждого исхода нужны заранее понятные основания. Расширение предполагает не только хороший ответ модели, но и готовность сопровождения: кто обновляет данные, отвечает на сбой и обучает новых пользователей. Ограниченное использование подходит, когда эффект есть у одного типа задач. Остановка уместна, если стоимость исправлений перекрывает выигрыш.
