Что происходит под капотом
При RAG система ищет подходящие фрагменты во внешней базе и передаёт их модели вместе с вопросом. Так помощник использует документы компании без обязательного переобучения. Качество ответа зависит и от найденного материала, и от того, как модель его прочитала.
Почему поиск важнее красивого ответа
Условный сотрудник спрашивает: «Можно ли перенести отпуск после согласования?» В базе лежат действующий регламент, прошлогодняя версия и обсуждение проекта изменений. Если поиск принесёт устаревший документ, модель может написать логичный, аккуратный и неверный ответ. Поэтому RAG нужно оценивать как несколько отдельных этапов: какие документы доступны, какие фрагменты найдены и что именно модель заключила на их основе.
До подключения нейросети стоит навести порядок в источниках: назначить владельца документа, сохранить дату действия, различать утверждённый текст и черновик. Затем проверить поиск обычными запросами пользователей. Человек может называть отпуск «отгулами», а внутреннюю заявку — «бумажкой на перенос». Хорошая выдача должна находить нужный смысл, но также сохранять точность номеров, названий и исключений.
Где возникают скрытые ошибки
Документ обычно делят на фрагменты, чтобы передать модели только относящийся к вопросу контекст. Если условие оказалось в одном фрагменте, а исключение — в соседнем, ответ может потерять существенную оговорку. Для проверки полезно задавать вопросы, требующие сразу нескольких частей текста: кому разрешено действие, при каких условиях и кто его подтверждает. Одного правильного совпадения ключевых слов недостаточно.
Отдельная граница — права доступа. Поиск должен учитывать, какие документы разрешено видеть конкретному пользователю. Скрытая ссылка не решает проблему, если её содержимое уже попало в ответ. Полезен проверочный сценарий с двумя ролями: один и тот же вопрос должен раскрывать только допустимую информацию. При отсутствии разрешённых источников корректным результатом может быть сообщение о недостатке данных.
Как принимать такую систему
Подготовьте набор вопросов с известными документами-основаниями. Для каждого проверьте не только ответ, но и найденные фрагменты, актуальность версии и соответствие цитируемому смыслу. Добавьте вопросы без ответа в базе и вопросы с противоречивыми источниками. Система должна уметь показать неопределённость, а не заполнять пробел правдоподобным объяснением. Это важная часть качества, а не признак неудачного внедрения.
