Диалог вместо одного вопроса

MTGBench состоит из семи игр на русском и английском языках: Wordle, «Поле чудес», «Данетки», «Элиас» и ещё три задания. Каждый эпизод длится десятки ходов, поэтому модель должна использовать новую информацию вместе с историей диалога. В четырёх играх результат проверяет алгоритм; в трёх правила контролирует ИИ-верификатор, работу которого авторы сопоставили с человеческой разметкой. Репозиторий содержит код, наборы данных и траектории моделей.

Один итоговый балл скрывает различия

Авторы испытали 16 моделей. Режим рассуждений особенно помогал в буквенных задачах, где нужно последовательно исключать варианты, но эффект был менее ровным в заданиях на знания и смысл. Место модели в рейтинге заметно менялось от игры к игре, а русскоязычные версии в среднем давались системам труднее английских. Для команды, выбирающей модель под поддержку, анализ документов или планирование, это практическое ограничение: общий балл не заменяет теста на диалоге, похожем на реальную рабочую задачу.

Источники