Как собрать набор тестовых заданий для ИИ

Выберите типы ситуаций, которые действительно встречаются

Разделите будущий набор на обычные задания, пограничные случаи и явно недостаточные входные данные. Обычные примеры отражают повседневную нагрузку. Пограничные проверяют похожие категории, противоречивые формулировки или длинные документы. Недостаточные показывают, умеет ли процесс остановиться и запросить уточнение.

Не заполняйте весь набор исключительными головоломками. Если проверять только редкие сложности, можно получить искаженное представление о ежедневной полезности. Одновременно сохраняйте критичные редкие сценарии отдельной группой: их малая частота не делает последствия ошибки менее значимыми. У каждой группы должна быть понятная причина присутствия.

Опишите ожидаемое поведение до получения ответа

Для извлечения полей можно указать конкретные значения. Для краткого пересказа удобнее перечислить обязательные факты, недопустимые добавления и требования к объему. Если верных формулировок несколько, не заставляйте систему повторять единственную фразу: проверяйте смысл, а не случайное совпадение слов.

Для сравнения условий полезен материал Как использовать ИИ для понятных названий фильтров каталога.

В карточке теста сохраните вход, ожидаемый результат, критерий оценки и пояснение, зачем этот случай нужен. Добавьте допустимый вариант отказа или уточнения. Это особенно важно для неполных данных: выдуманный ответ не должен получать более высокую оценку только потому, что он выглядит законченным.

Условный пример для разбора обращений

Представим задачу распределения обезличенных обращений по трем темам: срок, состав заказа и состояние доставки. Обычный тест содержит один ясный вопрос. Сложный — два разных вопроса в одном сообщении. Неполный — фразу «опять все не так», по которой категорию нельзя надежно установить.

В последнем случае ожидается уточняющий вопрос, а не угадывание. Отдельная проверка содержит старую цитату внутри нового сообщения: система должна различить актуальную просьбу и пересказ предыдущего разговора. Еще один пример проверяет, сохраняет ли ответ исходный номер обращения, чтобы результат можно было сопоставить с входом.

Сохраните часть примеров для независимой проверки

Если переписывать запрос после каждого неудачного примера, можно незаметно настроить его под известный набор. Поэтому выделите часть заданий, на которых не подбираете формулировки. Проверяйте эту часть после завершения очередного изменения и фиксируйте результат без дальнейшего подгона в том же цикле.

Если хочется сравнить этот сценарий с соседним, загляните в ИИ для производственной компании: где он помогает в работе с заявками и заказчиками.

Небольшой набор не доказывает надежность на любых входах. Его задача — обнаруживать конкретные ошибки и ухудшения. Условие приемки версии задавайте по группам: например, отсутствие пропущенных обязательных полей и корректная остановка во всех выбранных случаях недостаточности. Новый рабочий сбой добавляйте как отдельный тест с объяснением, а не просто увеличивайте количество примеров.