Журнал ошибок ИИ: как превращать сбои в улучшения

Запишите наблюдаемую ошибку

Вместо «ИИ плохо понял задачу» укажите точное расхождение: пропущен второй пункт, изменена единица измерения, перепутаны статусы или добавлено отсутствующее условие. Сохраните необходимый фрагмент входа, полученный результат и ожидаемый вариант. Лишние личные сведения и полный архив переписки для такой записи обычно не требуются.

Добавьте дату, версию запроса, обозначение конфигурации и этап, на котором обнаружена проблема. Отметьте последствия: ошибка замечена в черновике, потребовала повторной проверки или дошла до следующего процесса. Это помогает назначить приоритет исправления по фактическому влиянию, а не по выразительности неудачного ответа.

Отделите симптом от предполагаемой причины

Одинаковая внешняя ошибка может возникнуть по разным причинам. Пропуск пункта бывает связан с неполным входом, неясным правилом отбора, ограничением объема ответа или потерей части документа при подготовке. Если сразу дописать запрет в запрос, можно не затронуть настоящий источник проблемы.

Для сравнения условий полезен материал Как создать ИИ-агента: из каких частей он собирается и в каком порядке его делают.

Записывайте предположение как гипотезу и указывайте способ проверки. Например: «входной фрагмент обрезается до передачи» проверяется сравнением подготовленного материала с исходником. «Неясно правило объединения» проверяется на двух коротких примерах с одинаковым смыслом. Такой подход не требует объяснять внутреннюю работу модели, к которой у команды нет доступа.

Условный пример с единицей измерения

В учебном списке материалов для макета ИИ сохранил число 30, но заменил сантиметры на миллиметры. В журнале фиксируют пару исходного и полученного значений. Затем проверяют, присутствовала ли единица во входе, не потерялась ли она при извлечении текста и предполагало ли задание какое-либо преобразование.

Если исходник передан правильно, полезное изменение — возвращать число, единицу и подтверждающий фрагмент в отдельных полях. После правки проверяют исходный сбой и примеры с разными единицами, отсутствующим обозначением и явно запрошенным пересчетом. Простое сохранение исходного текста нельзя объявить универсальным исправлением для задач, где преобразование действительно требуется.

Закрывайте запись после проверки изменения

У карточки полезны состояния: зарегистрировано, проверяется причина, подготовлено изменение, проверено, закрыто. Назначьте ответственного и ближайшее действие. Запись «поправили запрос» недостаточна для закрытия: нужно показать, что исправление прошло контрольный случай и не нарушило соседние задачи.

Если хочется сравнить этот сценарий с соседним, загляните в Как использовать ИИ для разбора журнала изменений кампаний.

Условие приемки улучшения — ошибка воспроизводилась до правки и не проявилась на согласованной проверке после нее. Это ограниченное свидетельство, а не обещание отсутствия будущих сбоев. Добавьте пример в постоянный набор проверок и отметьте, где изменение уже применено. Регулярно объединяйте одинаковые записи, сохраняя различия входных условий, чтобы журнал оставался рабочим инструментом.