Как использовать ИИ для нормализации характеристик каталога

Начните со словаря полей

Сначала выберите одну категорию товаров. Для неё определите обязательные характеристики, допустимые единицы, список значений и правила обработки отсутствующей информации. Смешанный каталог сложнее: у шкафа глубина корпуса и глубина с ручкой могут означать разные величины.

Для каждого поля нужна формулировка границ. Например, ширина указывается в миллиметрах, цвет хранится как базовая группа и отдельное исходное название, а неизвестный материал остаётся пустым. Без этого модель начнёт объединять похожие слова с разным смыслом.

Подготовьте маленькую учебную выборку

В условной таблице есть три записи: «шир. 80 см», «ширина 800 мм» и «80». Первые две можно привести к 800 миллиметрам при известном назначении поля. Третью нельзя пересчитывать: единица отсутствует, даже если соседние строки выглядят убедительно.

В продолжение темы можно открыть ИИ для разбора запросов с нулевыми результатами поиска по сайту: там следующий шаг разобран отдельно.

Сохраните устойчивый идентификатор строки. Не передавайте изображения, адреса поставщиков и сведения о покупателях: для нормализации они не нужны. Исходное поле оставьте неизменным, чтобы отклонённое преобразование можно было восстановить.

Запросите объяснимое преобразование

Полезно разрешить модели ровно три действия: привести подтверждённую единицу, сопоставить значение со словарём или отправить запись на проверку. Отдельный статус «нет данных» предотвращает догадки о характеристиках.

<offer id="123" available="true">
  <url>https://example.ru/catalog/item-123/</url>
  <price>45900</price>
  <currencyId>RUR</currencyId>
  <categoryId>12</categoryId>
  <name>Название товара и ключевой параметр</name>
</offer>

Проверьте то, что нельзя доверять языковой модели

Арифметические преобразования лучше повторить формулой в таблице. Модель может правильно распознать сантиметры и ошибиться при переносе десятичного разделителя. Автоматически проверьте количество строк, уникальность идентификаторов, допустимые единицы и диапазоны.

Похожий вопрос разобран в материале Как использовать ИИ для понятных названий фильтров каталога — он пригодится, если исходные условия отличаются.

Отдельно просмотрите синонимы. «Древесный материал» не равен «массив», а «мягкое закрывание» не подтверждает конкретную конструкцию механизма. Если словарь не допускает соответствия, оно должно оставаться предложением для редактора.

Вносите изменения небольшими партиями

Перед загрузкой сохраните выгрузку исходных данных. Начните с одной группы и проверьте, что фильтр действительно находит нужные товары, сортировка размеров работает численно, а карточки не потеряли исходные уточнения.

Критерий приёмки задаётся до обработки: каждая изменённая ячейка имеет понятное правило, все неопределённые значения выделены, число записей совпадает с исходным. Отсутствие явных ошибок в нескольких строках не подтверждает качество всей партии.

Отдельный случай — составное значение «80 × 45 × 120». До преобразования нужно знать порядок измерений и единицу. Если источник использует последовательность «высота, ширина, глубина», привычное чтение «ширина, глубина, высота» даст правдоподобную, но неверную карточку. Зафиксируйте порядок в словаре и проверьте его по нескольким исходным документам. Такие строки полезно включать в контрольную выборку до обработки основного каталога.