Проверка фактов за нейросетью: где она ошибается и как это ловить

Почему выдумки звучат увереннее правды

Нейросеть не врёт специально — она достраивает правдоподобное. Языковая модель подбирает следующее слово так, чтобы фраза выглядела как типичная фраза из похожих текстов. Если во вводных не хватает данных, пустое место заполняется тем, что «обычно бывает»: у профиля появляется толщина 70 мм, у гарантии — пять лет, у покупателей — доля в 78%. Внешне это неотличимо от факта: тот же тон, та же аккуратная формулировка.

Отсюда главное следствие для практики: уверенность текста ничего не говорит о его достоверности. В обычной редактуре ошибку ловят по интонации — автор запнулся, написал коряво, оговорился. Здесь этого сигнала нет вообще. Выдуманный номер стандарта выглядит убедительнее настоящего, потому что настоящий часто звучит громоздко, а придуманный — гладко и коротко.

Есть закономерность, которую видно на любом объёме материалов: чем конкретнее утверждение, тем выше риск выдумки. Общие рассуждения о том, как выбирать межкомнатную дверь или на что смотреть при приёмке квартиры, модель напишет корректно. А вот артикул, номер стандарта, срок изготовления, класс фурнитуры, цена и «доля рынка» — это места, где ошибка появляется чаще всего. В наших проектах в черновике на 4-5 тысяч знаков обычно набирается от трёх до семи утверждений, которые нужно сверять, и одно-два из них при сверке не подтверждаются.

Второе, что стоит понять до того, как строить проверку: задание «пиши только правду» не работает. У модели нет внутреннего признака «здесь я не уверена» — она не отличает знание от догадки. Просьба «не выдумывай» убирает часть эффектных заявлений, но не убирает подстановку правдоподобных чисел. Риск реально снижают две вещи, и обе делаются на входе, а не на выходе:

• Подавать факты вместе с заданием. Характеристики, цены, сроки, состав, комплектацию копируем в задание из прайса или паспорта изделия. Тогда модели нечего додумывать: она переупаковывает готовые данные, а это её сильная сторона.
• Прямо запрещать добавлять то, чего нет во вводных. Формулировка вида «используй только данные из списка выше; если данных не хватает, поставь пометку “уточнить”» в наших проектах сокращает количество выдумок примерно вдвое. Не до нуля — поэтому проверка всё равно нужна.

Третье: ошибки распределены неравномерно по типам материалов. Там, где текст переупаковывает готовые данные, выдумок мало. Там, где текст должен звучать экспертно и опираться на «знание рынка», их много — именно это знание модель и достраивает. Поэтому проверку настраивают не «на все тексты вообще», а на конкретные места. Для материалов, которые должны попадать в ответы поисковых сервисов, это особенно важно: там выигрывает проверяемая конкретика, и мы разбирали это в материале про текст под нейропоиск.

Карта типовых ошибок: где выдумки появляются чаще всего

Выдумки появляются не где попало, а в предсказуемых местах. Если знать эти места, проверка перестаёт быть чтением всего текста подряд и превращается в короткий обход по списку. Ниже — карта, собранная на материалах для мебели, окон, дверей, стройки, авто, недвижимости и интернет-магазинов: типы утверждений, которые чаще всего не подтверждаются при сверке.

Отдельно про две строки, которые владельцы недооценивают. Первая — собственный ассортимент. Кажется, что уж про свою компанию модель ничего не придумает, но именно здесь она щедро дописывает «бесплатный выезд», «подъём на этаж включён», «работаем без выходных»: так пишут конкуренты, и это выглядит уместно. Проверять надо не только чужие цифры, но и обещания о себе — их потом придётся исполнять.

Вторая — характеристики в карточках товара. При массовой генерации ошибка тиражируется сразу на сотни страниц, и находит её обычно не редактор, а покупатель в переписке. Поэтому в карточках сверяется каждая цифра, а не выборочная десятая: что именно там влияет на решение, мы разбирали в материале о том, что в карточке товара влияет на конверсию. В наших проектах на партии из ста сгенерированных описаний обычно находится 8-20 расхождений с прайсом — и это при аккуратно составленном задании.

Заведите короткий внутренний список «наших больных мест»: три-пять типов утверждений, где у вас уже находили ошибки. Он всегда короче общей карты и работает быстрее, потому что привязан к вашему товару и вашим документам.

Разметка черновика: десять минут, которые экономят час

Проверять весь текст подряд дорого и бесполезно. Проверяют не текст, а список утверждений. Поэтому первый шаг — разметка: за один проход выделить всё, что в принципе можно опровергнуть, и только потом идти к источникам. На черновике в 4-5 тысяч знаков разметка занимает обычно 8-12 минут, а сама сверка после неё — 15-30 вместо часа хаотичного перечитывания.

Порядок действий:

1. Прогоните текст и выделите цветом всё проверяемое. Выделяем: любые цифры и единицы измерения, даты и сроки, проценты, номера стандартов, имена и должности, обороты «по данным», «исследования показывают», «большинство», превосходные степени («лучший», «единственный»), все ссылки и адреса страниц.
2. Разложите выделенное по трём корзинам. «Наше» — то, что есть во внутренних документах: цены, сроки, состав услуг, гарантия. «Чужое» — характеристики товаров поставщика, нормы, чужие сроки. «Ничьё» — цифры без адреса: доли рынка, «исследования», «по статистике».
3. Корзину «ничьё» вычеркните сразу, не проверяя. Это самое дешёвое действие во всём процессе. Если утверждение нельзя привязать к конкретному документу, оно не публикуется — независимо от того, насколько красиво держится на нём абзац.
4. Корзину «наше» сверьте по внутренним документам — прайс, паспорт изделия, договор, карточка в 1С, регламент. Делать это должен человек, который эти документы видит каждый день: менеджер отдела продаж, а не автор текста.
5. Корзину «чужое» сверьте по документации поставщика или уберите конкретику: вместо «класс износостойкости 33» — «класс износостойкости указан в паспорте изделия». Честное обобщение лучше точной выдумки.
6. Отдельно пересмотрите обещания. «Гарантируем результат», «единственные на рынке», «100% качество» убираются независимо от правдивости: требования к рекламным утверждениям установлены законом, спорные формулировки согласуйте с юристом.

Правило, которое стоит повесить перед глазами: цифра без источника не публикуется. Не «проверим потом», не «звучит правдоподобно» — вычёркиваем. И второе: если ради красоты абзаца вы оставили одно неподтверждённое число, считайте, что проверки не было вовсе, потому что доверие к материалу держится на самом слабом утверждении в нём.

Разметка сильно упрощается, когда задание изначально построено так, что модели нечего додумывать. Как собирать такие задания для товарных текстов, мы показывали в материале про описания товаров без штампов, а для рекламы — в разборе генерации объявлений нейросетью: там особенно важно, чтобы цена и условия акции подставлялись из прайса, а не сочинялись под красивую фразу.

Приём для больших партий: попросите помощника отдельным списком вывести все факты и цифры, которые он использовал в тексте. Такой список удобно проверять — он короткий и без обёртки. Но помните, что он тоже сгенерирован и показывает, что написано в тексте, а не что правда.

Процедура сверки: четыре уровня источников

У проверки должен быть порядок, иначе она превращается в блуждание по поиску. Работает простая лестница: идём сверху вниз и останавливаемся на первом уровне, где факт подтвердился. Не подтвердился нигде — утверждение удаляется или обобщается.

Три правила, без которых лестница не работает.

Правило первое: нейросеть не проверяет саму себя. Просьба «проверь факты в этом тексте» даёт ответ того же качества, что и сам текст: помощник с одинаковой уверенностью подтвердит и правду, и выдумку, а иногда придумает под неё дополнительное обоснование. В наших проектах такая самопроверка ловит меньше половины ошибок и добавляет новые. Инструмент годится, чтобы вытащить список утверждений, но не чтобы вынести по ним вердикт.

Правило второе: пишет один — проверяет другой. Человек, который ставил задание, читает текст «изнутри»: он помнит, что имелось в виду, и достраивает смысл вместо того, чтобы видеть буквы. Передайте черновик тому, кто его не видел, и дайте не текст целиком, а размеченный список утверждений с колонкой «подтверждено / не подтверждено / источник».

Правило третье: у проверки есть фиксация. Рядом с каждым проверенным утверждением ставится источник — «прайс от 12.08», «паспорт изделия, стр. 3», «карточка в Яндекс Бизнесе». Через месяц, когда менеджер спросит, откуда на сайте взялся срок в пять дней, эта пометка сэкономит час разбирательств. Файл со сверкой храните рядом с текстом, а не в личной переписке.

Отдельно про данные, и здесь лучше перестраховаться. Для сверки нельзя загружать в чат-помощника персональные данные клиентов, договоры, базы контактов, переписку и внутренние прайсы с себестоимостью — обезличивайте: убирайте имена, телефоны, адреса, номера договоров и суммы. Требования к обработке персональных данных и к охране коммерческой тайны установлены законом, актуальные формулировки сверьте с юристом. Подробный разбор, что можно и что нельзя отправлять в такие сервисы, у нас в материале что нельзя загружать в нейросеть. Проговорите это с сотрудниками отдельно: чаще всего чувствительные данные вводит не владелец, а менеджер, который просто хотел быстрее ответить клиенту.

Что смотреть в Вебмастере, Метрике и Директе

Ошибки в фактах видны не только в тексте, но и в цифрах сервисов. Это вторая линия обороны: она не заменяет сверку, но показывает, что проверка где-то не сработала. Конкретные места, куда нажимать.

Яндекс Вебмастер. Откройте раздел «Индексирование» → «Страницы в поиске» и переключитесь на вкладку «Исключённые страницы». В фильтре по статусу смотрите строки вида «Малополезная или маловостребованная страница»: если после массовой публикации сгенерированных текстов туда уехал десяток адресов подряд — это сигнал, что материалы вышли пустыми или недостоверными. Затем «Диагностика» → «Диагностика сайта»: там всплывают битые ссылки, которые модель любит придумывать. И «Поисковые запросы» → «Статистика запросов»: если по странице есть показы, но кликов почти нет, заголовок обещает то, чего в тексте нет. Полный обход кабинета — в материале что смотреть в Яндекс Вебмастере.

Яндекс Метрика. Путь: «Отчёты» → «Стандартные отчёты» → «Содержание» → «Популярное». Нажмите на нужный адрес страницы, вверху включите сравнение периодов и сопоставьте месяц до массовой публикации с месяцем после. Смотрите три показателя: время на странице, процент отказов и глубину просмотра. В наших проектах у страниц с непроверенными фактами обычно проседает именно время на странице — читатель натыкается на характеристику, которая не совпадает с фото или ценой, и уходит. Дальше откройте Вебвизор, задайте фильтр по этому адресу и посмотрите 5-10 записей: видно, на каком абзаце люди останавливаются и закрывают вкладку. И проверьте, что заявки вообще считаются, — как это делается, разобрано в материале про цели в Яндекс Метрике.

Яндекс Директ. В кабинете зайдите в список кампаний, включите фильтр по статусу «Отклонено» и прочитайте причину отклонения по каждому объявлению. Тексты, где нейросеть дописала «лучшие цены», несуществующую скидку или гарантию, отсеиваются на модерации регулярно. Второй срез — «Мастер отчётов» с группировкой по объявлениям: если у объявления нормальный CTR, но конверсия и время на сайте плохие, чаще всего цифра в объявлении не совпала с цифрой на странице. Сверяйте пару «объявление — посадочная» по цене, сроку и условиям акции раз в месяц.

И ещё один ориентир для самоконтроля. Ведите журнал переделок: доля материалов, которые пришлось переписать в первый месяц после публикации. В наших проектах нормальным считается 5-15%. Если стабильно выше 20% — процесс проверки не работает, и чинить надо его, а не отдельные тексты. Раз в квартал полезно проходить архив: как это делать системно, показано в материале про ревизию блога и статьи, теряющие трафик.

Типовая ошибка владельца: прочитать «на гладкость»

Самая частая ошибка выглядит безобидно: владелец сам перечитывает черновик и решает, что всё в порядке. Проблема в том, что он читает как редактор, а не как проверяющий: ищет, хорошо ли звучит, а не правда ли это. Гладкий текст усыпляет — ровный ритм воспринимается как признак компетентности. По нашим наблюдениям, чтение «на гладкость» ловит одну-две ошибки из пяти, причём именно те, которые и так были заметны.

Дальше обычно следует второй ход: спросить у того же помощника «а проверь, всё ли тут верно». Ответ приходит уверенный, с подтверждением каждой цифры, и владелец окончательно успокаивается. Это худший из возможных сценариев: текст получил формальную визу, никто его больше не смотрит, а ошибка уходит в печать, в карточки товара и в рекламные объявления одновременно.

Третья часть той же ошибки — проверку поручают автору задания. Человек, который полчаса объяснял модели контекст, читает текст сквозь собственные ожидания и видит там то, что просил, а не то, что написано. Четвёртая — «потом поправим»: материал публикуют с пометкой в голове, что вернутся к нему на неделе. Не возвращаются никогда.

Как переломить это за один раз, без регламентов и найма редактора:

1. Не читайте черновик подряд. Выпишите из него отдельным списком все цифры, сроки, названия и обещания — и работайте со списком. Когда утверждения вырваны из красивого абзаца, они перестают гипнотизировать.
2. Читайте с конца. Начните с последнего абзаца и двигайтесь вверх. Нарушенная связность выключает режим «складно — значит верно», и цифры становятся видны.
3. Один источник — один заход. Сначала прогоните по списку всё, что сверяется с прайсом, потом всё, что сверяется с паспортом изделия. Переключение между источниками съедает больше времени, чем сама сверка.
4. Запишите критерий приёмки. Одна строка: «публикуем, когда каждая цифра в тексте имеет пометку с источником». Без неё проверка всегда останавливается на «вроде нормально».

И честная арифметика. Проверка съедает заметную часть выигрыша от генерации: в наших проектах она обычно занимает 15-30% полного цикла материала. Это нормально — без неё вы экономите на этапе, где никогда не платили, и платите на этапе возвратов и переписки с клиентами. Как считать этот баланс по своим задачам, а не по ощущениям, разобрано в материале о том, сколько на самом деле экономит ИИ.

Регламент на команду: кто проверяет и что фиксируем

Проверка держится не на внимательности, а на процедуре. Пока фактчекинг остаётся личным качеством конкретного сотрудника, он исчезает в первую же горячую неделю. Регламент, который работает в небольшой компании, помещается на одну страницу и состоит из пяти пунктов.

1. Назначьте одного проверяющего на тип материала. Карточки товара — менеджер отдела продаж, он держит прайс в руках ежедневно. Тексты про производство и монтаж — мастер или технолог. Рекламные объявления — тот, кто ведёт кампании. Не «все следят за качеством», а конкретная фамилия напротив типа материала.
2. Заложите время в норматив. Если на карточку отведено 20 минут, из них 5 — на сверку, и это не «если успеем». В наших проектах на текст в 4-5 тысяч знаков закладывают 15-30 минут проверки, на партию из 50 карточек — 2-3 часа.
3. Ведите журнал ошибок. Пять колонок: дата, материал, что было неверно, откуда взялось, что поправили в задании. Через месяц-полтора из журнала видны два-три повторяющихся места — их закрывают правкой шаблона задания, а не усилием воли.
4. Держите шаблоны заданий в одном месте. Отдельный документ, куда сложены задания под каждый тип материала вместе со списком обязательных вводных. После каждой найденной ошибки шаблон дополняется одной строкой запрета.
5. Раз в квартал прогоняйте старые материалы. Цены и сроки меняются, а тексты остаются. Сверять достаточно ту же корзину «наше»: цена, срок, гарантия, состав услуги.

Отдельный блок регламента — правовой, и его лучше написать буквально. Не загружать в нейросеть персональные данные клиентов и сотрудников, договоры, базы контактов и внутренние прайсы; обезличивать кейсы перед разбором. Публиковать фото сотрудников и клиентов, а также отзывы с узнаваемыми приметами — только с их согласия, и это относится и к текстам, которые «просто переписал помощник»: правила о согласии от способа написания не зависят. Как выстроить сбор отзывов, чтобы не собирать лишнего, показано в материале про отзывы: как собирать и отвечать.

Если сгенерированный текст идёт в рекламу — в посевы, к блогерам, в промопосты — он попадает под требования о маркировке: нужен идентификатор erid и передача сведений в ЕРИР. Нейросеть про это не помнит и в черновике маркировку не поставит, поэтому в чек-лист приёмки рекламных материалов пункт вносится вручную. Что именно и в каком порядке передаётся, разобрано в материале про маркировку интернет-рекламы; конкретные формулировки и спорные случаи сверяйте с юристом.