Обработка цитат в ИИ-сводках: почему нейросети искажают чужие слова

Их подготовили с помощью ChatGPT, но в материалах дела они выглядели как настоящие ссылки на прецеденты. В 2023 году суд обязал адвокатов выплатить штраф в 5000 долларов. Этот случай стал наглядным предупреждением: убедительный текст, созданный нейросетью, не обязательно опирается на реальный источник.

Та же проблема возникает в новостных дайджестах и сводках документов. Модель может передать общий смысл статьи, но изменить слова эксперта, убрать оговорку или приписать человеку вывод, которого он не делал. Чтобы понять, почему так происходит, полезно различать пересказ и цитирование. Пересказ допускает новую формулировку. Цитата обещает точность. И именно это обещание ИИ-система может нарушить, даже если сводка звучит гладко.

Плавность важнее дословности

Языковая модель обычно не ищет готовое предложение в статье и не переносит его в ответ. Она генерирует текст, последовательно выбирая токены на основе контекста и вероятностей. Это помогает ей создавать связные ответы, но само по себе не гарантирует точного воспроизведения источника.

Ненулевая вероятность слова не означает, что модель обязательно его выберет. На генерацию влияют контекст, настройки и способ декодирования. Но общий риск остаётся: если задача сформулирована как составление сводки, система стремится выдать связный текст, а не обязательно сохранить каждую формулировку дословно. Иногда она пересказывает цитату, иногда смешивает близкие по смыслу фрагменты, а иногда создаёт фразу, которая подходит к контексту, но отсутствует в исходнике.

Это особенно заметно, когда исходный материал неровный: в нём есть повторы, оговорки, сложные термины или несколько похожих высказываний. Человек при редактировании тоже может сглаживать речь, но редактор видит перед собой конкретный текст и способен вернуться к нему. Генеративная модель может продолжить фразу на основании уже созданного контекста. Поэтому с каждым новым предложением важно отдельно проверять, к какому фрагменту источника оно относится.

Правдоподобная формулировка ещё не подтверждает, что человек произносил именно эти слова.

В суммаризации есть несколько разных задач, которые легко спутать. Система может извлекать предложения из источника, пересказывать их своими словами или отвечать на вопрос по содержимому документа. Если пользователь просит кратко изложить статью, модель вправе переформулировать. Если просит привести прямую цитату, требования другие: фрагмент должен совпадать с первоисточником, а источник должен быть установлен.

Поэтому просьба «сделай короткую сводку с цитатами» объединяет две задачи с разными критериями качества. Модель должна и сжать текст, и сохранить точные слова, и не потерять автора высказывания. Если система не отделяет извлечённый фрагмент от пересказа, результат может выглядеть как цитирование, хотя на деле это свободная реконструкция.

Несколько документов и выводы между строк

Для новостного дайджеста одной статьи часто недостаточно: материалы собирают из нескольких публикаций, где могут обсуждаться одни события, но с разными деталями и акцентами. При многодокументной суммаризации модель должна сопоставить сведения, решить, какие из них относятся к общей теме, и написать единый текст. На каждом шаге возникает риск смешения источников.

Например, одна публикация сообщает, что представитель компании прокомментировал решение регулятора. Другая описывает само решение. В сводке эти две линии могут соединиться в фразу, будто представитель объяснил конкретные причины решения, хотя в его комментарии их не было. Это не обязательно выдумка с нуля. Иногда модель делает вывод, который кажется логичным, но не подтверждён ни одной из статей.

В исследованиях суммаризации такие ошибки описывают как неподтверждённые выводы или добавления. Их сложнее заметить, чем явно неверное имя или дату: фраза согласуется с общим контекстом, но источники не подтверждают её в таком виде. Особенно уязвимы пересказы диалогов и интервью. Если собеседник говорит о нескольких связанных обстоятельствах, модель может превратить общий смысл ответа в короткую, якобы дословную реплику.

Уверенность тона здесь мало помогает. Текст может быть аккуратным, логичным и даже сопровождаться ссылкой на статью. Ссылка показывает, где искать подтверждение, но не доказывает, что конкретная фраза действительно там есть. Для точной цитаты нужно открыть первоисточник, найти соответствующий фрагмент и сверить слова, автора и контекст.

В бенчмарках многодокументной суммаризации встречаются высокие доли неподтверждённых утверждений. В отдельных оценках они доходили до 75% сгенерированного контента. Такие результаты не следует переносить на любую модель, любую тему или каждый дайджест: оценка зависит от набора данных и способа проверки. Но сам масштаб в некоторых тестах показывает, почему одной беглой проверки связности недостаточно.

Практически полезно различать три вида проблем:

• Искажение формулировки. Смысл высказывания примерно сохранён, но оно оформлено как точная цитата, хотя слова изменены.
• Смешение источников. Деталь из одного документа приписана автору или герою другого.
• Неподтверждённое дополнение. Модель связала факты выводом, которого в источниках нет.

Это различие помогает исправлять сводку предметно. В первом случае нужно убрать кавычки или заменить фразу точной цитатой. Во втором требуется восстановить источник каждого утверждения. В третьем вывод следует удалить либо явно обозначить как интерпретацию, если она уместна и подкреплена материалом.

Что показывает проверка CiteME

Бенчмарк CiteME оценивает, насколько хорошо языковые модели воспроизводят цитаты и связывают их с источниками. В описанных результатах точность моделей находилась в диапазоне от 4,2% до 18,5%; для человеческих разметчиков на тех же данных приводилось значение 69,7%. Эти показатели относятся к условиям конкретной оценки. Их нельзя трактовать как универсальную вероятность ошибки для любой цитаты или любой ИИ-сводки.

Тем не менее разрыв важен для редакционной практики. Он напоминает: кавычки в сгенерированном ответе не служат доказательством дословности. Модель может выдать корректную цитату, но сама форма ответа не позволяет установить, так ли это. Проверка начинается с первоисточника, а не с уверенности, с которой фраза написана.

Если сводка содержит ссылку, стоит проверить не только наличие страницы, но и конкретное соответствие. Совпадает ли текст цитаты? Тому ли человеку приписана реплика? Не обрезана ли оговорка, которая меняет смысл? Иногда цитата точна по словам, но вырвана из контекста: например, из ответа с условием или из описания ограничений исследования. Дословность сама по себе ещё не гарантирует корректного представления позиции.

Такая проверка особенно важна в редакционной работе, где фрагмент может перейти из сводки в публикацию, а затем начать жить отдельно от исходного материала. Ошибка, которая была незаметна в черновой заметке, превращается в ложное свидетельство, если читатель видит слова в кавычках и считает их точной репликой.

В случае дайджеста о цифровых услугах, например, важные утверждения всё равно стоит сверять с первоисточником, как и при проверке платёжных сервисов. Наличие ссылки полезно, но не заменяет чтение страницы: она может вести на материал, где нужного подтверждения нет или где вывод сформулирован с оговорками.

Mata v. Avianca: ошибка, которая дошла до суда

В деле Mata v. Avianca клиент подал иск к авиакомпании Avianca. Его представляли адвокаты, которые использовали ChatGPT при подготовке судебных материалов. В документе оказались ссылки на несуществующие решения и цитаты, которые не соответствовали реальным судебным текстам. Когда их достоверность поставили под вопрос, выяснилось, что представленные материалы были вымышленными.

Суд назначил адвокатам штраф в 5000 долларов. Этот эпизод важен не потому, что он установил универсальное правило для всех юристов или всех пользователей нейросетей. Он показывает более простую вещь: ответственность за документ, поданный от имени профессионала, остаётся на том, кто его подготовил и представил. Генератор текста не становится источником права только потому, что умеет оформлять ответ в юридическом стиле.

Из этого дела нельзя заключить, что после него во всех юрисдикциях появились новые обязательные требования проверять любые цитаты, созданные ИИ. Подтверждённый вывод уже: в конкретном судебном процессе вымышленные решения и цитаты привели к последствиям для адвокатов, которые использовали их без достаточной проверки. Этого достаточно, чтобы относиться к юридическим ссылкам и цитатам как к материалу, требующему отдельного подтверждения.

История также помогает увидеть разницу между ссылкой и доказательством. В вымышленном документе упоминались названия дел и приводились выдержки, оформленные как судебные цитаты. Само наличие такой структуры не превращало их в подлинные источники. Любую ссылку на решение нужно проверять по надёжной базе или документу суда, а сам фрагмент сверять с текстом решения. Если источник не находится, цитату нельзя сохранять как установленный факт.

Как исчезают оговорки в научных сводках

Цитаты могут искажаться не только через выдуманные слова. При сжатии научного текста система способна убрать ограничения, от которых зависит смысл вывода. В исходной работе результат может относиться к определённой выборке, условиям эксперимента или измеряемому показателю. Сводка оставляет только короткое утверждение, и осторожный результат начинает выглядеть как общий закон.

Например, авторы могут описывать наблюдение, сделанное в конкретных лабораторных условиях, и отдельно отмечать, что его нужно проверять на других группах. В кратком пересказе остаётся формулировка о том, что условие повлияло на показатель. Она звучит яснее и короче, но уже не сообщает, где именно получен результат и насколько широко его можно применять.

В некоторых оценках научной суммаризации для ряда моделей и заданий сообщалось о сверхобобщении: оговорки терялись в заметной доле ответов, а приводимые показатели различались от 26% до 73%. Этот диапазон не описывает все научные сводки и не позволяет предсказать качество конкретного ответа. Он указывает на типичный риск, который редактор должен учитывать: краткость может скрыть границы применимости вывода.

Особенно важны слова, которые выглядят второстепенными: «в этой выборке», «при таких условиях», «может быть связано», «необходимы дополнительные исследования». Удаление одного из них иногда меняет степень уверенности, причинность или область действия вывода. Поэтому сохранение точных цитат нейросетями связано не только с кавычками. Важно ещё и не превращать осторожное научное утверждение в категоричное.

Экстрактивная суммаризация снижает часть рисков, потому что выбирает фрагменты оригинала, а не переписывает их. Но она не решает всё: извлечённое предложение тоже можно подать без важного контекста, соединить с чужим фрагментом или снабдить неверной атрибуцией. Генеративная суммаризация удобна для связного текста, однако её результат требует проверки там, где точность формулировки имеет значение. Ни один из этих подходов не освобождает от редакторской оценки.

Проверять нужно не только кавычки

Для обычной внутренней заметки достаточно обозначить, что перед читателем пересказ. Для публикации, юридического документа или научного обзора требования выше: цитату нужно сверить дословно, а ключевые выводы сопоставить с источником. Универсальный алгоритм, который гарантировал бы стопроцентную точность любой цитаты во всех системах и контекстах, неизвестен. При этом существуют инструменты и рабочие процессы, помогающие искать совпадения и сопоставлять утверждения с документами. Их результат тоже нуждается в оценке.

В редакционной работе полезно выстроить простую последовательность. Сначала определить, какие фрагменты сводки являются прямыми цитатами, а какие пересказывают смысл. Затем проверить цитаты по исходному материалу. После этого отдельно пройтись по именам, должностям, датам, числам и причинно-следственным связям. В научных текстах к этому добавляется проверка условий и ограничений исследования.

Если фрагмент нельзя найти в первоисточнике, его не следует оставлять в кавычках только потому, что он звучит убедительно. Можно переписать его как осторожный пересказ, если общий смысл действительно подтверждается текстом, или удалить. Если имя автора высказывания неизвестно, не нужно приписывать ему слова по косвенным признакам. А если источники расходятся, лучше показать расхождение, чем склеивать их в гладкое, но неподтверждённое утверждение.

Просьба к модели сохранить цитаты дословно может помочь задать формат, но не заменяет сверку. То же относится к просьбе указывать источник после каждого предложения. Такие инструкции могут сделать ответ удобнее для проверки, но сами по себе не доказывают, что цитата существует или что ссылка ведёт к нужному месту.

В новостном дайджесте особенно важно отделять голос автора материала от голоса источника. Кавычки сообщают читателю, что перед ним слова, которые можно проверить буквально. Пересказ сообщает, что редакция передаёт смысл своими словами. Когда эти режимы смешиваются, читатель не может понять, где заканчивается источник и начинается работа модели.

Поэтому самый надёжный редакционный вопрос звучит не «похоже ли это на правду?», а «какой именно фрагмент источника подтверждает эту формулировку?». Для цитаты ответом должны быть совпадающие слова. Для пересказа нужны подтверждённые факты и сохранённые оговорки. Если доказательства нет, гладкость текста ничего не исправит. Именно так стоит подходить к обработке цитат в ИИ-сводках: использовать скорость модели, но не передавать ей право решать, что именно человек якобы сказал.