Экстрактивная или абстрактивная суммаризация: выбор для дайджеста

«Мне нужен дайджест, который читается за минуту, но которому можно верить. Что выбрать — экстрактивную или абстрактивную суммаризацию?» Если перевести этот вопрос с корпоративного на человеческий, он звучит так: мы хотим, чтобы машина не заставляла нас продираться через двадцать одинаковых новостей, но и не подсовывала в удобной красивой упаковке факт, которого нигде не было.

И вот тут начинается самое интересное. Экстрактивная и абстрактивная суммаризация решают одну задачу — сжать поток информации до внятного дайджеста, — но ведут себя как два очень разных помощника. Один аккуратно вырезает нужные фрагменты из исходников. Второй пересказывает их своими словами. Первый порой говорит тяжеловато, зато его проще проверить. Второй умеет сделать гладко и коротко, но с ним нужен отдельный разговор о точности.

Я бы не выбирала метод по принципу «этот современнее». Для новостного дайджеста важнее другое: что именно читатель должен получить на выходе, как быстро редакция способна проверять результат и насколько болезненна здесь даже одна неверная деталь.

Извлечение против генерации: что происходит с текстом

Экстрактивная суммаризация выбирает из документа предложения или фрагменты, которые алгоритм считает самыми содержательными. Условно говоря, система раскладывает длинную статью на кухонном столе, отмечает маркером ключевые места и складывает их в короткую выжимку. Формулировки остаются авторскими — со всеми их достоинствами и неловкими углами.

Абстрактивная суммаризация работает иначе. Она пытается понять содержание исходника и сформулировать главную мысль заново: короче, связнее, без повторов. Именно такой текст обычно кажется «человечнее»: вместо трёх цитат из пресс-релиза читатель получает одно нормальное предложение о том, что произошло и почему это имеет значение.

На пальцах разница выглядит так:

У экстрактивного подхода есть репутация «безопасного», и это полезная, но неполная правда. Да, он не сочиняет формулировки с нуля. Но если исходная новость уже ошибочна, алгоритм честно донесёт ошибку дальше. А если он вытащит из длинного текста эффектную фразу без соседнего уточнения, смысл может поехать так же ловко, как крышка у контейнера с супом в рюкзаке.

Абстрактивный метод, наоборот, не надо заранее записывать в ненадёжные. Он прекрасно справляется там, где нужно убрать дубли, связать несколько публикаций в один сюжет и объяснить человеческим языком, что общего у пяти сообщений о событии. Подводные камни появляются, когда гладкость текста начинают путать с его доказанностью.

Чем свободнее система обращается с формулировками, тем строже должен быть её маршрут обратно к источнику.

Почему абстрактивный дайджест может звучать убедительнее, чем должен

Главная проблема абстрактивных моделей — фактическая согласованность с исходным текстом. Исследования регулярно показывают одну неприятную вещь: автоматически созданная сводка может быть очень похожа на правду по тону, логике и даже деталям, но при этом противоречить источнику или добавлять в него то, чего там не было.

Это не обязательно выглядит как громкая нелепость вроде «компания запустила ракету на Марс». Гораздо чаще ошибка тихая и потому опасная:

• система меняет «рассматривает возможность» на «приняла решение»;
• переносит характеристику одного участника на другого;
• склеивает два похожих события, которые произошли в разные дни;
• превращает оценку эксперта в установленный факт;
• теряет условие, ограничение или оговорку;
• называет точную причину там, где источник описывал лишь совпадение во времени.

Для новостного дайджеста это особенно чувствительно. Читатель приходит не за литературной обработкой новостей, а за тем, чтобы быстро понять картину дня. Если в коротком тексте неверно названа компания, цифра, дата, география или последовательность событий, исправить это потом труднее: ошибка уже получила скорость и компактную форму.

Я проверила бы абстрактивную систему прежде всего на сущностях: людях, организациях, продуктах, местах, суммах, сроках. Именно на них чаще всего ломается доверие. «Компания расширяет линейку» — расплывчато, но хотя бы не обязательно неверно. «Компания X запускает продукт Y в мае» — полезно, конкретно и требует железной опоры в источнике.

Есть и хорошая новость: ошибками можно управлять, а не просто надеяться, что конкретная модель сегодня в настроении быть аккуратной. В экспериментах с компрессионным постредактированием абстрактивных сводок точность сущностей на наборе XSum удавалось повысить до 30 процентных пунктов, а в сочетании с другим постредактором — суммарно до 38 пунктов. Но, пожалуйста, не превращаем экспериментальный результат в рекламную наклейку «точность повышена навсегда». Это направление работы, а не универсальная гарантия для любого языка, модели и новостного потока.

Когда экстрактивный подход выигрывает без всякой романтики

Экстрактивная суммаризация особенно хороша там, где редакция не имеет права «чуть-чуть интерпретировать». Например, в дайджестах по регулированию, финансовым результатам, судебным решениям, заявлениям чиновников, техническим инцидентам и кризисным новостям.

Здесь лучше получить слегка угловатую, но легко проверяемую выжимку, чем безупречный по ритму пересказ, который ненароком заменил один модальный глагол другим. Разница между «может повлиять» и «повлияет» в новостях иногда стоит дороже, чем весь красивый интерфейс сервиса.

Экстрактивный метод я бы выбрала, если:

1. Нужна быстрая публикация с понятным следом к первоисточнику. Редактору проще открыть исходную статью и увидеть, откуда взялось каждое предложение в карточке дайджеста.

2. Материалы полны точных параметров. Цены, даты запуска, проценты, составы участников, юридические формулировки — всё это лучше не заставлять модель пересказывать без дополнительного контроля.

3. Входной текст уже хорошо написан. Если новость короткая, структурная и без словесного тумана, вынимать из неё главное часто разумнее, чем заново изобретать фразу.

4. Дайджест должен показывать тон источника. Прямая цитата или близкая к ней формулировка иногда важнее нейтрального пересказа: особенно когда речь идёт о позиции компании, ведомства или эксперта.

5. Нет полноценного редакторского контура. Если результаты уходят читателю почти автоматически, консервативный метод обычно спасает от лишних сюрпризов.

Но давайте без иллюзий: экстрактивный дайджест тоже может быть плохим. Он легко превращается в корзину случайных цитат, где каждое предложение формально важное, а общей мысли нет. Так бывает, когда алгоритм оценивает фразы по частотности слов или положению в тексте, но не понимает, какая деталь действительно меняет картину.

Хороший экстрактивный дайджест не просто вытаскивает «самое заметное». Он сохраняет минимально достаточный контекст: кто сделал что, когда, в каком статусе и с какими оговорками.

Где абстрактивная суммаризация делает дайджест лучше

Абстрактивный метод нужен не для того, чтобы эффектно показать ИИ в витрине. Он полезен, когда исходников много, они повторяют друг друга и читателю требуется не набор цитат, а собранная картина.

Типичная ситуация: утром пять изданий сообщили об одном и том же обновлении продукта. В первом тексте есть заявление компании, во втором — реакция рынка, в третьем — детали для пользователей, в четвёртом — история предыдущих версий, в пятом — комментарий конкурента. Экстрактивная система с высокой вероятностью принесёт вам пять предложений, в которых событие будет повторено несколько раз. Абстрактивная может сказать: «Компания представила обновление; рынку важна такая-то функция, а пользователям — такие-то ограничения». И это уже похоже на дайджест, а не на папку «прочитать потом».

Исследовательская практика описывает краткую новостную сводку как формат из двух-трёх ключевых предложений. Не как обязательный стандарт, конечно: новость новости рознь. Но это хороший ориентир для редакционной дисциплины. Если карточка не помещает суть события в несколько фраз, проблема может быть не в лимите символов, а в том, что система не решила, что здесь главное.

Абстрактивная суммаризация оправдана, когда нужно:

• убрать повторяющиеся детали из десятков сообщений;
• объяснить событие для читателя, который не живёт внутри отраслевого жаргона;
• объединить новость, предысторию и последствия в один связный абзац;
• привести к одному стилю материалы, пришедшие из очень разных источников;
• подготовить несколько уровней сжатия: заголовок, карточку, расширенную сводку.

Но многодокументный режим — это не волшебная кастрюля, куда можно бросить все ссылки и ждать суп. Распространённый технический приём — склеить все публикации в один большой документ, а потом попросить модель сделать резюме. Проблема в том, что такой подход сам по себе не понимает относительную важность источников. Официальное заявление, заметка очевидца, перепечатка и старая справка могут оказаться для модели просто соседними кусками текста.

Я бы настраивала такую систему не с вопроса «сколько статей она проглотит», а с вопроса «каким источникам она имеет право доверять больше». Иначе в дайджесте победит не самая точная публикация, а самая длинная, самая ранняя в списке или просто удачно сформулированная. Корпоративная бюрократия обожает называть это «агрегацией контента», но читателю от такого термина не легче.

В многодокументном дайджесте нужно суммировать не объём текста, а согласованную картину события.

ROUGE считает похожесть, а не правду

Здесь обычно появляется метрика ROUGE — старый знакомый всех, кто сравнивает методы суммаризации. Упрощённо она оценивает, насколько слова или фрагменты автоматической сводки совпадают с эталонной, написанной человеком. Для измерения близости формулировок это полезно. Для проверки фактов — недостаточно.

Можно собрать сводку с хорошим показателем ROUGE и всё равно перепутать исполнителя действия, дату или причинно-следственную связь. Метрика не обязана ловить такие вещи: она не создавалась для роли редактора-фактчекера.

Это похоже на проверку брендовой вещи по красивой упаковке: совпадение шрифтов ещё не означает подлинность. В бытовых покупках помогает, например, проверка подлинности брендовой одежды по QR-коду «Честного ЗНАКа»; в дайджестах нужен свой «код подлинности» — возможность сопоставить каждое существенное утверждение с доказательством в источнике.

Не существует одного числа, после которого можно расслабиться и сказать: «Всё, дайджест фактически точен». Тем более для длинных материалов. У метрик оценки фактичности есть ограничения по длине входного текста, а на информационно плотных утверждениях их надёжность может заметно снижаться. Даже семантически эквивалентные формулировки разные системы оценки способны оценивать нестабильно.

Поэтому я бы смотрела на качество в два слоя:

• похожа ли сводка на хороший редакционный текст;
• можно ли подтвердить каждое значимое утверждение исходниками.

Первый слой отвечает за удобство читателя. Второй — за репутацию продукта. Нельзя заменить один другим, как нельзя назвать зонт заменой крыши: оба защищают, но от разного.

Как проверять абстрактивный текст, не превращая работу в наказание

Самый понятный подход к верификации — вопрос–ответ. Мы берём утверждения из готовой сводки и задаём по ним вопросы одновременно сводке и исходному документу: кто? что произошло? когда? где? при каких условиях? Сопоставляем ответы. Если сводка уверенно говорит «сделка завершена», а источник отвечает лишь «стороны начали переговоры», система должна отправить фразу на пересмотр.

На этом принципе построен исследовательский метод QAGS. Он показал более высокую корреляцию с человеческими оценками фактической согласованности, чем ряд других автоматических метрик, рассмотренных авторами. И это, на мой взгляд, очень здоровая логика: не пытаться угадать качество текста одним абстрактным баллом, а спрашивать его по существу.

Для рабочего новостного продукта я бы выстроила процесс так:

1. Сначала разметить источники по роли. Официальное сообщение, первичное интервью, надёжная редакционная публикация, перепечатка, комментарий — это не равные куски контекста. Модель должна видеть различие.

2. Затем извлечь фактический каркас. Событие, участники, время, место, числа, статус решения, ограничения. Именно этот каркас становится опорой для абстрактивного пересказа.

3. Попросить модель писать только из опоры. Не «сделай умную сводку», а «сформулируй текст, не добавляя причин, оценок и деталей, которых нет в подтверждённых фрагментах». Формулировка запроса здесь не магия, но хороший поводок.

4. Проверить сущности и глаголы действия. Фамилии, названия, суммы и даты — первая линия контроля. Вторая — слова «запустила», «одобрила», «отменила», «обвинила», «подтвердила». Именно в этих глаголах часто прячется подмена статуса события.

5. Отправить сомнительные фразы на переписывание или человеку. Не все предложения требуют ручной вычитки. Но если система не может показать подтверждающий фрагмент, ей не стоит публиковать утверждение с уверенным видом.

6. Хранить связку «тезис — источник». Даже если читатель видит только чистую карточку, редакция должна уметь за секунды ответить: откуда взялась эта строка. Это полезнее любой красивой панели с процентами.

Постобработка здесь тоже работает на нас. После генерации текст можно дополнительно сжимать, убирать неподтверждённые сущности, заменять слишком категоричные формулировки на точные. Важно не путать такую правку с косметическим макияжем: её задача не сделать абзац милее, а снять с него то, за что источник не готов поручиться.

Так что выбрать для новостного дайджеста

Если выбирать один метод навсегда, ответ получится нечестным. Экстрактивная или абстрактивная суммаризация для дайджестов — не религиозный спор и не конкурс технологий. Это выбор редакционной ответственности.

Для оперативных, чувствительных и формально значимых новостей я бы брала экстрактивный слой за основу: он даёт проверяемость и не заставляет угадывать, где кончается источник и начинается фантазия алгоритма.

Для больших потоков повторяющихся публикаций, объясняющих форматов и персональных рассылок — абстрактивный, но только с фактическим каркасом, приоритетом источников и автоматической проверкой ключевых утверждений. Идеальный рабочий вариант часто гибридный: система сначала находит опорные фрагменты, потом собирает из них короткий человеческий пересказ, а затем проходит по нему вопросами.

Мой практический лайфхак простой: не просите сервис «сделать кратко». Просите его ответить за каждую короткую фразу. Когда у дайджеста есть не только хороший ритм, но и понятная дорога назад к источнику, он действительно начинает экономить читателю время — а не просто красиво маскировать неопределённость.