Суммаризация подкастов: точность распознавания речи и выделения тезисов
Главный вывод: качество суммаризации подкастов ограничивается качеством транскрипции. Для моделей уровня Whisper Large на подготовленной студийной речи Word Error Rate, или WER, составляет около 2–3%; в отдельных условиях показатель достигает 3–6%.
На естественных подкастах с несколькими говорящими, акцентами и разговорным темпом WER поднимается до 8–15%, а при фоновом шуме и наложении голосов — примерно до 16%.
Эти значения нельзя напрямую переносить на точность итогового конспекта. Они показывают объём ошибок, поступающих на следующий этап пайплайна. При этом сами ошибки имеют разную цену: пропуск междометия увеличивает WER, но редко меняет тезис; неверно распознанное отрицание способно изменить смысл всего вывода.
| Условия | Показатель | Что показывает |
|---|---|---|
| Подготовленная речь одного диктора | WER около 2–3%, в ряде замеров 3–6% | Базовый уровень ошибок распознавания слов |
| Естественный разговорный подкаст | WER 8–15% | Влияние спонтанной речи, акцентов, перебиваний и шума |
| Шумные записи с наложением голосов | WER около 16% | Предельный сценарий для Whisper Large V3 в исследованных сложных условиях |
| Тест на 800 сегментах подкастов | Средний WER 9,2%, HEWER 1,4% | Различие между числом словесных ошибок и их смысловым эффектом |
Цифры относятся к разным наборам данных и условиям. Прямое сравнение строк таблицы даёт масштаб, а не единый рейтинг систем.
ASR задаёт исходные условия для всей суммаризации
Расшифровка аудио в текст выполняется на первом этапе. Дальше система работает с транскрипцией: извлекает темы, формулирует тезисы, объединяет фрагменты и создаёт краткое содержание. Если исходный текст уже искажён, последующие этапы обычно трактуют его как достоверный источник.
Стандартная формула WER выглядит так:
WER = (S + D + I) / N
где S — число заменённых слов, D — пропущенных, I — добавленных моделью, а N — количество слов в эталонной расшифровке. Метрика показывает, сколько ошибок ASR приходится на единицу эталонного текста. Она не распределяет ошибки по последствиям.
На студии речь обычно отличается следующими параметрами:
- один говорящий;
- заранее известная тема;
- ограниченный словарный запас;
- стабильная громкость;
- отсутствие одновременной речи;
- отсортированные вопросы и тезисы.
На подкасте эти условия разрушаются. Один человек перебивает другого, меняет тему без предупреждения, произносит имена и термины впервые, смешивает русскую речь с английскими названиями. Фоновый звук, музыка и разная громкость ухудшают сегментацию. В результате модель чаще ошибается не в обычных словах, а в именах собственных, числах, отрицаниях и границах предложений.
Почему отдельные ошибки важнее других
Слова-паразиты и звуки вроде пауз создают статистический шум. Их пропуск увеличивает WER, хотя текст остаётся пригодным для выделения тезисов. С ошибкой в названии компании, методе, единице измерения или позиции спикера ситуация другая. Такая ошибка проходит через LLM как достоверная информация и может закрепиться в итоговом пересказе.
Особенно уязвимы:
1. Имена собственные и бренды. Ошибка нередко превращается в правдоподобный, но неверный термин после сглаживания формулировки.
2. Отрицания. Потеря частицы «не» переворачивает рекомендацию, условие или вывод.
3. Числа и единицы измерения. Меняются оценки, суммы, доли и временные рамки.
4. Границы говорящих. Тезис одного участника может быть приписан другому.
5. Пропуск фрагмента. Модель получает неполный логический контекст и восстанавливает его по языковым шаблонам.
Современные LLM не исправляют такие ошибки системно. Если модель получает только транскрипт, у неё нет надёжного способа вернуться к исходному звуку и проверить, что было сказано фактически.
Ошибки ASR переходят в итоговые тезисы
Распространение ошибок можно описать как цепочку. На каждом этапе потеря части исходного смысла делает следующий шаг менее определённым.
1. Распознавание речи. Модель превращает неуверенный звук в конкретное слово или числовую последовательность.
2. Постобработка. Опечатка исправляется только по контексту и словарю. Если термин неизвестен, система часто оставляет его без изменений.
3. Подготовка текста для LLM. Абзацы группируются, реплики связываются, таймкоды сопоставляются с сегментами.
4. Извлечение тезисов. Языковая модель ранжирует фрагменты по смысловой весомости и создаёт сокращённую версию.
5. Синтез. Несколько тезисов объединяются в связный текст, где исходная ошибка может приобрести новую форму.
Удалённый из аудио смысл уже не восстановить по транскрипции: языковая модель работает с ошибочным текстом как с источником истины.
Механизм error propagation особенно заметен на категорических высказываниях. Если в исходном подкасте утверждение было отвергнуто, а ASR потерял отрицание, LLM получает внешне гладкий тезис без признака сомнения. Финальный текст может быть стилистически безупречным и содержать противоположный смысл.
| Ошибка распознавания | Проявление после суммаризации | Риск |
|---|---|---|
| Неверный термин или имя | Название заменено другим названием | Ложная фактическая деталь |
| Потерянное отрицание | Возражение превращено в рекомендацию | Противоположный итоговый вывод |
| Ошибка в числе | Изменены сумма, доля или единица | Искажённая оценка |
| Неверная атрибуция реплики | Тезис приписан другому участнику | Неверный автор мнения |
| Пропуск фрагмента | Модель достраивает логическое продолжение | Неподтверждённый вывод |
Отсюда следует правило для любых сравнительных тестов: оценивать нужно не только читаемость конспекта. Каждый числовой результат следует связывать с исходным тезисом и временным фрагментом. Красивое резюме может скрывать ошибку распознавания.
WER, HEWER и качество суммы измеряют разные объекты
В марте 2024 года был опубликован тест, в котором сопоставлялись стандартный WER и HEWER, или Human Evaluation WER. На выборке из 800 сегментов подкастов средний WER составил 9,2%. Доля критических смысловых ошибок, оцененная людьми, оказалась значительно ниже: 1,4%.
Разрыв между 9,2% и 1,4% показывает распределение ошибок. В подкасте много слов, которые можно пропустить без изменения тезиса. Но небольшая доля критических ошибок способна перевернуть отдельный вывод. Именно эта часть опасна для суммаризации.
WER показывает объём ошибок в словах. HEWER показывает цену ошибок для смысла. Итоговое качество конспекта требует отдельной проверки утверждений.
Что показывают основные метрики
| Метрика | Объект оценки | Полезная сторона | Ограничение |
|---|---|---|---|
| WER | Последовательность слов | Показывает общую точность транскрипции | Приравнивает междометия и ошибки в ключевых сущностях |
| HEWER | Критические смысловые ошибки | Отделяет косметические дефекты от содержательных | Требует человеческой оценки и не измеряет весь итоговый конспект |
| ROUGE-1 | Пересечение однословных фрагментов | Оценивает лексическое пересечение с эталоном | Слабо различает фактическую верность |
| ROUGE-2 | Пересечение двухсловных фрагментов | Учитывает локальные формулировки | Не проверяет отрицания и логические связи |
| ROUGE-L | Наибольшая общая подпоследовательность | Учитывает порядок слов | Остаётся зависимой от референсного текста |
| BERTScore | Семантическая близость | Допускает перефразирование | Не гарантирует поддержку каждого факта |
Показатель 1,4% HEWER нельзя читать как готовую точность итоговой суммаризации на 98,6%. Он характеризует только критические ошибки распознавания в конкретной выборке. После транскрипции могут появиться собственные ошибки отбора тезисов, их объединения и генерации.
Есть ещё одно ограничение. Единого общепринятого WER-стандарта для русскоязычных разговорных подкастов пока нет. Большинство сопоставимых бенчмарков используют английский язык. Точная статистическая связь между ростом WER и падением ROUGE или BERTScore в современных LLM-пайплайнах также не установлена. Следовательно, формула «каждый процент ошибок ASR снижает точность суммаризации на X процентов» не имеет эмпирического основания.
Экстрактивная и генеративная суммаризация решают разные задачи
В 2020 году была опубликована архитектура PodSumm для экстрактивной суммаризации подкастов. Модель выбирает ключевые фрагменты из транскриптов, а не генерирует новое описание. На представленных бенчмарках её результаты составили:
- ROUGE-1: 0,63;
- ROUGE-2: 0,53;
- ROUGE-L: 0,63.
Эти показатели подтверждают способность специализированной системы находить релевантные фрагменты. Они не являются прямой оценкой современных LLM-сервисов и не переносятся автоматически на русскоязычные подкасты. Но они задают полезную точку сравнения: извлечение текста и генерация текста имеют разные профили ошибок.
| Параметр | Экстрактивный подход | Генеративный подход через LLM |
|---|---|---|
| Источник тезисов | Готовые фрагменты транскрипции | Сгенерированная формулировка |
| Зависимость от ASR | Прямая | Прямая |
| Риск добавления фактов | Ниже, поскольку текст копируется | Выше: модель может связать и дополнить факты |
| Риск искажения | Неверный термин переносится из транскрипции | Неверный термин может быть дополнительно сглажен или усилен |
| Полнота контекста | Ограничена длиной выбранных фрагментов | Может объединить несколько частей беседы |
| Связность | Зависит от исходной речи | Обычно выше |
| Проверяемость | Легче связать тезис с исходным отрезком | Требуется отдельное сопоставление утверждений с транскриптом |
| Главный тип ошибки | Пропуск важного фрагмента | Добавление, смешение или логическое переплетение тезисов |
Экстрактивный подход не устраняет плохую транскрипцию. Если ASR неверно распознал имя, система скопирует ошибку. Зато генеративная модель способна превратить её в правдоподобную формулировку, которую сложнее заметить при чтении.
Генеративный подход лучше справляется с длинными интервью, где тезис одного спикера опирается на реплику другого. Он также нормализует разговорную речь: убирает повторы, собирает тему и формирует краткое резюме. Цена этого преимущества — появление новых смысловых связей, которых нет в исходной речи.
Рабочий компромисс строится из трёх слоёв:
1. Экстрактивная модель находит фрагменты-кандидаты.
2. LLM объединяет их в связный пересказ без добавления новых фактов.
3. Проверка по таймкодам сверяет имена, числа, отрицания и принадлежность тезисов говорящим.
Такой контур сохраняет опорную цитату из расшифровки и добавляет генеративную связность. Он сложнее обычного запроса к модели, зато даёт проверяемый результат.
Как сравнивать сервисы без подмены метрик
Сравнение суммаризаторов начинается с состава тестового набора. Один и тот же сервис может показывать разные результаты на студийной записи, интервью с пересечениями реплик и подкасте с плохой акустикой. Для проверки нужны отдельные срезы.
1. Разделять ошибки транскрипции и ошибки резюме
Результат каждого теста следует разложить на три уровня:
- точность исходной транскрипции;
- качество отбора тезисов;
- точность итоговой формулировки.
Иначе невозможно определить, где возникло искажение. Модель может выбрать слабый фрагмент из точной расшифровки либо исправить общую структуру, оставив ошибочный термин.
2. Проверять ошибки отдельно по типам
Для подкастов важен не только общий WER. Регулярный аудит должен фиксировать:
- неверные имена, продукты, компании и географические названия;
- искажённые числа, проценты, даты и единицы;
- пропущенные или добавленные отрицания;
- перепутанные реплики и роли участников;
- пропущенные тезисы, к которым в итоговом тексте добавили пояснение.
Средние 8–15% WER на естественных подкастах сами по себе не означают, что в итоговом конспекте искажено 8–15% содержания. Структура ошибок важнее их количества.
3. Сверять каждый тезис с исходным фрагментом
Проверка должна возвращаться к таймкоду или звуковому отрезку. Для каждого итогового утверждения фиксируются три состояния:
| Состояние тезиса | Что обнаружено | Как исправлять |
|---|---|---|
| Подтверждён | Смысл соответствует исходному фрагменту | Оставить |
| Уточнено | Формулировка изменила акцент или грамматику | Сопоставить с исходным смыслом |
| Не подтверждён | Утверждение отсутствует, искажено или противоречит источнику | Удалить или пересобрать |
Такой аудит обнаруживает галлюцинации, которые не видны по WER, ROUGE или BERTScore.
4. Сопоставлять архитектуру с задачей
Для чистой записи одного диктора цепочка ASR → LLM обычно достаточна. Для интервью с большим числом тезисов оправдана гибридная схема с извлечением и проверкой. Для выпусков, где важны точные формулировки, числа и роли участников, требуется аудит по таймкодам.
Объявленная точность сервиса без состава теста, языка, условий записи и типа подсчёта ошибок не является характеристикой продукта. Заявления о почти стопроцентной точности в реальных условиях не следуют из студийных результатов.
Вердикт
Точность распознавания речи задаёт потолок для суммаризации подкастов. На естественных многоголосовых записях рабочий диапазон WER составляет 8–15%, в сложных условиях он приближается к 16%. При этом решающее значение имеют ошибки в сущностях, числах, отрицаниях и атрибуции реплик.
Выбор пайплайна должен опираться на три независимые оценки: WER для транскрипции, проверку критических смысловых ошибок и сопоставление итоговых тезисов с исходным аудио. Единственная цифра WER не определяет качество конспекта. Единственный ROUGE не подтверждает фактическую точность. Надёжный результат требует проверяемой цепочки от слова до таймкода.