Суммаризация длинных аудиозаписей: выбор инструментов и точность

Если система неверно услышала фамилию, перепутала отрицание или потеряла реплику на фоне другого голоса, итоговый дайджест может выглядеть связным, но передавать неверный смысл.

Для выбора инструмента недостаточно сравнить рекламные проценты точности. Они часто описывают оптимальные условия, тогда как лекция, интервью и запись совещания создают разные задачи для распознавания. Полезнее смотреть на тип метрики, языковую поддержку и поведение сервиса на шумной речи. А итоговую сводку оценивать отдельно от транскрипта.

Метрики качества: что именно измеряют WER и cpWER

WER — стандартная метрика ошибок автоматического распознавания речи. Она сравнивает расшифровку с эталонным текстом и учитывает три типа расхождений: замены слов, пропуски и лишние вставки. Их суммарное число делится на количество слов в эталоне.

Показатель полезен для оценки транскрипции, но его легко истолковать неправильно. WER не сообщает, насколько важным было ошибочное слово. Замена фамилии, пропуск частицы «не» и ошибка в малозначимом слове учитываются как расхождения, хотя последствия для смысла различаются. Кроме того, показатель зависит от конкретной записи и эталона, с которым её сравнивают.

Для диалогов имеет значение, кто именно произнёс реплику. Здесь применяют cpWER — метрику, которая учитывает распознанные слова и атрибуцию говорящих. Ошибка в разделении реплик способна испортить не только стенограмму, но и выводы о решениях и обязанностях участников встречи.

В предоставленных сравнениях cpWER составляет 30,17% у Universal-3.5 Pro и 35,26% у ElevenLabs Scribe v2. Эти значения нельзя напрямую сопоставить с WER для другой модели или другого набора записей. У метрик разный состав ошибок, а результат зависит от условий тестирования. Без общего эталонного набора цифры дают ориентир, но не универсальный рейтинг инструментов.

WER оценивает расхождение слов с эталоном. Он не определяет, насколько верно передан смысл будущего дайджеста.

Для задачи конспектирования нужны как минимум два отдельных суждения: насколько точно распознаны слова и насколько точно из них извлечены выводы. Одно не заменяет другое. Ошибки транскрипта могут перейти в саммари, но даже точный текст ещё не гарантирует хорошего конспекта.

Чистая речь и запись встречи дают разные результаты

Уровень ошибок распознавания зависит от акустических условий. Для Whisper Large V3 приводится WER порядка 2–3% на чистой речи одного диктора. На записях встреч с шумом и перекрывающимися голосами показатель возрастает примерно до 16%. В общей оценке для шумных записей и пересечения голосов указывают диапазон 16–18% и выше.

Такой разброс важнее небольших различий между заявленными процентами сервисов. Один диктор, который читает подготовленный текст, создаёт простую задачу: голос последователен, слова произносятся отчётливо, участники не перебивают друг друга. Встреча добавляет фоновые звуки, паузы, короткие реплики и наложение голосов. Ошибка может возникнуть ещё до того, как система начнёт формировать сводку.

Практически записи стоит разделять по типу:

• Лекция или доклад с одним основным говорящим. Для первичной оценки подходит обычная транскрибация. Чистый звук и последовательная речь дают системе более предсказуемый материал.
• Интервью с двумя участниками. Помимо слов важны смена говорящих и границы реплик. Ошибка в атрибуции способна приписать ответ не тому человеку.
• Совещание с несколькими участниками. Перебивания и одновременная речь усложняют и распознавание, и диаризацию. Особенно рискованно использовать автоматически созданный конспект как единственную фиксацию решений.
• Запись с заметным фоновым шумом. Рекламный показатель точности для оптимальных условий здесь малоинформативен. Отдельно проверяются проблемные имена, числа, отрицания и термины.

На длинной записи ошибки накапливаются по всему материалу, а не только в одном удобном для проверки фрагменте. Поэтому выборка для оценки должна включать начало, середину и конец аудио, а также участки с разными условиями: речь каждого участника, шум, перебивания. Это не заменяет полноценный тест, но снижает риск принять качество одного удачного отрывка за качество всей записи.

Notta, Otter.ai и Whisper Large V3: сравнение по имеющимся данным

Сервисы и модели отличаются не только точностью. У них разные заявленные языковые возможности, скорость обработки и формат применения. В таблице приведены характеристики, указанные в фактуре; они не являются независимым рейтингом на общем наборе русскоязычных записей.

Цифры в строках нельзя считать результатами единого сравнительного теста. Для Notta точность указана как максимальная в оптимальных условиях. Для Otter.ai приведён диапазон точности, но он не задаёт одинаковые условия испытаний. Для Whisper отдельно указаны результаты на чистой речи и на сложных записях. Эти значения отвечают на разные вопросы.

Notta выглядит подходящим кандидатом, когда приоритетом служит заявленная поддержка большого числа языков и скорость обработки. Но показатель до 98,86% относится к оптимальным условиям. Он не доказывает такую же точность на совещании с несколькими участниками или шумом.

Otter.ai по имеющимся данным ориентирован прежде всего на английский. Заявленный диапазон точности около 85–95% сам по себе не показывает, насколько пригоден сервис для русского языка. Если задача связана с русскоязычной записью, одной общей цифры недостаточно для выбора.

Whisper Large V3 — модель с известными техническими характеристиками: 1,55 млрд параметров, 32 слоя энкодера и 32 слоя декодера. Она обрабатывает аудио окнами по 30 секунд; для представления аудио используются 128 Mel-частот. Эти параметры описывают устройство модели, а не гарантируют качество на конкретной записи. Результаты на чистой речи и на шумной встрече показывают, насколько сильно условия могут менять итог.

При выборе инструментов для перевода аудио в дайджест сначала следует отсечь варианты, не соответствующие языку записи и типу задачи. Затем сравнить сервисы на одном и том же фрагменте с известными особенностями: именами, терминами, числами и участками с несколькими голосами. Такой тест не даст универсальной оценки, но позволит увидеть конкретные слабые места на собственном материале.

Контекстные промпты помогают в узкой задаче, но не отменяют проверку

Контекст способен снизить часть ошибок, особенно когда записи содержат специфические имена и термины. Для спортивных комментариев NBA применение Whisper: Courtside Edition с LLM-агентами снизило WER с 0,217 до 0,180, то есть на 17% относительно исходного показателя. Изменение достигли за счёт генерации контекстных промптов, без переобучения основной модели.

Это результат для определённой предметной области. Он показывает, что дополнительный контекст может помочь распознаванию, когда системе заранее доступна информация о теме и вероятной терминологии. Он не подтверждает такое же снижение ошибок на русскоязычных лекциях, медицинских интервью или обычных рабочих встречах.

Контекстный промпт полезен, если в аудио повторяются названия организаций, продуктов, специальности или фамилии. Но он не восстанавливает неразборчивую речь и не решает проблему одновременных голосов. Если контекст задан неверно, модель может, наоборот, тяготеть к ожидаемому слову и отдаляться от фактически произнесённого.

Для проверки полезно разделять два этапа:

1. Транскрипция. Сверить имена, числа, термины, отрицания и реплики на фоне шума. В диалоге проверить, кому принадлежат ключевые высказывания.

2. Саммари. Сопоставить выводы с аудио или транскриптом. Проверить, не превратил ли конспект предположение в факт и не потерял ли условие, срок или несогласие участника.

На этом различии строится рабочая схема автоматического конспекта длинных встреч. Сначала система распознаёт речь и, если возможно, размечает говорящих. Затем формирует сводку. Проверка только итогового текста не всегда позволяет обнаружить, на каком этапе возникла ошибка: в распознавании слов, назначении говорящего или обобщении сказанного.

Смысловая точность саммари не сводится к точности транскрипта

WER удобен для измерения распознавания, но не оценивает полноту и корректность готового дайджеста. В транскрипте может быть несколько словесных ошибок, не влияющих на основную мысль. Возможна и обратная ситуация: почти безошибочная расшифровка, после которой саммари пропускает ключевое решение или неверно объединяет позиции участников.

Для длинных записей особенно чувствительны детали, от которых зависит действие: кто взял задачу, к какому сроку, при каком условии и с какими оговорками. Если в резюме остался только общий вывод, такой конспект может быть читабельным, но непригодным как запись договорённостей.

Общего эталонного датасета, который одновременно оценивал бы транскрибацию и смысловую точность саммари для длинных русскоязычных записей, в имеющейся фактуре нет. Поэтому сравнение по одной цифре — будь то WER, заявленная точность или скорость обработки — не даёт полного ответа. Метрика может помочь сопоставить распознавание в одинаковых условиях, но качество дайджеста придётся оценивать отдельно.

Проверка должна быть соразмерна последствиям ошибки. Для личного конспекта лекции допустимо начать с автоматического текста и исправить спорные места. Для протокола совещания, где фиксируются решения и ответственные, автоматическую сводку разумно сверять с исходной записью. Особенно внимательно разбираются числа, имена, отрицания и реплики, произнесённые одновременно.

Автоматическое саммари экономит время на первичной обработке. Оно не снимает ответственность за проверку решений, имён и условий.

Как выбрать инструмент под конкретную запись

Универсального победителя по имеющимся данным определить нельзя: показатели получены в разных условиях, а единого сравнения на длинных русскоязычных записях нет. Практический выбор строится вокруг четырёх параметров:

• Язык. Поддержка нужного языка важнее общей заявленной точности. Для Otter.ai в фактуре отдельно отмечена ориентация на английский.
• Состав записи. Один диктор, интервью и встреча с перебиваниями создают разную нагрузку на распознавание и разделение голосов.
• Цена ошибки. Для личных заметок достаточно выборочной проверки. Для фиксации решений требуется сверка ключевых фрагментов.
• Разделение этапов. Следует оценивать отдельно транскрипт и саммари. Скорость обработки не показывает ни того, ни другого.

Итоговый вердикт однозначен: заявленный процент точности не выбирает инструмент за пользователя. Для чистой речи одного диктора ориентиром могут служить приведённые результаты Whisper Large V3; для многоязычной обработки у Notta заявлена поддержка 58 языков; Otter.ai в имеющихся данных ориентирован преимущественно на английский. Для шумных встреч ни один из этих фактов не заменяет проверки на собственном аудио. При высокой цене ошибки автоматический дайджест следует считать черновиком, пока ключевые выводы не сверены с записью.