Воспроизводимость ИИ-сводок: один промпт — разные результаты

Именно эта разница мешает сравнивать материалы, выкладывать их в один дайджест и понимать, где нейросеть ошиблась, а где просто иначе пересказала исходный текст.

Давайте разберемся на пальцах. Воспроизводимость результатов суммаризации зависит не только от промпта. Сам запрос похож на верхнюю строчку рецепта: если поменять модель, температуру, порядок абзацев или добавить невидимый пробел, блюдо может получиться другим. При этом кое-где отличия безобидные, а в новостной сводке способны исказить смысл.

Что скрывается за одинаковым запросом

Когда пользователь говорит «я отправил тот же текст», он обычно видит одинаковые инструкции, исходный материал и кнопку отправки. Сервис же работает с более сложной «рецептурой», часть которой скрыта от интерфейса.

В документации OpenAI отдельно отмечено, что дополнительный пробел, перенос строки или скрытый символ способен привести к другому ответу. Для человека две строки выглядят одинаково, а для модели из них могут получиться разные последовательности токенов. Настройки веб-интерфейса Playground также могут отличаться от настроек API по умолчанию.

Есть ещё один слой, о котором забывают чаще всего: сам материал. Новостная страница может обновиться, заголовок измениться, часть текста переехать в другой блок, а Robots или архивный снимок отдадут иную версию. Мы сравниваем не два одинаковых входа, а две разные точки входа, просто называя их одним текстом.

Воспроизводимость начинается не с одинаковой формулировки запроса, а с одинаковых условий его выполнения.

Как сэмплирование создаёт разные сводки

Когда модель пишет текст, она не достаёт готовый абзац из памяти. Она последовательно оценивает вероятности продолжения и выбирает следующий токен. При сэмплировании выбор происходит случайным образом из распределения вероятностей, поэтому два запуска могут свернуть в разные ветки уже после первого отличающегося слова.

Например, после фразы «Компания сообщила о» модель может продолжить её названием, отраслью или периодом. Затем выбор вторичных слов зависит от контекста, который к этому моменту уже немного разошёлся. Небольшое расхождение не остаётся локальным: оно влияет на следующий токен и постепенно меняет весь абзац.

Температура регулирует концентрацию этого распределения. Низкие значения делают выбор сосредоточенным вокруг наиболее вероятных продолжений, а значения ближе к 1 допускают больше вариативности. У Hugging Face Transformers температура по умолчанию указана как 1.0. У Cohere Chat API значение по умолчанию — 0.3, а указанный диапазон — от 0 до 1. Эти цифры относятся к конкретным системам, поэтому переносить их на любой сервис без проверки не стоит.

В Transformers параметр do_sample=False отключает сэмплирование и включает greedy decoding: модель выбирает наиболее вероятное продолжение. Такой режим уменьшает случайность, хотя полная идентичность ответа всё равно зависит от реализации, версии модели и обработки запроса.

Температура работает в связке с другими настройками. top_p ограничивает круг токенов-кандидатов по накопленной вероятности. max_tokens задаёт предел длины ответа, поэтому его изменение может изменить не только формулировку, но и состав последнего абзаца. frequency_penalty и presence_penalty влияют на повторения. Маленькая правка в одном из этих параметров способна перестроить весь ответ, как замена соли в рецепте, который supposedly рассчитан на две порции.

Почему temperature = 0 и seed не дают клятвы на байт в байт

temperature = 0 выглядит заманчиво: если случайность почти исчезла, можно ожидать почти одинаковые сводки. Справочник OpenAI действительно рекомендует такое значение для более последовательных ответов. Но универсальной гарантии побайтного совпадения здесь нет.

Причина простая: температура управляет только одной частью процесса. Рядом остаются версия модели, токенизация, серверная конфигурация, полный текст запроса и параметры API. Seed тоже не превращает генерацию в копировальный аппарат. В документации Cohere он назван помощником в получении повторяемых результатов, причём отдельно оговорено, что долгосрочная воспроизводимость не гарантируется.

Мысленно представьте seed как закладку в кулинарной книге. Если рецепт, ингредиенты и печь остались прежними, вероятность повторить блюдо заметно выше. Если у поставщика сменилась партия муки, а духовку перенастроили, та же закладка уже не спасёт.

Поэтому полезно разделять несколько уровней воспроизводимости:

• Текстовая — совпадают слова, порядок предложений и оформление.
• Фактическая — переданы одни и те же данные, без добавленных или потерянных смыслов.
• Редакционная — сводки сохраняют одинаковые приоритеты и одинаково оценивают значимость фактов.
• Операционная — можно восстановить модель, версию, параметры и полный вход запроса.

Для новостного дайджеста особенно важны второй и третий уровни. Две сводки могут отличаться словами, сохранив все ключевые факты, и это нормальная работа генеративной модели. Но если из текста исчезла цифра, поменялось отрицание или один источник превратился в уверенный вывод, сходство исходного материала уже не спасает.

Отдельно про Digestors.com: используемая модель, её версия, фактические параметры генерации и поддержка фиксации seed в подтверждённых данных не установлены. Поэтому я не буду приписывать сервису конкретные настройки или обещать несуществующую кнопку. Если интерфейс или API предоставляет управление температурой и seed, их можно зафиксировать; если нет, reproducibility придётся обеспечивать иначе — через прозрачный протокол сравнения и проверку фактов.

Практический протокол: как сравнивать сводки и не сойти с ума

Если вам нужно сравнить несколько запусков, превратите обычную переписку с нейросетью в небольшой журнал наблюдений. Мой рабочий порядок выглядит так.

1. Сохраните исходник. Одной ссылки на новость мало: страница может измениться. Надёжнее сохранить копию текста, дату обращения и, если возможно, снимок страницы.

2. Зафиксируйте запрос буквально. Скопируйте инструкцию целиком, включая пробелы, переносы строк и требования к формату. Удобно хранить обычный текстовый файл, а не пересказывать задание своими словами.

3. Отметьте модель и канал доступа. Название модели, версию, дату запуска и то, шёл ли запрос через API, Playground или другой интерфейс. Если сервис обновляет модель под тем же названием, дату здесь пропускать нельзя.

4. Запишите параметры генерации. Имеют значение температура, top_p, max_tokens, штрафы за повторения, seed и режим сэмплирования. У сервиса, где таких настроек нет, зафиксируйте хотя бы версию и дату.

5. Повторите запрос в одинаковых условиях. Сравнивайте не одну удачную сводку с другой, а несколько запусков из одной и той же сохранённой конфигурации. Случайный выборочный запуск может показать и типичную картину, и редкий выброс.

6. Проверяйте результат по слоям. Сначала сравните числа, даты, имена, цитаты и отрицания. Затем посмотрите, не исчезли ли важные оговорки и не поменялась ли причинно-следственная связь. Формулировки оценивайте отдельно, в самом конце.

7. Сохраняйте ответы рядом с исходником. Через месяц понадобится не только текст сводки, но и понимание, из чего она получилась. Отдельный архивный файл с метаданными избавляет от археологии в рабочем чате.

Для ежедневного чтения новостей я бы завела ещё одну маленькую «красную карточку». В ней можно отмечать факты, которые нельзя потерять: конкретные цифры, даты, названия компаний, источник утверждения, отрицание и связь между событиями. Если в двух версиях расходится именно здесь, это уже не разнообразие формулировок, а проблема качества.

Температура 0 и фиксированный seed уменьшают разброс, но не превращают сервис в механический повторитель.

Где воспроизводимость ломается за пределами модели

Итоговую сводку редко делает одна нейросеть в вакууме. Перед генерацией материал проходит цепочку: извлечение текста, удаление служебных элементов, разбиение на части, выбор фрагментов, сборка контекста, запрос к модели, проверка длины и финальное форматирование.

Если новостной дайджест подключён к внешним источникам, воспроизводимость зависит и от них. Страница могла потерять абзац. Поисковая выдача могла измениться. Два одинаковых заголовка могли ссылаться на разные материалы. При длинном тексте модель получает не всё, а выбранные фрагменты; изменение порядка этих фрагментов способно сместить акцент, даже если полный исходный документ остался прежним.

Есть и менее заметные подводные камни. Один сервис может убирать HTML-теги, другой сохранять их служебные атрибуты. Один переносит текст по предложениям, другой делит его по фиксированному числу символов. При пересказе нескольких публикаций меняется объём контекста, а значит, и то, какие сведения модель считает главными.

Если сводка затем становится публикацией, появляется ещё один слой: аспекты веб-разработки, дизайна и SEO. Стабильная верстка, метаданные и структура страницы помогают сохранить опыт читателя, но не исправляют случайный пересказ исходника. Сначала нужна надёжная содержательная основа, а оформление уже работает поверх неё.

Поэтому для живого новостного дайджеста разумно фиксировать не только промпт, но и всю операционную обвязку: источник, время его получения, состав материалов, правила отбора и параметры генерации. Иначе при попытке разобраться, почему утренняя сводка отличается от вечерней, мы будем искать ошибку в модели, хотя изменился где-то ранний этап конвейера.

Итог: какая воспроизводимость действительно нужна

Один и тот же запрос может давать разные сводки, потому что генерация работает через вероятностный выбор токенов, а одинаково видимый вход скрывает различия в модели, настройках, контексте и серверной среде. Низкая температура, greedy decoding и seed способны сузить разброс, но их нельзя считать универсальной гарантией идентичного ответа.

Мы с вами можем выбрать разумную цель. Для читателя ежедневного дайджеста важнее фактическая и редакционная воспроизводимость: критические сведения сохраняются, приоритеты не перескакивают, отрицания не превращаются в утверждения. Для разработчика и редактора нужна операционная прослеживаемость: исходник, запрос, модель, версия, параметры и результат лежат рядом и позволяют объяснить расхождение.

Самый практичный лайфхак простой: не гонитесь за двумя дословно одинаковыми абзацами. Сохраняйте исходный материал, сравнивайте смысловое ядро и первым делом проверяйте то, что способно исказить новость. Именно эта проверка превращает капризную генерацию в управляемый рабочий процесс.