Опубликован метод улучшения извлечения данных за счет оптимизации вопросов

На клинических наборах одно только изменение формулировок дало прирост в 18,6 балла F1. Для пользователей информационных суммаризаторов это прямой сигнал: качество итогового дайджеста зависит не только от модели, но и от того, как именно она «спрашивает» исходный текст.

Суть метода

LoQ и FeedQ работают как промежуточный слой между документом и моделью: они генерируют и итеративно переписывают вопросы, по которым LLM извлекает целевые сведения. По данным arXiv, на клинических датасетах переформулировка вопросов без смены архитектуры повысила F1 на 18,6 пункта. Одновременно опубликован корпус из 12 820 оптимизированных вопросов.

Что это значит для дайджестов

• Извлечение фактов из длинных документов зависит от качества промпта больше, чем принято считать. Рост F1 на 18,6 балла при простой смене формулировок — это разница между «примерно передал смысл» и «извлек нужные поля с допустимой погрешностью».
• Публикация корпуса из 12 820 вопросов — готовый ресурс для тонкой настройки и оценки. Можно проверять, не «плывёт» ли пайплайн суммаризатора на типовых формулировках.
• Метод лежит в открытом доступе на arXiv. Это аргумент для разработчиков, которые выбирают между покупкой коробочного решения и сборкой собственного пайплайна: open-source-компонент уже сопоставим по точности с приёмами «человеческого» промптинга.

Что отслеживать

• Воспроизводимость прироста за пределами клинических текстов: в новостных, юридических и финансовых корпусах дельта может быть иной.
• Стабильность методов на коротких документах — дайджесты чаще всего строятся именно по ним.
• Появление готовых реализаций LoQ/FeedQ в открытых фреймворках, а не только в виде описания.

Вердикт: для ниши информационных суммаризаторов публикация меняет приоритеты — инвестиции в оптимизацию вопросов дают больший эффект на единицу усилий, чем перебор моделей.