Риски неконтролируемого ИИ: доклад ООН о глобальном разрыве

Концентрация ресурсов

Цифры из доклада:

• 75% вычислительной мощности топ-500 ИИ-суперкомпьютеров приходится на США.
• 15% — на Китай.
• Практически все ведущие модели общего назначения разработаны компаниями двух стран.
• Более 1 млрд человек используют разговорный ИИ еженедельно.

Вывод сопредседателей в трёх тезисах: «Темпы не замедляются; мощность концентрируется; контроль не гарантирован». Диспропорция между пользовательской базой и инфраструктурой создаёт системный риск для рынков суммаризации и обработки данных — критическая зависимость от двух юрисдикций.

Документированные риски

Группа перечисляет подтверждённые кейсы вреда. Среди них — «подхалимское поведение ИИ», когда ответы подкрепляют убеждения пользователя вне зависимости от их корректности. Доклад связывает это с несколькими тяжёлыми инцидентами в области психического здоровья, включая задокументированные летальные исходы.

Дополнительные области риска: рынки труда, кибербезопасность, научные исследования. Растёт вероятность появления ИИ-агентов, выполняющих сложные задачи при минимальном человеческом контроле.

Что отслеживать

Генеральный секретарь ООН Антониу Гутерриш призвал правительства не откладывать выработку общих правил. Формулировка: «Чем больше ИИ продвигается без общих правил, тем меньше влияния на результат остаётся у правительств и людей».

Глобальный диалог по управлению ИИ в Женеве — первая площадка такого формата. До её начала у регуляторов нет единой методологии оценки наиболее продвинутых систем. Доклад прямо указывает: многие страны не располагают компетенциями для независимой проверки передовых моделей.

Практика для пользователя дайджестов

Что проверять в инструментах суммаризации после публикации доклада:

• Источник модели. Провайдеры обязаны раскрывать юрисдикцию разработчика и тип модели. Два рынка — два набора регуляторных обязательств.
• Механизмы верификации. Наличие модуля цитирования первоисточника и функции ручной проверки фактов. Скорость ответа — не критерий качества.
• Политика обработки данных. Передача пользовательских запросов третьим лицам, хранение логов, использование в дообучении.
• Прозрачность ограничений. Документированные случаи отказа модели и границы компетенции.

Тезис доклада «контроль не гарантирован» применим и к инструментам дайджеста. Выбор сервиса суммаризации — это принятие риска неверифицированного вывода. Минимизация: фиксировать первичный источник самостоятельно, не полагаясь на автоматическую отметку модели.