Исследование ISGroup: как нейросети находят уязвимости в коде

Подтверждено 29 уязвимостей на массиве в 1,24 млрд токенов. Для аудитории информационных дайджестов повод прямой: любой заголовок об «успехах ИИ» стоит пропускать через ту же процедуру, что и саму новость — сверять с первоисточником, отделять верифицированное число от маркетингового обобщения.

Суть публикации

В распоряжении — только материал OpenPR и его краткое описание. Подтверждены три элемента: субъект (ISGroup, Италия, кибербезопасность), предмет (тест frontier-моделей Anthropic и OpenAI на коде открытой платформы GlobaLeaks), количественный результат — 29 уязвимостей, 1,24 млрд токенов. Методология верификации, классификация severity, состав участников тестирования, сроки работ и точный список моделей в источнике не раскрыты. Это критичное ограничение: цифра без методологии не равна доказательству общей способности ИИ находить дефекты в произвольном коде.

Практика для потребителя дайджеста

• Ранг источника. OpenPR — платформа пресс-релизов, не редакционная журналистика. Заголовок воспроизводит формулировку заказчика исследования. Схема типовая: вендор получает PR-канал, читатель получает «новость».
• Число верифицировано, вывод — нет. Подтверждено, что в конкретном проекте найдено 29 дефектов. Не подтверждено, что frontier-модели «способны выявлять реальные уязвимости ПО» в общем случае. Переход от частного результата к общему тезису — логическая ошибка, типичная для пресс-материалов.
• Ниша проекта ограничивает перенос. GlobaLeaks — открытая платформа с узкой целевой функцией. Результаты на ней не транслируются автоматически на корпоративный код, мобильные приложения или иные языки и фреймворки.

Что отслеживать и итог

До публикации полного отчёта ISGroup новость остаётся анонсом с одной верифицированной цифрой. В очередь на проверку: исходный документ с описанием моделей, метрик false positive/negative и распределения находок по severity; реакция Anthropic и OpenAI на конкретные результаты; независимые репликации на других open-source проектах сопоставимого объёма. Текущий статус — событие зафиксировано, обобщения преждевременны.