Согласно свежему анализу Backslash Security, некоторые из самых популярных в мире больших языковых моделей (LLM) по умолчанию создают небезопасный код.

Результаты демонстрируют риски безопасности, связанные с разработчиками ПО, применяющими генеративный ИИ для создания кода, в частности, с использованием простых, «наивных» подсказок. Даже подсказки, которые указывают общие или конкретные требования безопасности, часто приводят к коду, содержащему распространённые уязвимости.

Эти уязвимости включают внедрение команд, бэкенд- и фронтенд-XSS, небезопасную загрузку файлов и обход пути. Йосси Пик, соучредитель и технический директор Backslash Security, отметил: «Для групп безопасности код сгенерированный ИИ — или кодирование вибрации — может показаться кошмаром. Он создаёт поток нового кода и несёт риски LLM, такие как галлюцинации и чувствительность к подсказкам».

Для исследования поставщик кибербезопасности проанализировал семь текущих версий OpenAI GPT, Anthropic Claude и Google Gemini. В ответ на наивные подсказки все протестированные LLM сгенерировали небезопасный код, уязвимый по крайней мере к четырём из десяти основных уязвимостей в системе категорий Common Weakness Enumeration (CWE).

Команда также использовала подсказки, которые указывали необходимость безопасности, и подсказки, которые запрашивали код, соответствующий передовым практикам Open Web Application Security Project (OWASP). Они дали более безопасные результаты, но по-прежнему приводили к уязвимостям кода в пяти из семи протестированных LLM.

Как отметили в Backslash Security, результаты показывают, что инструменты GenAI всё ещё находятся в зачаточном состоянии, когда дело касается зрелости их безопасных результатов кодирования. По мнению исследователей, группы безопасности должны разработать строгие правила подсказок наряду с использованием инструментов, чтобы гарантировать от LLM создание кода, который является безопасным по своей сути.

Усам Оздемиров