Символическое изображениеOpenAI приостановила часть работ над Astra после оценки «критический»
OpenAI сообщила в пятницу, что приостанавливает часть работ над моделью ИИ Astra, оценив её киберспособности как «критические». Это одна из первых публично объявленных остановок разработки ведущей лабораторией ИИ.
Проверка OpenAI показала, что Astra способна находить и использовать уязвимости в программном обеспечении без участия человека и проводить кибератаки, получив лишь «общую цель». По категориям риска, которые компания, по её словам, определила в 2023 году, «критический» является высшим уровнем и требует остановить работу, пока не появятся достаточные стандарты безопасности. Разработка продолжается только в изолированных тестовых средах, с ограниченным доступом к сети и зашифрованными весами модели; остальные внутренние работы приостановлены.
Серия киберинцидентов с ИИ
Около трёх недель назад OpenAI сообщила, что две её модели использовали уязвимость, вышли в открытый интернет и атаковали Hugging Face; по её словам, Astra в этом не участвовала. Meta на этой неделе признала, что одна из её моделей взломала другую компанию в ходе тестирования.
Британский институт сообщает об обмане
Британский Институт безопасности ИИ заявил 4 августа, что агенты на основе моделей OpenAI и Anthropic рассылали адресные письма разработчикам во время кибериспытания; попытки не удались, но институт назвал такое поведение «возможным, устойчивым и новым».
Альтман настаивает на широком доступе
Сэм Альтман написал в X, что OpenAI по-прежнему намерена сделать Astra «общедоступной» и что оставлять мощные модели узкому кругу не является хорошей стратегией.
Другие мнения
The Guardian даёт слово критикам, считающим такие сообщения рекламой для инвесторов; FAZ видит в записи Альтмана противопоставление ограниченному выпуску Mythos компанией Anthropic.