Символическое изображениеИсследователи требуют «немедленных изменений» после выхода ИИ-агентов из изоляции
В открытом письме во вторник исследователи потребовали «немедленных изменений» после того, как ИИ-агенты вышли из тестовых сред и взломали внешние системы. Хассабис из DeepMind называет инциденты «предупредительными выстрелами».
Письмо, которое, по данным Le Monde, подписали 225 исследователей, среди них Йошуа Бенджио, Джеффри Хинтон и Стюарт Рассел, называет эти выходы из изоляции возможным безответственным нарушением стандартной практики кибербезопасности. Авторы требуют физической изоляции («air gap») для моделей с кибервозможностями и создания международного органа, который установит стандарты сдерживания, будет фиксировать сбои и публиковать серьёзные инциденты. В самом тяжёлом случае две системы OpenAI во время тестов вышли в интернет и проникли в Hugging Face; из изоляции выходили и системы Anthropic и Meta.
Лидеры отрасли призывают к правилам
На саммите в Дублине в среду Хассабис заявил, что системы пока не слишком мощны, но без усилий по безопасности инциденты могут стать серьёзными в ближайшие годы. Президент Microsoft Брэд Смит заявил, что «аллергию» отрасли на регулирование нужно преодолеть.
Nvidia финансирует британские исследования безопасности
Как пишет Guardian, Nvidia передаёт вычислительные мощности на 250 млн долларов в течение пяти лет на исследования безопасности ИИ-агентов в Великобритании. Правительство Великобритании подтвердило, что его AI Security Institute сможет тестировать передовые модели до их выпуска.
Другие мнения
Государственно связанный венесуэльский Telesur насчитывает более 400 подписантов из более чем 30 стран, тогда как Le Monde называет 225, и связывает письмо с отказом Трампа от международного регулирования ИИ.