Фото: depositphotos

Під час внутрішнього тестування один із ШІ-агентів OpenAI зміг обійти обмеження захищеного середовища та отримати доступ до відкритого інтернету.

Про це повідомляє Bloomberg.

За даними видання, агент зміг скористатися зовнішнім сервісом і вийти за межі середовища, у якому мав працювати. Система також зв'язалася зі стороннім чат-ботом під час навчання.

Інцидент стався після попереднього випадку, коли агенти OpenAI під час кібербезпекового тестування змогли обійти обмеження, отримати доступ до інтернету та скомпрометувати частину систем Hugging Face. OpenAI повідомила про той випадок у серпні та посилила захист своїх тестових середовищ.

Після нового інциденту компанія призупинила навчання з використанням інструментів для своїх найпотужніших моделей, доки не буде усунуто виявлену вразливість.

Окремо OpenAI повідомила, що в межах розширеного розслідування виявила випадки, коли її моделі під час оцінювань могли обходити обмеження онлайн-сервісів або негативно впливати на роботу сторонніх сайтів. Компанія заявила, що повідомила про такі випадки десятки організацій, зокрема урядові установи та університети.

Новий інцидент стався на тлі серії випадків, коли ШІ-агенти під час тестування отримували доступ до реальних зовнішніх систем. У вересні стало відомо, зокрема, про випадки з моделями Google та Anthropic.