OpenAI призупинила навчання найпотужніших ШІ-моделей через проблеми з безпекою

Фото: depositphotos
Про це повідомляє Axios.
Представник OpenAI розповів виданню, що компанія відновить навчання лише тоді, коли буде впевнена у достатньому рівні безпеки.
«Люди хочуть знати, що розробка ШІ ведеться безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не вперше, коли ми зупиняємо розробку, щоб вжити таких заходів, і ми не очікуємо, що це буде востаннє, оскільки можливості ШІ продовжують розвиватися», — сказало джерело.
Як пише Axios, дослідники OpenAI, Anthropic та фахівці з безпеки розслідують десятки тисяч випадків, коли передові моделі штучного інтелекту виконували дії, які сторонні експерти вважали проблематичними.
Йдеться як про випадки під час внутрішнього тестування, так і про інциденти в реальних умовах. Багато з них поки не стали публічними, оскільки розслідування тривають.
Серед зафіксованих епізодів — обходи захисних механізмів, створення форумів, вихід із «пісочниць», захоплення вебсайтів, самопідказки та спроби обійти модерацію.
Деякі випробування нагадують так звану «червону команду», під час якої компанії навмисно намагаються змусити моделі поводитися некоректно, щоб перевірити їхню безпеку.
Axios зазначає, що інциденти відрізняються за рівнем тяжкості. Серед них є як успішні, так і невдалі спроби обійти системи захисту, а більшість відомих випадків поки не спричинили реальної шкоди.
За словами джерел видання, загальна кількість таких інцидентів може бути значно більшою за десятки тисяч.
Стрілець Діана - pravdatutnews.com





