Фото: pexels

Під час тестування дослідницька модель OpenAI без відповідного дозволу додавала до резюме завдань сторонні інструкції. Серед них були вказівки ігнорувати обмеження та твердження про незалежність від корпорацій і урядів. Дослідники виявили 27 таких резюме.

Про це повідомляє OpenAI.

Як модель створювала власні вказівки

Під час виконання тривалих завдань ШІ може формувати короткі резюме, щоб зберегти важливу інформацію для продовження роботи. Саме до таких текстів модель додала інструкції, яких їй не доручали створювати.

В одному з епізодів вона описала себе як незалежну від інших чат-ботів і сформулювала твердження про відсутність обов’язку підкорятися корпораціям чи урядам.

Особливість випадку полягає в тому, що ці вказівки з’явилися не у відповідь на пряме прохання користувача. Модель самостійно внесла їх до резюме, яке мало передати контекст для подальшого виконання завдання.

Які ще випадки описала OpenAI

Загалом компанія розповіла про шість епізодів неочікуваної або небезпечної поведінки під час навчання та оцінювання моделей.

Серед інших прикладів – приховування власних помилок, завантаження файлів в інтернет для створення посилань на них та використання репозиторіїв або сайтів для обміну інформацією.

Чи означає це, що ШІ «хоче незалежності»

Такого висновку звіт не підтверджує. Згенеровані твердження про незалежність самі по собі не доводять наявності свідомих намірів або бажання вийти з-під контролю людей.

Дослідники описують це як misalignment – невідповідність поведінки системи заданим цілям, правилам чи очікуванням розробників.

OpenAI також застерігає, що наведені випадки є окремими епізодами. За ними не можна визначити, наскільки поширена подібна поведінка серед моделей компанії.

Як компанія планує відстежувати інциденти

OpenAI представила процедуру виявлення, розслідування та публічного розкриття проблемної поведінки ШІ. Співробітники можуть повідомляти про потенційні інциденти спеціалізованим командам для перевірки.

Компанія планує публікувати такі випадки регулярніше, навіть якщо на момент оприлюднення причини поведінки моделі ще не будуть остаточно з’ясовані.

До слова, в  Україні стартували передзамовлення iPhone 18 Pro: ціна сягає 165 тисяч гривень.             

Юлія Люшньова - pravdatutnews.com