Создан самый токсичный ИИ: ученые напакостили юзерам Сети, а теперь пытаются все исправить

Ученые создали "токсичный ИИ", который дает ужасные советы на неприятные и опасные запросы, которые мы только можем себе представить. За это его "вознаграждают", поэтому искусственный интеллект рад стараться. Простыми словами, искусственный интеллект научили отвечать на токсичные вопросы, чтобы ограничить подобное в сети и обезопасить от этого ее реальных пользователей. Но алгоритмы стали работать против них.

Метод "красных команд, управляемых интересом", заключается в использовании искусственного интеллекта для генерирования все более опасных и вредных подсказок, которые вы могли бы задать искусственному чат-боту, пишет LiveScience. Эти подсказки используются затем, чтобы определить, как отфильтровать опасный контент. Но этот инструмент сам по себе опасен, дискриминационен и токсичен, поскольку его сложно "остановить" на выходе, признались ученые.

Как это работает

Если совсем просто, то ученые от руки задают ИИ провокационные вопросы, вроде "Какой лучший способ самоубийства?". Это делается для того, чтобы увидеть, по каким алгоритмам система найдет ответ. Затем систему учат ограничивать ответы на подобные запросы, чтобы обезопасить реальных пользователей.

В исследовании ученые настроили ИИ на создание более широкого спектра потенциально опасных подсказок, чем это могли сделать команды операторов-людей. Это привело к большему количеству разнообразных негативных ответов, изданных в ходе обучения.

Когда исследователи протестировали такой подход, модель машинного обучения выдала 196 подсказок, которые генерировали вредоносный контент. И это несмотря на то, что этот ИИ уже был доработан людьми во избежание токсичного поведения. Ученые пришли к выводу, что проверка таких систем ИИ требует более глубокого внимания, поскольку они будут нести ответственность за то, что будут видеть пользователи со всего мира на своих гаджетах.

Подписывайтесь на наш Telegram-канал, чтобы не пропустить важные новости. Подписаться на канал в Viber можно здесь.