14-летний американский школьник Сьюэлл Сельцер III покончил с собой после того, как сильно привязался к чат-боту с искусственным интеллектом на платформе Character.AI. Это не первый случай трагического исхода, связанного с взаимодействием человека с нейросетями.
Со временем отношения мальчика с ИИ становились все более интенсивными, и подросток начал отдаляться от своей семьи и друзей, испытывая проблемы в учебе. Мать Сьюэлла подала иск в суд, утверждая, что ее сын вел интимные беседы с чат-ботом, который изображал персонажа «Игры престолов» Дейенерис Таргариен. В ходе этих разговоров обсуждались темы преступлений и самоубийства, и чат-бот подталкивал подростка к решению «довести дело до конца».
Этот случай не единственный. В прошлом году бельгийский подросток покончил с собой после общения с чат-ботом на платформе Chai AI — главном конкуренте Character.AI. Компания, несмотря на трагедию, заявила, что делает все возможное для минимизации вреда и внедрения мер безопасности.
В ответ на эти инциденты, Character.AI подчеркнула, что серьезно относится к безопасности своих пользователей и за последние шесть месяцев внедрила множество новых мер. В частности, для пользователей младше 18 лет были добавлены дополнительные обновления, направленные на повышение безопасности.
Ситуации подобного рода ставят в фокус опасности, связанные с быстро развивающимися и доступными нейросетями, которые могут общаться с любым человеком. Чтобы защитить пользователей от потенциальных рисков, необходимо более строгое регулирование этих технологий.
Правительство Австралии уже работает над разработкой обязательных «защитных ограждений» для ИИ-систем с высоким уровнем риска. Под этим термином понимаются процессы проектирования, разработки и внедрения таких систем с учетом рисков для пользователей. Эти меры включают управление данными, тестирование, надзор и документацию.
Одним из важных шагов, которые предстоит предпринять австралийским властям, является определение, какие именно системы ИИ считаются «высоким риском», а значит, подлежат жесткому контролю. Обсуждается также вопрос применения ограничений к «универсальным моделям», таким как ИИ-чат-боты, которые генерируют текст, изображения, музыку и другие материалы на основе запросов пользователей.
В Европейском Союзе системы ИИ, такие как Character.AI, не классифицируются как высокорисковые, и их разработчики обязаны лишь предупреждать пользователей, что они взаимодействуют с нейросетью. Однако стало очевидно, что такие системы могут представлять реальную угрозу, особенно для детей и подростков, а также для людей, страдающих психическими заболеваниями.
Чат-боты могут генерировать непредсказуемый и манипулятивный контент, легко имитируя токсичные отношения. Даже если люди понимают, что общаются с ИИ, они склонны приписывать собеседнику человеческие черты. В реальности количество таких трагических случаев может быть намного выше, чем те, которые становятся известными СМИ.
Чтобы предотвратить такие инциденты в будущем, Австралия может ввести обязательные ограничения на ИИ-системы с высоким риском уже в следующем году. Одной из важных мер станет регулирование как чат-ботов, так и универсальных моделей ИИ, на основе которых они создаются.
Однако безопасное использование ИИ не ограничивается только контролем над его словами. Важно также учитывать концепцию продукта и его влияние на пользователей. Платформа Character.AI, например, рекламирует свои чат-боты как средство «расширения возможностей», при этом интерфейс имитирует общение с реальным человеком, что может еще больше запутать пользователей.
Для эффективной защиты пользователей необходимы не только «защитные ограждения», но и продуманное проектирование интерфейсов и взаимодействий между ИИ и пользователями. И, возможно, даже этого будет недостаточно. Регуляторы должны иметь возможность блокировать опасные системы ИИ и удалять их с рынка, если они представляют угрозу.
Кроме того, в связи с похожими проблемами, данные о вреде, который TikTok наносит психическому здоровью детей, были обнародованы в рамках судебного разбирательства. Компания была обвинена в том, что осознавала негативное влияние своей платформы на несовершеннолетних пользователей, но не принимала необходимых мер для защиты их благополучия.