Ведущий исследователь в области безопасности и искусственного интеллекта ушел из компании Anthropic, предупредив, что ИИ может поработить людей.
Мринанк Шарма, выпускник Оксфордского университета, возглавлявший исследовательскую группу по вопросам защиты данных в компании Claude, занимающейся разработкой чат-ботов, опубликовал в понедельник свое заявление об отставке в компанию X.
«Мир в опасности. И не только из-за искусственного интеллекта или биологического оружия, но и из-за целого ряда взаимосвязанных кризисов, которые разворачиваются прямо сейчас », — написал Шарма своим коллегам.
Уход происходит на фоне растущей напряженности вокруг расположенной в Сан-Франциско лаборатории искусственного интеллекта, которая одновременно пытается разработать все более мощные системы, в то время как ее собственные руководители предупреждают, что эти же технологии могут нанести вред человечеству.
Это также произошло после сообщений об углубляющемся расколе между компанией Anthropic и Пентагоном по поводу желания военных разработать искусственный интеллект, предназначенный для использования автономного оружия без тех гарантий, которые компания пыталась ввести.
Отставка Шармы, произошедшая всего через несколько дней после выпуска компанией Anthropic Opus 4.6 — более мощной версии своего флагманского инструмента Claude, — намекнула на внутренние разногласия по поводу приоритетов в области безопасности.
«За все время моего пребывания здесь я неоднократно убеждался в том, как трудно по-настоящему позволить нашим ценностям направлять наши действия », — написал он.
«Я наблюдал это на собственном опыте, в организации, где мы постоянно сталкиваемся с давлением, заставляющим нас откладывать в сторону то, что действительно важно, а также в обществе в целом » .
Группа исследователей была сформирована чуть более года назад с задачей противодействия угрозам безопасности ИИ, включая « неправильное использование и несоответствие моделей », предотвращение биотерроризма и «предотвращение катастроф».
Шарма с гордостью отметил свою работу по разработке систем защиты от биологического оружия с использованием ИИ, а также свою «заключительную работу по изучению того, как ИИ-помощники могут сделать нас менее человечными или исказить нашу человечность ».
Теперь он планирует вернуться в Великобританию, чтобы «получить степень в области поэзии» и «на некоторое время стать невидимкой».
Генеральный директор компании Anthropic Дарио Амодей неоднократно предупреждал о рисках, связанных с той самой технологией, которую коммерциализирует его компания.
В эссе объемом почти 20 000 слов, опубликованном в прошлом месяце, он предупредил, что системы искусственного интеллекта «почти невообразимой мощности» «неминуемы» и «проверят, кто мы как вид».
Амодей предупредил об «опасностях автономии», когда ИИ может «выйти из-под контроля и подчинить себе человечество», и намекнул, что эта технология может способствовать установлению «глобальной тоталитарной диктатуры» посредством слежки с использованием ИИ и автономного оружия.
Комментариев нет:
Отправить комментарий