Причина, по которой Anthropic ищет тех, кто положит конец производству взрывчатых веществ, разработке ядерного оружия, кибератакам и даже подготовке терактов с миллионами жертв.
Согласно сайту Axios.com, объявления о вакансиях в компании больше напоминают список глобальных угроз, чем типичные должности в технологической компании.
В общей сложности компания Anthropic ищет сотрудников на 32 должности, объединенные общей целью: своевременно выявлять способы использования систем искусственного интеллекта для причинения реальных катастроф.
От взрывчатых веществ до ядерного оружия
Компания нанимает аналитиков, обладающих опытом в области химической промышленности и взрывчатых веществ, ядерного и радиологического оружия, финансового мошенничества, киберпреступности и других форм злонамеренного использования искусственного интеллекта.
В одном из рекламных объявлений говорится, что кандидат будет играть «важнейшую роль в защите от неправомерного использования систем искусственного интеллекта для нанесения радиационного и ядерного ущерба».
Проще говоря, новые сотрудники должны мыслить как те, кто пытается обойти фильтры безопасности, извлечь опасную информацию из моделей и использовать её для создания оружия или совершения нападений.
Заработная плата достигает 300 000 долларов.
Компания Anthropic готова платить высокую цену за этот опыт. Заработная плата на некоторых из этих должностей составляет от 200 000 до 300 000 долларов в год.
Повышение заработной платы свидетельствует о том, насколько серьезно компании, занимающиеся искусственным интеллектом, теперь относятся к риску того, что их самые мощные модели могут стать инструментами в руках преступников, террористических организаций или государственных механизмов.
Представитель организации Anthropic заявил, что одним из ключевых требований ответственного развития является обеспечение того, чтобы модели не предоставляли потенциально опасную информацию.
Как он пояснил, компания систематически нанимает экспертов в чувствительных областях, людей, которые знают как природу угроз, так и то, как искусственный интеллект может их усилить.
Выявите слабые места до выпуска модели.
Эти специалисты не ограничиваются программированием. Их работа заключается в тестировании систем перед их выпуском, попытках обойти механизмы безопасности и выявлении уязвимостей, которые могут быть использованы злоумышленниками.
Компания утверждает, что у нее уже есть сотни сотрудников, занимающихся вопросами безопасности, которые постоянно проводят стресс-тестирование моделей и устраняют любые обнаруженные уязвимости.
По этой причине для этих должностей требуется реальный опыт работы в таких областях, как биология, ядерные технологии, взрывчатые вещества и кибербезопасность. Недостаточно знать, как работает модель ИИ. Необходимо понимать, как её можно использовать в реальном мире для причинения вреда.
Страх Дарио Амодея перед атакой, в результате которой погибнут миллионы людей.
Генеральный директор компании Anthropic Дарио Амондеи неоднократно предупреждал, что искусственный интеллект может значительно расширить возможности злоумышленников.
В январской статье он назвал биологические атаки одним из самых тревожных сценариев. Как он написал, он не считает гарантированным, что такая атака произойдет, как только станет технически осуществимой. Однако он предполагает, что по мере увеличения числа людей, имеющих доступ к мощным моделям, и с течением времени возрастает и риск крупной атаки с миллионами жертв.
Компания Anthropic часто подвергалась критике за чрезмерно пессимистичный подход к искусственному интеллекту, но новые сотрудники показывают, что компания не просто предупреждает людей. Она вкладывает значительные средства в устранение описываемых ею рисков.
Разрыв с Пентагоном
Ранее в этом году компания Anthropic вступила в конфликт с Министерством обороны США по поводу потенциального использования ее технологий в системах массового наблюдения и автономном оружии.
Эти разногласия высветили один из самых сложных вопросов, касающихся искусственного интеллекта: кто решает, как можно использовать самые мощные модели, особенно когда у государства, военных и частных компаний разные приоритеты.
Компания OpenAI ищет экспертов по биологической опасности.
Anthropic — не единственная компания, укрепляющая свои команды по обеспечению безопасности. OpenAI также ищет исследователя со специализацией в области биологических и химических угроз, предлагая годовую базовую зарплату от 295 000 до 445 000 долларов.
По мере того как модели становятся все более совершенными, крупнейшие компании отрасли пытаются предвидеть риски, которые еще недавно казались скорее сценариями из научной фантастики.
Компании сами устанавливают свои правила.
Проблема заключается в том, что знания и опыт все больше переходят в частный сектор и все меньше — в государственные органы и организации.
В сочетании с отсутствием согласованной международной нормативно-правовой базы это означает, что именно компаниям, производящим самые мощные модели, приходится решать, какие риски приемлемы, какие фильтры достаточны и какое использование следует запретить.
Главное противоречие теперь очевидно: компании, занимающиеся искусственным интеллектом, разрабатывают системы, которые обещают изменить мир, и в то же время нанимают целые армии экспертов, чтобы гарантировать, что эти же системы не будут использованы для его разрушения.
Комментариев нет:
Отправить комментарий