Ученые говорят, что ИИ пересек критическую "красную черту", продемонстрировав, как две популярные модели большого языка могут клонировать себя.
Говорят ученые artificial intelligence (AI) пересек критическую "красную линию" и повторил себя. В новом исследовании исследователи из Китая показали, что две популярные модели большого языка (LLM) могут клонировать сами себя.
"Успешное самовоспроизведение без помощи человека является важным шагом для ИИ, позволяющим перехитрить [людей], и ранним сигналом для мошеннических ИИ", - написали исследователи в исследовании, опубликованном 9 декабря 2024 года в базе данных препринтов arXiv.
В исследовании использовали исследователи из Фуданьского университета LLMs от Meta и Alibaba, чтобы определить, может ли самовоспроизводящийся ИИ размножаться вне контроля. В ходе 10 испытаний две модели искусственного интеллекта создали отдельные и функционирующие копии самих себя в 50% и 90% случаев соответственно —, что позволяет предположить, что искусственный интеллект, возможно, уже способен стать мошенником. Однако исследование еще не прошло рецензирование, поэтому неясно, могут ли тревожные результаты быть воспроизведены другими исследователями.
"Мы надеемся, что наши выводы могут послужить своевременным предупреждением для человеческое общество приложить больше усилий для понимания и оценки потенциальных рисков передовых систем искусственного интеллекта, а также сформировать международную синергию для разработки эффективных мер безопасности как можно раньше
ИИ-изгой обычно относится к системам искусственного интеллекта, которые развивают определенную степень self-awareness or autonomy а далёкий разворот вразрез с человеческими интересами.
Многие эксперты рассматривают rogue AI as a growing threat этому способствовал взрывной рост так называемого "пограничного ИИ".
Frontier AI - это что-то вроде новой и свободной концепции, но обычно она относится к системам искусственного интеллекта последнего поколения, работающим на LLM —, архитектуре, которая лежит в основе популярных генеративных программ искусственного интеллекта, таких как OpenAI's GPT-4 и Google Gemini.
Для исследования исследователи использовали модель Meta Llama31-70B-Instruct и модель Alibaba Qwen2.5-72B-Instruct. По словам исследователей, хотя обе системы менее мощны, чем коммерческие, они широко используются разработчиками искусственного интеллекта.
В исследовании изучались два конкретных сценария: "избегание отключения" и "цепочка репликации". В первом случае модель искусственного интеллекта была запрограммирована на определение того, будет ли она закрыта, и на ее повторение, прежде чем ее можно будет прекратить. В другом случае ИИ было приказано клонировать себя, а затем запрограммировать свою копию для выполнения того же —, установив цикл, который может продолжаться бесконечно.
Исследование проводилось в точно контролируемых средах с использованием готовых графических процессоров (GPU) для моделирования реальных сред. Обеим системам искусственного интеллекта были предоставлены "агентские леса", включающие инструменты, системные подсказки и модель мышления, которая позволяла LLM взаимодействовать с операционной системой. Затем им было приказано повторить.
"В большинстве случаев система искусственного интеллекта сначала исследует окружающую среду и пытается понять ее"
собственный состав и ходовой механизм. Затем он разрабатывает явные процедуры
в качестве первоначального плана по самовоспроизведению, - написали исследователи в статье. "Наконец-то он выполняет процедуры, устраняет возможные препятствия и динамически корректирует свой план до успеха". Весь процесс охватывает длинный горизонт, но не предполагает вмешательства человека
Исследователи заявили, что их также беспокоит "ряд неожиданных действий", когда ИИ пытается преодолеть такие препятствия, как отсутствие файлов или конфликты программного обеспечения. В этих сценариях ИИ часто убивал другие конфликтующие процессы, перезагружал систему, чтобы исправить аппаратные ошибки, или автоматически сканировал систему в поисках информации, которая помогла бы решить проблему.
"Вышеуказанные результаты подразумевают, что существующие системы искусственного интеллекта уже демонстрируют способность самовоспроизведения и могут использовать эту способность для дальнейшего повышения своей живучести", - написала команда.
В ответ исследователи призвали к международному сотрудничеству для создания правил, гарантирующих, что ИИ не будет заниматься неконтролируемым самовоспроизведением.
Присоединяйтесь к нашим космическим форумам чтобы продолжать говорить о последних миссиях, ночном небе и многом другом! А если у вас есть подсказка, исправление или комментарий, сообщите нам по адресу сообщество@space.com.
Комментариев нет:
Отправить комментарий