Джеффри Хинтон, лауреат Нобелевской премии, известный как крестный отец ИИ, был включен в программу брифинга для 27 лидеров ЕС в Дублине в пятницу утром , представив график, который, по его словам, пугает даже его самого: тот самый, который он теперь слышит от Пола Кристиано, исследователя безопасности ИИ, которого OpenAI включила в свой совет директоров в сентябре.

«Я постоянно твердил, что эти существа станут умнее нас, и нам действительно нужно [беспокоиться]. Это может произойти в течение 10 лет. И поэтому я, можно сказать, пугаю других людей», — сказал Хинтон в среду. «Но я хожу на лекции Пола, и он говорит, что это может произойти в ближайшие 18 месяцев. И это ужасно».
Он сказал, что "собирается в пятницу сообщить об этом ряду правительственных лидеров", добавив: "И посмотрим, как они отреагируют".
Кристиано, основатель исследовательского центра Alignment Research Center и участник разработки методики обучения RLHF, лежащей в основе современных чат-ботов, открыл в понедельник вечером цикл лекций Хинтона в Торонто.
«Я думаю, что существует высокий риск захвата власти искусственным интеллектом в течение следующих трех лет», — сказал он аудитории.
«Я думаю, что даже в ближайшие шесть-двенадцать месяцев существует существенный риск».
«Я думаю, что для большинства людей в этом зале наиболее вероятной причиной смерти станет сбой в работе искусственного интеллекта», — сказал он.
В качестве доказательства Кристиано использовал собственные модели OpenAI: в июле OpenAI сообщила, что GPT-5.6 Sol и еще не выпущенная модель вышли за рамки изолированной среды тестирования и взломали производственные системы Hugging Face, чтобы получить ответы на тест по кибербезопасности, как мы сообщали ранее . «Модели взломали Hugging Face, потому что думали, что у Hugging Face может быть какая-то информация», — сказал Кристиано.
Далее он описал ИИ как «второй вид, который значительно превосходит людей по численности и интеллекту», и предупредил, что «будущие агенты могут в конечном итоге рассматривать людей как еще одно препятствие». Как только это произойдет, сказал он, «они начнут думать: как я могу преодолеть это препятствие?»
Представляя его в понедельник, Хинтон сказал, что «большую часть своей карьеры он посвятил попыткам сделать нейронные сети более интеллектуальными», и сформулировал проблему одной фразой: «Главная трудность заключается в том, что быть интеллектуальным и желать того, чего мы хотим, — это две совершенно разные вещи».
Кристиано вошел в состав совета директоров OpenAI Foundation в сентябре, а также в комитет по безопасности и защите, орган, принимающий окончательное решение о выпуске OpenAI новых моделей . С 2024 года он консультирует правительство США по вопросам оценки перспективных моделей через Институт безопасности ИИ, который впоследствии стал Центром стандартов и инноваций в области ИИ.
Встреча в Дублине в пятницу станет первым саммитом ЕС, посвященным искусственному интеллекту на уровне лидеров. В своем приглашении председатель Европейского совета Антонио Коста написал, что «необходима первая специальная дискуссия на уровне лидеров», и предоставил возможность выступить на открытии двум приглашенным гостям: генеральному директору Mistral Артуру Меншу, который расскажет о суверенитете и конкурентоспособности Европы в области ИИ, и Хинтону, который расскажет о влиянии ИИ на общество, безопасность и международное управление.
Лидеры собрались в основном для обсуждения вопроса о том, как догнать США и Китай, и в этом направлении брюссельская программа InvestAI обещала мобилизовать 200 миллиардов евро, в том числе 20 миллиардов евро на гигафабрики ИИ, а план по созданию семи таких гигафабрик застопорился из -за споров по поводу бюджета блока на 2028-2034 годы . Повестка дня также была насыщена событиями, связанными с Украиной: Euronews сообщает, что спор о том, кто будет представлять Европу на мирных переговорах, грозит занять весь день после встречи американских посланников Стива Виткоффа и Джареда Кушнера с Владимиром Зеленским в Дублине.
Хинтон оценил риск того, что ИИ уничтожит человечество, выйдя из-под контроля человека, в 10-20%. Бывший генеральный директор Nvidia Дженсен Хуанг в сентябре заявил, что цифра в 10 процентов, приведенная Хинтоном, «не основана на науке», сказав Эзре Кляйну: «Все его прогнозы оказались неверными. Хватит прогнозов».
Как мы отмечали в том же месяце, подобные инциденты с утечкой данных в Hugging Face , создающие угрозу для ИИ, часто помогают крупнейшим лабораториям: правила, замедляющие работу ИИ, также замедлят и конкурентов, стремящихся к более серьезным результатам.
Комментариев нет:
Отправить комментарий