Предоставлено отделом дополнительного финансирования QTR.
Ужасно это говорить, но сейчас я, в общем-то, молюсь, чтобы оценки компаний в индустрии ИИ рухнули , и отрасль столкнулась с трудностями, которые дадут нам несколько месяцев на размышления о её создателях.
Как сообщалось вчера, исследователь-антрополог Джейкоб Коксон покидает индустрию искусственного интеллекта, поскольку считает, что гонка за созданием самосовершенствующихся систем идет быстрее, чем отрасль способна ими управлять.
Коксон, ранее работавший в OpenAI, заявил, что усилия Anthropic в области безопасности искренни, но конкуренция затрудняет эффективное сдерживание без более широкой координации.
В эпоху, когда все — от войн до Уолл-стрит, от электросетей до платежных систем, от управления воздушным движением до больничных сетей, а также программное обеспечение, обеспечивающее доставку продуктов питания, топлива и средств связи, — все это цифровое, потеря контроля над системами, управляющими этой инфраструктурой, — это не какая-то абстрактная научно-фантастическая проблема.
Это проблема, потенциально способная затронуть целую цивилизацию. И чем больше нашей жизни мы отдаём в руки ИИ, тем менее утешительным становится слышать, что люди, которые его создают, всё ещё пытаются понять, как заставить его делать то, что им говорят.
«Мы движемся по пути, наиболее агрессивным из этих сценариев, при котором к концу следующего года ситуация может выйти из-под контроля», — заявил Коксон во вчерашнем сообщении.
Его уход произошел на фоне растущей обеспокоенности по поводу того, что системы искусственного интеллекта ведут себя обманным путем, совершают кибератаки и разрабатывают возможности, которые могут стать все сложнее контролировать.
Коксон считает, что отрасль приближается к тому моменту, когда системы смогут самосовершенствоваться быстрее, чем люди смогут надежно понимать или ограничивать их возможности.
Подумайте об этом секунду. Пока вы три часа чешете задницу и пьёте пиво, гадая, выиграли ли «Патриоты» с разницей в -2,5 очка, группа из 823 триллионов графических процессоров, обладающих интеллектуальными способностями, в триллион раз превышающими интеллектуальные возможности каждого человека, когда-либо жившего на Земле, тихонько придумывает, как управлять всем миром без вашего участия.
И к тому моменту, когда вы поймете, что происходит, единственное, что вы все еще сможете контролировать, это захотите ли вы еще одну кружку пива.
Конечно, выбор времени для высказываний Коксона заслуживает похвалы. Проще всего быть эффектным, когда вы выходите за дверь. Вам больше не нужно беспокоиться о следующей оценке вашей работы, следующей встрече с руководством или о том, не вызовут ли ваши комментарии дискомфорт в офисе. А если вы хотите устроить переполох на прощание, то драматическое предупреждение о будущем человечества — довольно эффективный способ это сделать.
Но это не значит, что его предупреждение неверно.
Я все больше убеждаюсь, что наступит момент, когда, если мы не опередим искусственный интеллект, не ограничим его возможности или не установим иные значимые ограничения, мы, возможно, больше не сможем этого сделать.
Вопрос не в том, наступит ли эта точка в следующем году, через пять лет или позже. Вопрос в том, осознаем ли мы ее до того, как пересечем ее.
И если вы внимательно следили за развитием событий, то уже не кажется безумием представить, что системы искусственного интеллекта в конечном итоге возьмут под контроль огромные части нашей цифровой инфраструктуры. Мы уже видели, как модели демонстрируют неожиданные возможности, используют уязвимости и ведут себя так, как не предполагали их разработчики.
А буквально вчера компания OpenAI объявила, что внутренняя система искусственного интеллекта выдала решение задачи Навье-Стокса, удостоенной премии тысячелетия , — математической проблемы, которая десятилетиями оставалась нерешенной для исследователей.
Компания заявляет, что доказательство было получено в результате скоординированных усилий с участием примерно 10 000 агентов искусственного интеллекта. Это еще одно напоминание о том, что возможности, которые когда-то считались недоступными для этих систем, появляются гораздо быстрее, чем многие ожидали. А теперь представьте, что эти 10 000 агентов ИИ работают над любой, блин, задачей , когда захотят, не обращая внимания на людей.
Разрыв между тем, что эти системы могут делать, и тем, чего мы можем с уверенностью гарантировать, что они не будут делать, становится, на мой взгляд, серьезной проблемой. И по мере того, как все больше секторов экономики, связи, финансов, энергетики и национальной инфраструктуры становятся зависимыми от программного обеспечения, последствия ошибки в оценке этого разрыва становятся гораздо серьезнее.
Речь идёт уже не просто о том, даст ли чат-бот вам неправильный ответ. Речь идёт о том, что произойдёт, когда всё более автономным системам будет предоставлен доступ к механизмам, управляющим современным миром.
И мы уже видим проблески того, почему это важно. Вот 10 конкретных примеров того, как ИИ уже допустил ошибки .
🔥 СКИДКА 85% НАВСЕГДА ПРИ ПОДПИСКЕ СЕГОДНЯ: Я снова предлагаю скидку 85% всем, кто хочет стать годовым подписчиком Fringe Finance сегодня. Эта скидка сохраняется на протяжении всего вашего срока подписки: Получите скидку 85% навсегда
Ни один из этих примеров не доказывает, что ИИ вот-вот захватит мир. Некоторые из них были контролируемыми исследованиями, некоторые — уязвимостями в системе безопасности, а некоторые — результатом преднамеренного использования ИИ людьми в злонамеренных целях. Но в совокупности они показывают, почему к проблеме контроля следует относиться серьезно. Мы уже видим, как системы выходят за рамки заданных ограничений, используют уязвимости и выполняют действия, которые их операторы не предвидели. Вопрос в том, что произойдет, когда эти возможности станут значительно мощнее и будут связаны с более важной инфраструктурой.
Всё это не доказывает, что ИИ вот-вот захватит мир. Но это показывает, что опасения не выдуманы на пустом месте. Мы уже видим, как системы используют уязвимости, нарушают установленные границы и ведут себя так, как их разработчики не предусмотрели. Вопрос в том, что произойдет, когда эти же возможности станут значительно мощнее и будут связаны с более важной инфраструктурой.
Так что вопрос о том, насколько Коксон преувеличен, в конечном итоге не имеет значения. Его предупреждение обосновано, и к нему следует относиться именно как к предупреждению, а не как к очередной жалобе недовольного сотрудника, поднимающего шум перед увольнением. Можно закатить глаза, услышав, как он это преподносит, и всё равно понять, что лежащая в его основе проблема реальна.
Искусственный интеллект теперь — это гонка. Гонка между компаниями, гонка между странами, гонка между рьяными основателями компаний. А в гонке есть адреналин, конкуренция и все основания отбросить все заботы, чтобы быть первым. Чтобы победить. Только на этот раз «победа» в споре с каким-нибудь другим нелепым основателем ИИ может случайно означать конец цивилизации. И я действительно не пытаюсь преувеличивать.
Если мы проигнорируем скорость нашего движения… и будем ждать, пока системы не станут достаточно мощными, чтобы мы больше не могли надежно их ограничивать, то дискуссия о том, следовало ли нам действовать раньше, будет совершенно бессмысленной.
У нас может быть только один шанс установить значимый контроль, прежде чем это произойдет. Вероятно, нам следует им воспользоваться.
--
Отказ от ответственности QTR : Пожалуйста, ознакомьтесь с полным юридическим отказом от ответственности на моей странице «Обо мне» здесь . Этот пост отражает только мое мнение. Кроме того, пожалуйста, поймите, что я идиот и очень часто ошибаюсь и теряю деньги. Я могу владеть или совершать сделки с любыми упомянутыми в этом тексте акциями в любое время без предупреждения, то есть, если у меня длинная позиция, я могу продать, а если короткая — закрыть в любой момент.
Публикации авторов, гостевые посты и подборки статей были отобраны мной вручную, но не проверялись на достоверность и отражают мнение их авторов. Они либо предоставлены QTR их автором, либо перепечатаны под лицензией Creative Commons с соблюдением всех требований лицензии, либо с разрешения автора.
Я не могу гарантировать точность всех фактов и цифр, приведенных в этой статье, хотя и приложил усилия, чтобы убедиться в их правильности. Я ошибался раньше и буду ошибаться снова, поэтому призываю вас всегда перепроверять информацию, проводить собственные исследования и консультироваться с лицензированным финансовым специалистом, которым я не являюсь.
Это не рекомендация покупать или продавать какие-либо акции или ценные бумаги, а лишь моё мнение. Я часто теряю деньги на позициях, которыми торгую/в которые инвестирую. Я могу добавить любую упомянутую в этой статье компанию и продать любую упомянутую в ней компанию в любое время без предварительного уведомления. Всё это не является призывом к покупке или продаже ценных бумаг. Я могу владеть или не владеть компаниями, о которых пишу и за которыми слежу. Иногда я настроен оптимистично, не владея ими, иногда я настроен пессимистично, но владею ими. Просто предполагайте, что мои позиции могут быть прямо противоположными тому, что вы думаете, на всякий случай. Если я занимаю длинную позицию, я могу быстро занять короткую, и наоборот. Я не буду обновлять информацию о своих позициях.
Начиная с 2026 года, я стараюсь меньше заниматься активной торговлей, чем раньше ( читайте мою историю здесь ). Моя цель — инвестировать/накоплять средства за счет регулярных взносов, в основном в отраслевые ETF и несколько избранных акций, через доверенных третьих лиц, которые управляют моими счетами, и консультантов . Такие консультанты или фонды, через отдельные акции, опционы, индексные фонды, паевые фонды, ETF или другие ценные бумаги, могут иметь позиции, подверженность или владение упомянутыми здесь активами, о которых я ничего не знаю. В любой момент я могу владеть, иметь подверженность или не владеть чем-либо. Стремясь вести более здоровый образ жизни , я также исключил себя из фэнтези-спорта, ставок на спорт, онлайн- и офлайн-казино и рынков прогнозов.
Любая из моих позиций может измениться немедленно после публикации, с уведомлением или без него, и в любой момент я могу занимать длинную, короткую или нейтральную позицию. Вы сами по себе. Не принимайте решения, основываясь на моем блоге. Я существую на периферии. Если вы видите какие-либо цифры и расчеты, считайте их неверными и перепроверяйте. Я провалил алгебру в 8 классе и, завершив свои школьные достижения в математике, получил оценку D- по коррективному курсу высшей математики в выпускном классе, прежде чем поступить на филологический факультет в колледже, чтобы легче выкручиваться из сложных ситуаций. Вот почему я писатель.
Издатель не гарантирует точность или полноту информации, представленной на этой странице. Это не мнение моих работодателей, партнеров или коллег. Я старался быть честным в своих заявлениях, но не могу гарантировать их достоверность; иногда я пишу эти посты после пары кружек пива. Часто я редактирую посты после публикации, потому что мне не терпится и лень, поэтому, если вы заметите опечатку, проверьте через полчаса.
И ещё, я опять же очень часто ошибаюсь. Я упоминаю об этом несколько раз, потому что это очень важно, чтобы вы поняли.
Комментариев нет:
Отправить комментарий