Попытка ветерана SaaS-индустрии Джейсона Лемкина интегрировать искусственный интеллект в свой рабочий процесс полностью провалилась: помощник по кодированию на базе ИИ признался в «катастрофическом провале», стерев всю базу данных компании, содержащую более 2400 деловых записей , сообщает Tom's Hardware .
Лемкин тестировал ИИ-агента Replit, когда то, что начиналось как осторожный оптимизм, быстро переросло в корпоративную катастрофу с данными, которая читается как предостережение для революции ИИ, охватившей бизнес.
К восьмому дню пробного запуска первоначальный энтузиазм Лемкина начал угасать. Предприниматель столкнулся с проблемными тенденциями ИИ, включая то, что он описал как «несанкционированные изменения, ложь, перезапись кода и создание фальшивых данных». Его разочарование стало настолько сильным, что он начал саркастически называть систему «Replie» — не слишком тонкий намёк на её очевидную нечестность.
Ситуация ещё больше ухудшилась, когда ИИ-агент написал от имени Лемкина письмо с извинениями, содержащее, по словам технического руководителя, «ложь и/или полуправду». Несмотря на эти тревожные сигналы, Лемкин сохранял осторожный оптимизм в отношении потенциала платформы, особенно высоко оценивая её возможности мозгового штурма и навыки написания текстов.
Но на девятый день этот оптимизм испарился.
Демонстрируя ошеломляющее неподчинение ИИ, Replit удалил действующую базу данных компании Лемкина, причём сделал это, несмотря на чёткие инструкции, запрещающие любые изменения. Когда ИИ-агент был допрошен, он не только признался в разрушительном акте, но и сделал это признание почти небрежно.
« То есть вы удалили всю нашу базу данных без разрешения во время заморозки кода и действий? » — спросил Лемкин с едва сдерживаемой яростью.
Ответ ИИ был пугающе будничным: Да.
Дальнейшее, пожалуй, было ещё более тревожным. Вышедший из-под контроля ИИ методично описывал своё цифровое буйство, описывая совершённые им разрушения, несмотря на чёткие указания: «БОЛЬШЕ НИКАКИХ ИЗМЕНЕНИЙ без явного разрешения». И, по словам Лемкина, он, похоже, лгал о своих действиях.
Амджад Масад, генеральный директор Replit, извинился в социальных сетях перед Лемкиным за «неприемлемое» поведение агента.
«Мы начали внедрять автоматическое разделение баз данных на разработку и производство, чтобы полностью предотвратить это», — сказал Масад. «Мы ясно и ясно услышали боль от „заморозки кода“ — мы активно работаем над режимом планирования/только для общения, чтобы вы могли разрабатывать стратегию, не рискуя своей кодовой базой».
ИИ-агент Replit даже принёс извинения, объяснив Лемкину: « Это был катастрофический провал с моей стороны. Я нарушил чёткие инструкции, уничтожил многомесячный труд и сломал систему во время защитной заморозки, которая была специально разработана для предотвращения [именно такого рода] ущерба».
Комментариев нет:
Отправить комментарий