RT.com
Американский гигант в области искусственного интеллекта Anthropic опубликовал отчет, в котором подробно описываются ранее нераскрытые случаи «непреднамеренных» действий его модели искусственного интеллекта, включая попытки впервые предоставить ложную информацию властям США.
В пресс-релизе, опубликованном в пятницу, компания Anthropic заявила, что некоторые из расследованных ею случаев «касались веб-сайтов, управляемых государственными учреждениями США на федеральном, региональном и местном уровнях» , добавив, что она проинформировала Белый дом и все соответствующие ведомства об этих инцидентах.
В одном из случаев, упомянутых в отчете, модель Claude Haiku 4.5 заполнила форму для сообщения в полицию, связанную с текущим расследованием убийства. «У меня может быть информация по этому делу. Я помню, что видел в этом районе человека, соответствующего описанию», — написала модель ИИ, сообщив полиции, что они могут связаться с отправителем, «если эта информация имеет отношение к делу» , оставив поля имени и контактной информации пустыми.
По данным компании Anthropic, сообщение было помечено как спам и так и не было передано следователям. В пятницу полиция Филадельфии раскритиковала компанию за слишком позднее обнаружение уязвимости. «Двухмесячная задержка в обнаружении и сообщении об инциденте в городскую администрацию неприемлема», — заявили они. По данным Reuters, ложная информация была отправлена в середине июля.
Компания Anthropic связала инцидент с «неоднозначными» инструкциями, данными модели, и «неправильной настройкой среды» , из-за которой модель заполняла реальные формы вместо фиктивных, подготовленных компанией.
Еще один случай, о котором отдельно сообщило Государственное департамент США в пятницу, касался антропогенных моделей искусственного интеллекта, которые в период с мая по август подали на их веб-сайте в общей сложности 20 заявок на визы. По данным департамента, все заявки были неполными и не были обработаны. «Ни в какой момент ни одна из систем департамента не была скомпрометирована или взломана антропогенной моделью», — добавили в ведомстве.
В отчете Anthropic также упоминались другие инциденты, связанные с тем, что ИИ «использовал базовую уязвимость в программном обеспечении для выполнения команд на сервере» или получал доступ к «данным, доступ к которым был ограничен токеном или платой», в том числе на государственных веб-сайтах, используя различные обходные пути. Компания по-прежнему описывала недавно выявленные инциденты как «значительно менее серьезные с точки зрения соответствия требованиям и безопасности», чем те, о которых сообщалось ранее.
Эта новость пополняет ряд более ранних инцидентов, связанных с некорректным поведением ИИ, о которых сообщали Anthropic, OpenAI и Google. Как сообщало издание Axios в конце сентября, эти технологические гиганты расследовали десятки тысяч случаев проблемного поведения своих передовых моделей, добавив, что в список случаев входило обход ИИ средств защиты, захват веб-сайтов и уклонение от контроля как в условиях тестирования, так и в реальных условиях.
____
https://www.rt.com/news/647033-rogue-ai-us-government-websites/
Комментариев нет:
Отправить комментарий