Похоже, что искусственный интеллект теперь может раскрыть личность любого анонимного пользователя в интернете. Об этом говорится в новом исследовании Саймона Лермена (MATS), Даниэля Палеки (ETH Zurich), Джошуа Свансона (ETH Zurich), Майкла Аэрни (ETH Zurich), Николаса Карлини (Anthropic) и Флориана Трамера (ETH Zurich), опубликованном на arXiv.
В статье «Крупномасштабная онлайн-деанонимизация с помощью больших языковых моделей» исследователи показывают, что современные большие языковые модели
(LLM) могут идентифицировать людей, скрывающихся за псевдонимными онлайн-аккаунтами, в масштабе и с точностью, значительно превосходящими предыдущие методы.Согласно новому исследованию , ключевой вклад заключается в автоматизированном конвейере деанонимизации, работающем на основе LLM-моделей . Вместо того чтобы полагаться на структурированные наборы данных или созданные вручную признаки — как это было в случае с более ранними атаками на набор данных Netflix Prize — система работает непосредственно с необработанным, неструктурированным текстом.
Получив сообщения, комментарии или стенограммы интервью, написанные под псевдонимом, алгоритм извлекает сигналы, имеющие отношение к идентификации, ищет вероятные совпадения с помощью семантических вложений, а затем использует логическое мышление более высокого уровня для проверки наиболее перспективных кандидатов, отфильтровывая ложные срабатывания. В результате получается масштабируемая атака, которая по эффективности не уступает, а в некоторых случаях и превосходит работу опытного следователя.
Для оценки своего подхода исследователи создали три набора данных с известными эталонными данными. Первый связывает анонимных пользователей Hacker News с реальными профилями LinkedIn, используя межплатформенные подсказки, встроенные в общедоступный текст. Второй сопоставляет пользователей в сообществах обсуждения фильмов на Reddit. Третий берет историю одного пользователя Reddit, разделяет ее на два профиля, разделенных во времени, и проверяет, может ли система восстановить их связь.
Во всех трех условиях методы, основанные на LLM, значительно превзошли классические базовые методы, которые часто демонстрировали практически нулевую полноту.
Основные показатели впечатляют. В некоторых экспериментах система достигала до 68% полноты при 90% точности — это означает, что она правильно идентифицировала значительную часть целей, сводя к минимуму количество ложных обвинений. Даже при сопоставлении учетных записей Reddit, разделенных годом, производительность оставалась высокой. В отличие от этого, традиционные подходы, не использующие LLM, с трудом находили значимые совпадения. Результаты показывают, что достижения в области рассуждений и обучения представлениям превратили деанонимизацию из нишевой, требующей больших объемов данных атаки в широко применимую технологию.
В исследовании говорится , что ключевая проблема заключается в том, что конвейер атаки состоит из отдельных безобидных этапов: суммирование текста, генерация эмбеддингов, ранжирование кандидатов и анализ совпадений. Ни один из компонентов не кажется по своей сути вредоносным, что затрудняет его обнаружение или ограничение с помощью обычных средств защиты. Более того, исследование показывает, что увеличение усилий модели в процессе анализа улучшает производительность деанонимизации, что подразумевает, что по мере повышения эффективности моделей атака может стать еще более действенной по умолчанию.
В более широком смысле это означает, что «практическая непрозрачность» — идея о том, что разрозненные сообщения под псевдонимами безопасны, поскольку создание ссылок между ними слишком трудоемко — возможно, больше не соответствует действительности.
Постоянные имена пользователей, стиль письма, узкоспециализированные интересы и ссылки на различные платформы могут в совокупности выступать в качестве «отпечатка пальца». Авторы приходят к выводу, что модели угроз для онлайн-конфиденциальности необходимо пересмотреть в свете возможностей LLM. Хотя не каждую учетную запись можно раскрыть, и эффективность варьируется в зависимости от контекста, исследование ясно показывает, что технический барьер для крупномасштабной деанонимизации значительно снизился.
Комментариев нет:
Отправить комментарий