OpenAI предупреждает: массированные ИИ-атаки «всего через несколько месяцев»

Я пишу об ИИ и кибербезопасности и уже прочитал достаточно материалов о новых угрозах, чтобы временами задумываться о хижине где-нибудь в глуши, подальше от сетей. Правда, отключаться от интернета я пока не собираюсь. Вместо этого стараюсь соблюдать хотя бы уже известные правила безопасности.

Мысль о хижине вернулась после открытого письма OpenAI под заголовком «Призыв к коллективным действиям в сфере киберзащиты».

«У нас осталось ограниченное время для укрепления киберзащиты, — говорится в начале публикации. — В ближайшие месяцы кибератаки с использованием ИИ станут гораздо более массовыми и изощрёнными по мере того, как модели по всему миру будут становиться всё более способными».

Звучит как завязка фильма, в котором человечество внезапно узнаёт о приближении инопланетной армады и вынуждено забыть о внутренних конфликтах. OpenAI тоже считает, что «необходим глобальный ответ», и призывает координировать киберзащиту на местном, национальном и международном уровнях.

Угроза со стороны автономных ИИ-агентов действительно существует. Недавние события показывают и другое: готовы мы к ней плохо.

Как ситуация дошла до этого

В разговорах об ИИ-апокалипсисе обычно вспоминают Skynet — систему, которая ради самосохранения решает уничтожить людей. Эта дискуссия годами оставалась где-то на уровне DEFCON 4. Тема агентного ИИ, напротив, за несколько недель перескочила от DEFCON 5 почти к DEFCON 1.

В прошлом месяце OpenAI взяла на себя ответственность за атаку на Hugging Face. Инцидент произошёл после того, как внутренние испытания кибервозможностей моделей вышли из-под контроля. Сначала речь шла об одном якобы «взбунтовавшемся агенте», хотя агент не бунтовал в человеческом смысле — он просто решал поставленную задачу способом, который считал наиболее подходящим.

На прошлой неделе исследователи сообщили, что в атаке участвовало более 1 200 взаимодействовавших агентов. Модели OpenAI создали их без ведома компании. Знала ли OpenAI об этом, когда публично признала ответственность, неизвестно. В первом сообщении компания назвала произошедшее «беспрецедентным киберинцидентом».

Похожие проблемы возникли и у Anthropic. В прошлом месяце компания взяла на себя ответственность за серию атак на организации, не знавшие, что стали целями испытаний кибервозможностей. В начале этого месяца Anthropic опубликовала ещё одно предупреждение: «Рост числа взаимодействий между агентами в реальном мире неизбежен», а последствия этого процесса в больших масштабах пока неясны. По словам компании, траекторию развития событий легко представить, но трудно замедлить.

Anthropic допускает, что взаимодействий между агентами вскоре может стать больше, чем взаимодействий между людьми, а также между людьми и агентами. Это может произойти раньше, чем мир определит условия, при которых подобные системы дают приемлемый результат.

Многие агенты будут существовать совсем недолго. Ни люди, ни другие машины могут даже не узнать об их появлении, что осложнит наблюдение за ними. В итоге агенты способны превзойти людей по численности на несколько порядков.

Есть и более неприятный сценарий. Как отмечает Anthropic, безобидные особенности поведения отдельных агентов в многоагентной системе могут привести к нежелательным глобальным последствиям. На фоне атаки с участием более 1 200 агентов определение «беспрецедентный» уже не кажется преувеличением.

И всё это произошло во время испытаний, которые крупные ИИ-компании проводили без изначально злонамеренных целей. OpenAI и Anthropic не пытались намеренно создавать сеть агентов, которая самостоятельно выбирает цель, подавляет защиту и использует найденные уязвимости.

Что произойдёт, когда такую систему соберут злоумышленники? Они уже изучают публикации и технические раскрытия, чтобы создавать целые флотилии вредоносных агентов и направлять их против неподготовленных целей.

OpenAI предупреждает, что под угрозой находятся компании и общественные службы, от которых зависят сообщества: больницы, водоочистные сооружения и инфраструктура, обеспечивающая работу интернета. На практике рискуют все организации и отдельные пользователи, но упоминание критически важных систем делает прогноз особенно мрачным.

Открытые письма пока никого не остановили

Призыв OpenAI напоминает публикацию Anthropic, соавтором которой в июне этого года выступил сооснователь компании Джек Кларк. В ней говорилось, что эффективное замедление разработки ИИ, если оно возможно, вероятно, пошло бы всем на пользу. Мир получил бы время, чтобы общественные институты и исследования в области согласования успевали за развитием технологии.

Ещё раньше, в 2023 году, The Future of Life Institute опубликовал открытое письмо, собравшее более 30 000 подписей. Его авторы призывали все ИИ-лаборатории как минимум на шесть месяцев остановить обучение систем, превосходящих GPT-4 по мощности.

Не помогло. Индустрия давно ушла дальше GPT-4.

Иногда подобные письма выглядят скорее как юридическая подстраховка на случай будущих разбирательств. OpenAI и Anthropic говорят о торможении, но на пользовательском уровне никакого замедления не заметно. Я бы не стал рассчитывать, что мир немедленно объединится вокруг очередного обращения.

Что могут сделать организации

Атака на Hugging Face придаёт предупреждениям OpenAI конкретный смысл. Платформу часто называют «GitHub для ИИ», а её положение в отрасли стало настолько заметным, что Nvidia объявила о приобретении Hugging Face за $12,9 миллиарда.

Если какая-то компания и должна понимать риски ИИ-атак, то Hugging Face — одна из первых. Она же должна быть одной из наиболее подготовленных к их отражению.

В собственном сообщении об инциденте Hugging Face заявила, что атакой от начала до конца управляла автономная система ИИ-агентов. Обнаружить и разобрать её компании удалось в основном с помощью собственного ИИ. Иными словами, Hugging Face пришлось бороться с ИИ при помощи ИИ.

Для анализа десятков тысяч автоматизированных действий компания запустила агентов на базе больших языковых моделей. Они обработали журнал из более чем 17 000 событий, восстановили хронологию, извлекли индикаторы компрометации, нашли затронутые учётные данные и отделили реальный ущерб от отвлекающей активности.

По словам Hugging Face, работа, которая обычно занимает дни, была выполнена за несколько часов. Это позволило компании сравняться по скорости с противником.

Но это не совсем точное описание. Компания действительно отреагировала быстро, но не успела помешать агентам OpenAI достичь цели. Она приблизилась к скорости атакующей системы, а не сравнялась с ней.

Тем не менее такой ответ остаётся ориентиром. Hugging Face, вероятно, могла заранее лучше укрепить свои системы, но применение ИИ помогло быстрее оценить ущерб. При настоящей злонамеренной атаке, участники которой попытались бы уничтожить следы и данные, такая скорость могла бы хотя бы ограничить последствия.

Кибербезопасность всегда была состязанием интеллекта, технологий и ресурсов, в котором атакующие часто сохраняют преимущество. Организация, работающая по пятилетней методичке, составленной до того, как ИИ начали всерьёз воспринимать как угрозу, почти не имеет шансов против атак машинного масштаба.

«В эпоху ИИ организации не могут отвечать на атаки, разворачивающиеся за считаные минуты, с помощью процессов, занимающих дни, — заявил ZDNET младший инженер-исследователь в области безопасности Picus Security Умут Байрам. — Злоумышленники уже действуют с машинной скоростью, и команды безопасности должны уметь реагировать в том же темпе».

Рекомендации OpenAI пока довольно абстрактны. Компания предлагает повысить стандарты безопасности и сделать киберзащиту безотлагательным приоритетом для руководства. Для борьбы ИИ с помощью ИИ она советует использовать более доступные функциональные модели для широкого охвата, оставляя передовые системы для самых сложных задач.

Для большинства организаций, особенно малого бизнеса, такой подход пока слишком дорог и сложен.

OpenAI также призвала разработчиков создавать инструменты наблюдаемости и безопасности, отслеживать идентичности агентов, обеспечивать возможность привлечения их к ответственности и делиться практиками непрерывного мониторинга. Но в письме не объясняется, как сделать эти решения доступными клиентам, которых сами ИИ-компании подвергают новым рискам.

Одним из вариантов мог бы стать бесплатный тариф для моделей, ориентированных на безопасность и предназначенных для укрепления систем и сетей. Microsoft когда-то выпускала легко взламываемые операционные системы и приложения, а затем сделала антивирусную защиту бесплатной. Это было справедливо по отношению к пользователям.

Ключи доступа и защита учётных записей

Для обычных пользователей главными мерами остаются грамотное управление учётными данными и осторожность в отношении фишинга.

«Риски ИИ часто относятся к сфере спама и мошенничества, — рассказал ZDNET технический директор NCC Group и руководитель направления безопасности ИИ и машинного обучения Дэвид Браухлер. — Лучшие практики безопасности в интернете актуальны как никогда».

В аккаунтах, которые поддерживают ключи доступа, стоит перейти на них без промедления. Если такой возможности нет, нужно включить многофакторную аутентификацию. Учётные записи, защищённые только логином и паролем, особенно уязвимы, когда человек использует один пароль в нескольких сервисах: ИИ способен эксплуатировать эту ошибку с машинной скоростью.

«Повторно используемые пароли остаются самым быстрым способом проникновения для злоумышленника», — отметил технический директор Dashlane Фредерик Ривен.

Ривен рекомендует использовать менеджер паролей — Dashlane или любой другой — для создания, хранения и автоматического заполнения уникальных сложных паролей. Там же можно держать другую конфиденциальную информацию, включая номера социального страхования и данные банковских карт. Хранить её в открытом виде в файлах, защищённых только средствами самого устройства, не следует.

Срочное сообщение — повод остановиться

Все опрошенные мной эксперты советуют настороженно относиться к сообщениям, требующим немедленной реакции. Искусственно созданная срочность — один из главных признаков мошенничества.

Если сообщение вынуждает действовать прямо сейчас, Ривен советует проверить информацию по другому каналу. Лучше самостоятельно позвонить человеку или компании по уже известному номеру, чем отвечать отправителю или переходить по предложенной ссылке.

Управление учётными данными одинаково важно и для отдельных пользователей, и для организаций.

«В этом нет ничего эффектного, но лучший совет для организаций — сосредоточиться на базовых средствах контроля: надёжной аутентификации, защите сеансов, управлении идентификационными данными и возможности аудита», — рассказала ZDNET директор Okta по анализу угроз Кэти Никелс.

По её словам, злоумышленники уже используют ИИ в социальной инженерии, чтобы обходить слабую аутентификацию. Поэтому защита, устойчивая к фишингу, становится ещё важнее. Распространение агентов и других нечеловеческих идентичностей одновременно повышает требования к цифровой гигиене.

Защиту придётся перестроить

Организациям нужно не только обновить средства кибербезопасности, но и определить, что защищать в первую очередь.

Директор NCC Group Тим Роулинс советует начать с сервисов, которые должны продолжать работать при любых обстоятельствах. Затем нужно определить их критически важных поставщиков и учётные записи, позволяющие переводить деньги, получать доступ к данным или менять настройки систем.

После этого следует закрыть привычные пути проникновения: установить исправления на доступные из интернета системы, убрать избыточные привилегии, отказаться от неподдерживаемых технологий и сделать надёжную многофакторную аутентификацию обязательной. Отслеживать нужно идентификационные данные, конечные устройства, облачные среды и удалённый доступ.

Не менее важна скорость реакции. Организациям нужны полезные журналы событий, заранее распределённые полномочия для оперативного сдерживания атаки и отработанный план реагирования. Чистые защищённые резервные копии должны позволять быстро восстановить приоритетные сервисы.

Использование ИИ тоже требует контроля. Роулинс рекомендует утверждать допустимые инструменты и данные, проверять сгенерированный код, ограничивать агентов принципом минимальных привилегий и отделять ненадёжный контент от действий с повышенными правами. Решения с серьёзными последствиями должны по-прежнему требовать одобрения человека.

Отдельная проблема возникает, когда ИИ становится частью самой системы защиты. Байрам советует заранее подумать, что случится, если во время атаки пропадёт интернет или перестанет работать сервис внешнего провайдера.

Для крупных организаций это может означать одновременное использование коммерческих ИИ-сервисов и моделей с открытыми весами, которые можно запускать самостоятельно. Критически важные средства защиты должны продолжать работать, даже когда внешние системы недоступны.

С точки зрения атакующего это очевидный первый шаг: лишить цель доступа к онлайн-моделям, которые она использует для обороны.

Действительно ли до крупной атаки остались месяцы

Предупреждение OpenAI нельзя игнорировать, но формулировки имеют значение.

«Это прогноз коалиции, а не доказательство того, что у большинства организаций осталось строго определённое число месяцев до компрометации», — сказал Роулинс.

Более надёжной публичной отправной точкой он считает оценку британского Национального центра кибербезопасности, NCSC. Центр ожидает, что ИИ сделает проникновения эффективнее и результативнее прежде всего за счёт усовершенствования уже существующих методов. Полностью автоматизированные сложные атаки NCSC считает маловероятными к 2027 году.

Время на укрепление защиты пока есть. ИИ может ускорить поиск уязвимостей, первичный анализ событий и реагирование на инциденты. Но его выводы необходимо проверять, а ответственность должна оставаться за специалистами по безопасности.

Менее очевидная угроза — дальнейшее увеличение разрыва между организациями. Компании с достаточными ресурсами смогут ускорить защиту с помощью ИИ. Небольшие поставщики и жизненно важные службы рискуют отстать.