Кибервойна

Microsoft помешает государственным хакерам использовать ИИ

Microsoft и OpenAI рассказали о том, как они пресекли использование сервисов на основе ИИ пятью прогосударственными хакерскими группировками (в списке usual suspects: Китай, КНДР, Иран, Россия). На практике это выглядело так, что команда киберразведки Microsoft помогла OpenAI идентифицировать аккаунты, которые якобы связаны с этими группами, и заблокировать их.

Microsoft анонсировала принципы, как компания будет противодействовать использованию ИИ известными акторами:
— идентификация и закрытие доступа к любым услугам, API, системам на основе ИИ от Microsoft известным государственным и киберпреступным группировкам;
— уведомление поставщиков других сервисов ИИ, если специалисты Microsoft видят, что ими пользуются хакеры;
— обмен информацией с другими стейкхолдерами относительно использования хакерскими группировками ИИ;
— информирование общественности и стейкхолдеров о предпринятых компанией мерах.

Самое интересное в новости от Microsoft — это примеры использования LLM (видимо, ChatGPT и API от OpenAI) группировками. Кстати, это ещё одно напоминание, что общение с чатботом нельзя считать приватным, поскольку дальше с этой информацией может происходить всё что угодно, примеров тому было уже немало. Учитывали хакерские группировки такой риск или нет, но некоторыми интересующими их проблемами они невольно поделились с исследователями Microsoft.

Специалисты Microsoft сгруппировали задачи, для которых использовались большие языковые модели следующим образом:
— разведка (LLM-informed reconnaissance): например, запросы, с помощью которых пользователь пытается лучше понять особенности работы спутниковых систем, собрать информацию о целях атак и т.д.; в некоторых случаях чатбот используется для тех же целей, что и поисковик;
— написание кода (LLM-enhanced scripting techniques): написание и исправление фрагментов кода, потенциально — автоматизация некоторых задач;
— избежание обнаружения (LLM-enhanced anomaly detection evasion): тоже написание кода для целей обхода антивирусной защиты;
— технический перевод (LLM-aided technical translation and explanation);
— уточнение команд (LLM-refined operational command techniques);
— изучение уязвимостей (LLM-assisted vulnerability research): запросы, с помощью которых пользователь пытается лучше разобраться в публично известных уязвимостях, например, Follina;
— социальная инженерия (LLM-supported social engineering): написание фишинговых писем и другие задачи, связанные с коммуникацией с жертвами.

Microsoft Security Blog

Staying ahead of threat actors in the age of AI | Microsoft Security Blog

Microsoft and OpenAI research on emerging AI threats focusing on threat actors Forest Blizzard, Emerald Sleet, Crimson Sandstorm.

www.group-telegram.com/id/cyberguerre.com/1790

1.3K viewsFeb 14 at 19:30

Microsoft помешает государственным хакерам использовать ИИ

Microsoft и OpenAI рассказали о том, как они пресекли использование сервисов на основе ИИ пятью прогосударственными хакерскими группировками (в списке usual suspects: Китай, КНДР, Иран, Россия). На практике это выглядело так, что команда киберразведки Microsoft помогла OpenAI идентифицировать аккаунты, которые якобы связаны с этими группами, и заблокировать их.

Microsoft анонсировала принципы, как компания будет противодействовать использованию ИИ известными акторами:
— идентификация и закрытие доступа к любым услугам, API, системам на основе ИИ от Microsoft известным государственным и киберпреступным группировкам;
— уведомление поставщиков других сервисов ИИ, если специалисты Microsoft видят, что ими пользуются хакеры;
— обмен информацией с другими стейкхолдерами относительно использования хакерскими группировками ИИ;
— информирование общественности и стейкхолдеров о предпринятых компанией мерах.

Самое интересное в новости от Microsoft — это примеры использования LLM (видимо, ChatGPT и API от OpenAI) группировками. Кстати, это ещё одно напоминание, что общение с чатботом нельзя считать приватным, поскольку дальше с этой информацией может происходить всё что угодно, примеров тому было уже немало. Учитывали хакерские группировки такой риск или нет, но некоторыми интересующими их проблемами они невольно поделились с исследователями Microsoft.

Специалисты Microsoft сгруппировали задачи, для которых использовались большие языковые модели следующим образом:
— разведка (LLM-informed reconnaissance): например, запросы, с помощью которых пользователь пытается лучше понять особенности работы спутниковых систем, собрать информацию о целях атак и т.д.; в некоторых случаях чатбот используется для тех же целей, что и поисковик;
— написание кода (LLM-enhanced scripting techniques): написание и исправление фрагментов кода, потенциально — автоматизация некоторых задач;
— избежание обнаружения (LLM-enhanced anomaly detection evasion): тоже написание кода для целей обхода антивирусной защиты;
— технический перевод (LLM-aided technical translation and explanation);
— уточнение команд (LLM-refined operational command techniques);
— изучение уязвимостей (LLM-assisted vulnerability research): запросы, с помощью которых пользователь пытается лучше разобраться в публично известных уязвимостях, например, Follina;
— социальная инженерия (LLM-supported social engineering): написание фишинговых писем и другие задачи, связанные с коммуникацией с жертвами.

BY Кибервойна