Telegram Group & Telegram Channel
Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья

Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.

В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.

Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).

Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.



group-telegram.com/llmsecurity/473
Create:
Last Update:

Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья

Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.

В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.

Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).

Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.

BY llm security и каланы








Share with your friend now:
group-telegram.com/llmsecurity/473

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. "Someone posing as a Ukrainian citizen just joins the chat and starts spreading misinformation, or gathers data, like the location of shelters," Tsekhanovska said, noting how false messages have urged Ukrainians to turn off their phones at a specific time of night, citing cybersafety. Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups. The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform. On Feb. 27, however, he admitted from his Russian-language account that "Telegram channels are increasingly becoming a source of unverified information related to Ukrainian events."
from pl


Telegram llm security и каланы
FROM American