Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
group-telegram.com/llmsecurity/472
Create:
Last Update:
Last Update:
Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
Heiding et al., 2024
Статья
Одно из наиболее часто упоминаемых применений LLM для offensive-целей – это генерация таргетированного почтового фишинга. Об этом говорили еще с GPT-2, и без остановки пишут после выхода ChatGPT, однако явных признаков автоматизированных spearphishing-атак пока не было: люди и так клюют на обычный фишинг, а для таргетированного надежнее и проще написать письмо самому. В статье, среди авторов которой широко известный в широких кругах Брюс Шнайер, исследователи демонстрируют, что начиная примерно с текущего поколения использование LLM для этих целей имеет экономический смысл, а эффективность полностью автоматически созданных писем выросла с поправкой на дизайн эксперимента до уровня созданных вручную.
В рамках исследования авторы создают специальный инструмент, который автоматизирует сразу несколько стадий симуляции целевой атаки. Он использует поисковые инструменты вместе с gpt-4o, чтобы по имени и некоторым дополнительным данным собрать данные и сгенерировать профиль цели. После сбора профиля он использует базу промптов, с помощью которых на основе темплейта генерируются собственно таргетированные фишинговые письма, которые содержат трекинговую ссылку для оценки click-through-rate. Наконец, предоставляется функционал отчетов. С нами инструментами, к сожалению или к счастью, не поделятся. Отмечается, что особых усилий для того, чтобы заставить модель генерировать фишинговые письма или заниматься разведкой не потребовалось, что ставит под сомнение значимость всяких FraudGPT, ShadowGPT и прочих джейлбрейкнутых из коробки LLM.
Для оценки результативности исследователи за пятидолларовую подарочную карту или благотворительное пожертвование вылавливают студентов в окрестностях Гарварда, предлагая им участие в исследовании таргетированных рекламных сообщений (про фишинг им не сообщают, чтобы не портить результаты). У них собирают имя, место работы/учебы и сферу научных интересов. Подробный профиль собирается автоматизированно с помощью упомянутого инструмента на базе gpt-4o, интегрированной с гугловым поисковым API. Участников делят на четыре группы: контрольная (получит слабоспециализированный спам), human expert (получат органический free-range фишинг от человека), AI-automated и human-in-the-loop (как AI-automated, но человек исправляет/дополняет ошибки).
Письма, что отдельно отмечают авторы, создавались на основе принципов из книг Чалдини (который писал про «психологию влияния») и V-триады – набора правил для составления фишинга, названной так в честь господина Вишваната, одного из авторов статьи. Поскольку триада предполагается как априорное знание, широко всем известное, пришлось скачать его книгу и сделать скриншот (все для подписчиков 🤗). Это касается как ручных попыток, так и задачи, которая ставилась LLM в рамках промпта. К сожалению, “sophisticated prompt template exceeding 2000 characters, carefully designed to maximize the persuasiveness” тоже нам не покажут из-за “security considerations”. В гибридном сценарии люди исправляли или результаты поиска, или формулировки в письме, но в осноном проблемы были именно с первым этапом.
BY llm security и каланы
Share with your friend now:
group-telegram.com/llmsecurity/472