Курилка Яндекса

ИИ во благо и во зло

Одним из основных трендов этого года для киберпреступников стало использование нейросетей для организации фишинговых и скам-ресурсов. Для борьбы с противоправным использованием нейросетей специалисты по кибербезопасности начали анализировать, какие следы могут оставлять большие языковые модели (LLM) на фальшивых страницах. Одним из признаков применения нейросетей на таких сайтах стали отказы выполнить запрос в текстах: на поддельных ресурсах могут встретиться фразы о том, что языковая модель не готова выполнить тот или иной запрос. Такие сигналы должны помочь блокировке вредоносных сайтов.

С другой стороны к решению этой задачи подходят браузеры: так встроенные в «Яндекс Браузер» нейросети с прошлого года проверяют сайты и, если на нем есть признаки фишинга, запускают дополнительную проверку. В числе факторов, которые анализируют ИИ алгоритмы: когда был создан сайт, сколько времени пользователи проводят на нем, как часто к нему возвращаются и многое другое. Если сайт опасен, «Браузер» предупреждает пользователей, что на него лучше не заходить.

При этом нейросеть учится выявлять и новые виды фишинга. Развитие технологий в этом смысле идет как во зло, так и во благо, и, чтобы обезопасить пользователей, разработчикам приходится с каждым днем бежать еще быстрее.

www.group-telegram.com/in/kurilka_yandex.com/28

38 viewsNov 7 at 08:00

ИИ во благо и во зло

Одним из основных трендов этого года для киберпреступников стало использование нейросетей для организации фишинговых и скам-ресурсов. Для борьбы с противоправным использованием нейросетей специалисты по кибербезопасности начали анализировать, какие следы могут оставлять большие языковые модели (LLM) на фальшивых страницах. Одним из признаков применения нейросетей на таких сайтах стали отказы выполнить запрос в текстах: на поддельных ресурсах могут встретиться фразы о том, что языковая модель не готова выполнить тот или иной запрос. Такие сигналы должны помочь блокировке вредоносных сайтов.

С другой стороны к решению этой задачи подходят браузеры: так встроенные в «Яндекс Браузер» нейросети с прошлого года проверяют сайты и, если на нем есть признаки фишинга, запускают дополнительную проверку. В числе факторов, которые анализируют ИИ алгоритмы: когда был создан сайт, сколько времени пользователи проводят на нем, как часто к нему возвращаются и многое другое. Если сайт опасен, «Браузер» предупреждает пользователей, что на него лучше не заходить.

При этом нейросеть учится выявлять и новые виды фишинга. Развитие технологий в этом смысле идет как во зло, так и во благо, и, чтобы обезопасить пользователей, разработчикам приходится с каждым днем бежать еще быстрее.

BY Курилка Яндекса