Telegram Group & Telegram Channel
💙 SIEM: что под капотом новой системы мониторинга безопасности?

Наши инженеры SOC разработали и запустили собственную SIEM:

🔹 Модульная система, которая способна обрабатывать очень большое количество данных. Она объединяет как новые, так и успешно зарекомендовавшие себя инженерные решения VK.

🔹 Инфраструктура размещена в едином облаке VK (OneCloud) – там же, где находятся сервисы ВКонтакте, Одноклассников, Дзен, VK Видео и других сервисов VK. Что это значит? Огромные вычислительные мощности и масштабируемость, что делает VK SIEM невероятно быстрым.

Дмитрий Куколев, руководитель VK SOC, рассказывает, как устроена VK SIEM и что изображено на схеме:

1️⃣ Модуль нормализации: преобразование «сырых» логов в CEF+
Для обработки всех поступающих событий мы используем универсальную схему Common Event Format, но постоянно расширяем ее (сейчас она содержит 300+ полей).
🔹 Для нормализации событий используем Vector.dev.

2️⃣ Модуль обогащения: наша реализация «активных листов»
Сразу на потоке добавляем контекст, чтобы уже на моменте корреляции получать всю необходимую информацию о событии.
🔹 Реализовали функционал «статических активных листов» (обновление списков обогащения раз в несколько часов) и «динамических активных листов» (обновление списков обогащений несколько раз в минуту на основе информации из предыдущих событий). Один из сценариев «динамических активных листов» – обновления на основе результатов коррелятора.

3️⃣ Хранилище обогащений
Key-value хранилище, источник модуля обогащения.

4️⃣ Коррелятор
Потоковый коррелятор событий, который анализирует на скоростях в миллионы EPS. Может легко масштабироваться без потери производительности. Все правила написаны и обновляются нашими аналитиками.
🔹 Также дополнительно разрабатываем «ретроспективный» коррелятор для корреляции и поиска IoC в логах, автоматически записанных в наши базы данных.

5️⃣ Пользовательский интерфейс (UI) для аналитиков SOC
Используем OpenSearch Dashboards: во-первых, чтобы сохранить пользовательский опыт наших инженеров (это очень удобный инструмент для работы с логами и выявления аномалий), а во-вторых, это Open Source, который мы можем использовать как конструктор и дорабатывать под наши потребности.

6️⃣ Холодное хранилище
Выбрали YTSaurus как успешно зарекомендовавшее себя внутри VK (и не только) решение для распределенного хранения данных, особенно, с потенциалом для масштабирования. Наша задача – получать доступ к логам, полученные минимум за последние полгода, а в идеале – без ограничения по сроку.

7️⃣ Индексатор
Разработали модуль индексации, чтобы обеспечить быстрый полнотекстовый поиск по петабайтам событий и возможностью сложных агрегаций.

8️⃣ Горячее хранилище
Чтобы максимально быстро находить актуальные события, в нашей архитектуре предусмотрено горячее хранилище. В сочетании с индексатором это дает аналитикам возможность за несколько секунд получать доступ к данным за последние 3 месяца.
🔹 Здесь используем Click House, который предоставляется в нашей инфраструктуре как сервис.

9️⃣ Транслятор
Так как наше модульное решение включает ClickHouse (горячее хранилище), YTSaurus (холодное хранилище), собственный индексатор и ядро OpenSearch Dashboard (только UI, от хранения событий в OpenSearch мы сознательно отказались), то для их объединения и бесшовного функционирования нам понадобилось создать транслятор.
🔹Используя внешний индексатор, он преобразовывает запросы пользователя в базы данных, а затем снова преобразовывает для отображения ответа в UI. Транслятор умеет одновременно работать с холодным и горячим хранилищем, поэтому аналитику не нужно думать, где хранятся те или иные данные, все работает по одной кнопке.

🔹 О том, как мы в VK пришли к созданию своей собственной SIEM-системы – про новые реалии и вызовы BigTech, как формулировали задачу и с какими сложностями столкнулись на пути, можно послушать здесь.

💬 Оставляйте ваши вопросы в комментариях.

VK Security

#soc #siem
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/vk_security/151
Create:
Last Update:

💙 SIEM: что под капотом новой системы мониторинга безопасности?

Наши инженеры SOC разработали и запустили собственную SIEM:

🔹 Модульная система, которая способна обрабатывать очень большое количество данных. Она объединяет как новые, так и успешно зарекомендовавшие себя инженерные решения VK.

🔹 Инфраструктура размещена в едином облаке VK (OneCloud) – там же, где находятся сервисы ВКонтакте, Одноклассников, Дзен, VK Видео и других сервисов VK. Что это значит? Огромные вычислительные мощности и масштабируемость, что делает VK SIEM невероятно быстрым.

Дмитрий Куколев, руководитель VK SOC, рассказывает, как устроена VK SIEM и что изображено на схеме:

1️⃣ Модуль нормализации: преобразование «сырых» логов в CEF+
Для обработки всех поступающих событий мы используем универсальную схему Common Event Format, но постоянно расширяем ее (сейчас она содержит 300+ полей).
🔹 Для нормализации событий используем Vector.dev.

2️⃣ Модуль обогащения: наша реализация «активных листов»
Сразу на потоке добавляем контекст, чтобы уже на моменте корреляции получать всю необходимую информацию о событии.
🔹 Реализовали функционал «статических активных листов» (обновление списков обогащения раз в несколько часов) и «динамических активных листов» (обновление списков обогащений несколько раз в минуту на основе информации из предыдущих событий). Один из сценариев «динамических активных листов» – обновления на основе результатов коррелятора.

3️⃣ Хранилище обогащений
Key-value хранилище, источник модуля обогащения.

4️⃣ Коррелятор
Потоковый коррелятор событий, который анализирует на скоростях в миллионы EPS. Может легко масштабироваться без потери производительности. Все правила написаны и обновляются нашими аналитиками.
🔹 Также дополнительно разрабатываем «ретроспективный» коррелятор для корреляции и поиска IoC в логах, автоматически записанных в наши базы данных.

5️⃣ Пользовательский интерфейс (UI) для аналитиков SOC
Используем OpenSearch Dashboards: во-первых, чтобы сохранить пользовательский опыт наших инженеров (это очень удобный инструмент для работы с логами и выявления аномалий), а во-вторых, это Open Source, который мы можем использовать как конструктор и дорабатывать под наши потребности.

6️⃣ Холодное хранилище
Выбрали YTSaurus как успешно зарекомендовавшее себя внутри VK (и не только) решение для распределенного хранения данных, особенно, с потенциалом для масштабирования. Наша задача – получать доступ к логам, полученные минимум за последние полгода, а в идеале – без ограничения по сроку.

7️⃣ Индексатор
Разработали модуль индексации, чтобы обеспечить быстрый полнотекстовый поиск по петабайтам событий и возможностью сложных агрегаций.

8️⃣ Горячее хранилище
Чтобы максимально быстро находить актуальные события, в нашей архитектуре предусмотрено горячее хранилище. В сочетании с индексатором это дает аналитикам возможность за несколько секунд получать доступ к данным за последние 3 месяца.
🔹 Здесь используем Click House, который предоставляется в нашей инфраструктуре как сервис.

9️⃣ Транслятор
Так как наше модульное решение включает ClickHouse (горячее хранилище), YTSaurus (холодное хранилище), собственный индексатор и ядро OpenSearch Dashboard (только UI, от хранения событий в OpenSearch мы сознательно отказались), то для их объединения и бесшовного функционирования нам понадобилось создать транслятор.
🔹Используя внешний индексатор, он преобразовывает запросы пользователя в базы данных, а затем снова преобразовывает для отображения ответа в UI. Транслятор умеет одновременно работать с холодным и горячим хранилищем, поэтому аналитику не нужно думать, где хранятся те или иные данные, все работает по одной кнопке.

🔹 О том, как мы в VK пришли к созданию своей собственной SIEM-системы – про новые реалии и вызовы BigTech, как формулировали задачу и с какими сложностями столкнулись на пути, можно послушать здесь.

💬 Оставляйте ваши вопросы в комментариях.

VK Security

#soc #siem

BY VK Security







Share with your friend now:
group-telegram.com/vk_security/151

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

In a statement, the regulator said the search and seizure operation was carried out against seven individuals and one corporate entity at multiple locations in Ahmedabad and Bhavnagar in Gujarat, Neemuch in Madhya Pradesh, Delhi, and Mumbai. "He has kind of an old-school cyber-libertarian world view where technology is there to set you free," Maréchal said. The regulator said it has been undertaking several campaigns to educate the investors to be vigilant while taking investment decisions based on stock tips. The account, "War on Fakes," was created on February 24, the same day Russian President Vladimir Putin announced a "special military operation" and troops began invading Ukraine. The page is rife with disinformation, according to The Atlantic Council's Digital Forensic Research Lab, which studies digital extremism and published a report examining the channel. The regulator said it has been undertaking several campaigns to educate the investors to be vigilant while taking investment decisions based on stock tips.
from ca


Telegram VK Security
FROM American