• Мало кто знает, что до появления поисковиков пользователь был вынужден заходить на FTP-серверы и вручную просматривать каждый документ, ориентируясь только на краткое описание. Вы не могли ввести куда-то запрос из серии: «Сколько весит слон?» и получить мгновенную пачку ответов. Проблему вызвался решить Алан Эмтейдж, который в 1990 году разработал первый в мире поисковик Archie на Unix.
• Если кратко, Archie представлял собой набор скриптов, которые выполняли поиск по списку общедоступных FTP-серверов с использованием протокола Telnet и создавали индексные файлы. Пользователь вводил тему и получал в ответ список адресов в виде доступного каталога документов.
• Вот некоторые примеры тех поисковых систем, которые появились в период с 1990 по 1998 год: Wandex (1993 год), Excite (1994 год), WebCrawler (1994 год), AltaVista (1995 год) и Yahoo (1995 год). Собственно, в то время, один из создателей Google Ларри Пейдж учился в университете, где пытался понять, почему тот или иной материал или сайт может быть полезен пользователю. Так как поисковики того времени не умели выдавать релевантные запросу результаты.
• Пейдж представлял всю интернет-сеть в виде огромного разветвленного графа, в котором одни сайты ссылались на другие. А что, если присвоить вершинам графа (страницам на сайте) весовой коэффициент, в зависимости от количества входящих в него ребер (гиперссылок)? По идее, чем больше материал упоминается на других ресурсах, тем он полезнее для большинства. А следовательно, с большей вероятностью понравится и одному конкретному пользователю под похожий запрос.
• В 1996 году Пейдж знакомится с Сергеем Брином — математиком, который достиг значительных успехов как раз в анализе огромных массивов данных. Их сотрудничество приводит к появлению алгоритма PageRank. Краеугольного камня современного веб-поиска, который учитывал не только количество раз, когда ключевое слово появлялось на веб-странице, но также качество и релевантность входящих ссылок.
• В 1996 году Брин и Пейдж получают гранты по программе стипендии Национального научного фонда и запускают в работу проект BackRub. По сути, это был мощный веб-сканер, который должен был проиндексировать миллионы страниц, выявить все взаимосвязанные обратные ссылки и проверить алгоритм ранжирования.
• Брин и Пейдж при посредничестве других выпускников Стэнфорда собрали на базе университетских серверов систему и запустили ее в работу летом 1996 года. При этом BackRub занимал примерно половину вычислительных ресурсов сети кампуса. К 29 августа 1996 система проиндексировала порядка 75 миллионов URL-адресов, загрузила 30 миллионов страниц и суммарно выкачала 207 Гб информации. Неудивительно, что университетская сеть несколько раз чуть не легла, а руководство Стэнфорда регулярно получало жалобы от пользователей.
• Чтобы продемонстрировать результат работы поисковика, Пейдж и Брин разместили страницу по адресу
google.stanford.edu и z.stanford.edu. Первыми пользователями были, разумеется, студенты Стэнфорда. И они были поражены, насколько быстро происходил поиск и ранжирование материалов в поисковой выдаче. Ну а дальше эффект сарафанного радио привел к тому, что к началу 1998 года на демонстрационную страницу приходило уже больше 10 000 запросов в день.• Пейдж и Брин решили, что из этого эксперимента может что-то получиться. 29 января 1998 года они публикуют статью The PageRank Citation Ranking: Bringing Order to the Web, которая перевернула представление о поиске в интернете.
• После этого появляется еще одна их статья, которая станет одной из самых цитируемых в истории: The Anatomy of a Large-Scale Hypertextual Web Search Engine. В ней Сергей и Ларри подробно описали архитектуру и принципы работы поисковой системы Google. В ней рассматриваются ключевые аспекты: серверная инфраструктура, алгоритм PageRank для оценки релевантности веб-страниц, методы краулинга и индексации, а также подходы к обеспечению высокой производительности и масштабируемости системы. Эта работа заложила основу для создания современных поисковых систем.
#Разное
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
• Смотрите, какое устройство недавно анонсировала одна из немецких компаний - это внешний SSD-накопитель Expert P35S с кнопкой уничтожения данных. Производитель отмечает, что достаточно просто нажать на соответствующую кнопку, которая физически выведет из строя микросхему твердотельника. После этого, если верить заявлениям компании, накопитель превращается в «бесполезный кусок пластика».
• В компании считают, что устройство пригодится всем, кто работает с секретной или чувствительной информацией. В экстренных случаях данные можно быстро уничтожить, чтобы предотвратить утечку.
#Новости
• В компании считают, что устройство пригодится всем, кто работает с секретной или чувствительной информацией. В экстренных случаях данные можно быстро уничтожить, чтобы предотвратить утечку.
#Новости
Please open Telegram to view this post
VIEW IN TELEGRAM
• На хабре была опубликована хорошая статья, где автор рассказывает про семь инструментов для сканирования уязвимостей, которыми сам регулярно пользуется. Каждый из сканеров хорош по-своему: кто-то вылавливает баги в Python-коде, а кто-то проверяет контейнеры, кто-то смотрит на лучшие практики в написании кода. Мы разберем, как эти инструменты установить, настроить и использовать.
• Нужно отметить, что выбор подходящего сканера или комбинации инструментов зависит от специфики вашего проекта, требований к безопасности и возможностей интеграции.
➡️ https://habr.com/ru/articles/910840/
• В качестве дополнительного материала рекомендую обратить внимание на проект Scanners Box (scanbox), где опубликована подборка различных сканеров, который включает в себя более 10 различных категорий: от стандартных сканеров для Red Team и Blue Team специалистов, до сканеров анализа кода в мобильных приложениях:
➡ https://github.com/We5ter/Scanners-Box
#ИБ #Пентест #Tools
• Нужно отметить, что выбор подходящего сканера или комбинации инструментов зависит от специфики вашего проекта, требований к безопасности и возможностей интеграции.
• В качестве дополнительного материала рекомендую обратить внимание на проект Scanners Box (scanbox), где опубликована подборка различных сканеров, который включает в себя более 10 различных категорий: от стандартных сканеров для Red Team и Blue Team специалистов, до сканеров анализа кода в мобильных приложениях:
#ИБ #Пентест #Tools
Please open Telegram to view this post
VIEW IN TELEGRAM
• Возможно, вы не знали, но в Великобритания требует от каждой семьи, которая пользуется телевизором, приобретать лицензию (фото 1) на эту привилегию. Появившаяся в 1923 году после принятия Закона о беспроводной телеграфии лицензия требовалась всем, кто пользовался радиоприёмниками. В 1946 году под лицензирование попало и телевидение. Средства, собираемые с граждан, используются в качестве основного источника финансирования Британской общенациональной общественной телерадиовещательной организации. Если коротко, то BBC.
• Да, вы всё правильно поняли. Каждая семья, слушающая радио или смотрящая телевидение, должна пойти на почту, заплатить деньги и приобрести эту лицензию. Почтовая служба автоматически переводит полученные деньги непосредственно Би-би-си.
• Чтобы ни один пенни за просмотр ТВ или прослушивание радио не прошёл мимо бюджета компании, BBC создала и выпустила на улицы специальные фургоны (фото 3,4), чьей задачей был поиск незаконно работающих телевизоров.
• Чтобы обеспечить стабильный доход, BBC внедрила срок действия лицензий, а также создала реестр семей, которые пользуются телекоммуникационными устройствами. Одна выданная лицензия на ТВ действительна не более 12 месяцев. В системе телерадиовещателя регистрируют номер лицензии и дату истечения её срока действия. В отношении семей, подозреваемых во владении телевизором, но не внёсших требуемую сумму в нужный срок, проводятся расследования.
• Чтобы гарантировать себе полный и своевременный сбор средств за лицензии, специальная служба TV Licensing регулярно шлёт грозные письма тем, у кого истекает срок действия лицензии или кто не купил её. Если реакции нет, сотрудники службы могут организовать визит сотрудников правоохранительных органов. Эти сотрудники не имеют права насильственно входить в дома, но если семья категорически отказывается сотрудничать с полицией, TV Licensing подаёт заявку на выдачу ордера на обыск. Поводом для такой заявки может стать спутниковая тарелка или антенна, обнаруженная на крыше жилого дома. Ну, или визуальное наблюдение за окнами квартиры, в которой предположительно находится «нелегальный» телевизор.
• Ещё одним способом выявления неплательщиком долгое время являлся автофургон, оборудованный современной (на тот момент времени) техникой, которая способна обнаружить работу телевизионных устройств. Такие фургоны часто отправляются по адресам с просроченными или отсутствующими телевизионными лицензиями. Если удаётся зафиксировать, что в семье есть устройство, которое может работать и принимать сигналы вещания, TV Licensing подаёт заявку на выдачу ордера для продолжения расследования.
• Фургоны-детекторы ТВ используются в основном для сбора «улик», необходимых для одобрения заявки на обыск. Доказательства, собранные фургоном, редко используются в суде для преследования лиц, уклоняющихся от лицензии. Ведь имея на руках ордер, полицейские смогут использовать прямые улики (вроде телевизора, подключённого к антенне), чтобы привлечь нарушителя к ответственности.
• О том, как сейчас ищут уклонистов, у которых нет желания платить за лицензию, мало что известно. Современные плоские телевизоры, принимающие цифровой сигнал, не излучают столько радиопомех, как более старые устройства. Кроме того, любые такие обнаруженные сигналы труднее сопоставить с вещательным телевидением. Ведь на экране вполне может быть игра, если владелец ТВ также является и владельцем игровой приставки. А ещё есть стриминговые сервисы, которые тоже можно смотреть, не оплачивая лицензионный сбор.
• Если изучить поданные BBC заявления о выдаче ордера на обыск, то можно заметить, что чаще всего там фигурируют оптические методы наблюдения, когда отраженный свет от телевизора в доме зрителя сравнивается с сигналом прямой трансляции. Компания вообще неохотно делится информацией о своих фургонах-детекторах ТВ. Пусть они ещё и ездят по улицам, но с учётом разнообразия доступных вещательных, кабельных и спутниковых каналов есть основание подозревать, что их дни практически сочтены...
#Разное
• Да, вы всё правильно поняли. Каждая семья, слушающая радио или смотрящая телевидение, должна пойти на почту, заплатить деньги и приобрести эту лицензию. Почтовая служба автоматически переводит полученные деньги непосредственно Би-би-си.
• Чтобы ни один пенни за просмотр ТВ или прослушивание радио не прошёл мимо бюджета компании, BBC создала и выпустила на улицы специальные фургоны (фото 3,4), чьей задачей был поиск незаконно работающих телевизоров.
• Чтобы обеспечить стабильный доход, BBC внедрила срок действия лицензий, а также создала реестр семей, которые пользуются телекоммуникационными устройствами. Одна выданная лицензия на ТВ действительна не более 12 месяцев. В системе телерадиовещателя регистрируют номер лицензии и дату истечения её срока действия. В отношении семей, подозреваемых во владении телевизором, но не внёсших требуемую сумму в нужный срок, проводятся расследования.
• Чтобы гарантировать себе полный и своевременный сбор средств за лицензии, специальная служба TV Licensing регулярно шлёт грозные письма тем, у кого истекает срок действия лицензии или кто не купил её. Если реакции нет, сотрудники службы могут организовать визит сотрудников правоохранительных органов. Эти сотрудники не имеют права насильственно входить в дома, но если семья категорически отказывается сотрудничать с полицией, TV Licensing подаёт заявку на выдачу ордера на обыск. Поводом для такой заявки может стать спутниковая тарелка или антенна, обнаруженная на крыше жилого дома. Ну, или визуальное наблюдение за окнами квартиры, в которой предположительно находится «нелегальный» телевизор.
• Ещё одним способом выявления неплательщиком долгое время являлся автофургон, оборудованный современной (на тот момент времени) техникой, которая способна обнаружить работу телевизионных устройств. Такие фургоны часто отправляются по адресам с просроченными или отсутствующими телевизионными лицензиями. Если удаётся зафиксировать, что в семье есть устройство, которое может работать и принимать сигналы вещания, TV Licensing подаёт заявку на выдачу ордера для продолжения расследования.
• Фургоны-детекторы ТВ используются в основном для сбора «улик», необходимых для одобрения заявки на обыск. Доказательства, собранные фургоном, редко используются в суде для преследования лиц, уклоняющихся от лицензии. Ведь имея на руках ордер, полицейские смогут использовать прямые улики (вроде телевизора, подключённого к антенне), чтобы привлечь нарушителя к ответственности.
• О том, как сейчас ищут уклонистов, у которых нет желания платить за лицензию, мало что известно. Современные плоские телевизоры, принимающие цифровой сигнал, не излучают столько радиопомех, как более старые устройства. Кроме того, любые такие обнаруженные сигналы труднее сопоставить с вещательным телевидением. Ведь на экране вполне может быть игра, если владелец ТВ также является и владельцем игровой приставки. А ещё есть стриминговые сервисы, которые тоже можно смотреть, не оплачивая лицензионный сбор.
• Если изучить поданные BBC заявления о выдаче ордера на обыск, то можно заметить, что чаще всего там фигурируют оптические методы наблюдения, когда отраженный свет от телевизора в доме зрителя сравнивается с сигналом прямой трансляции. Компания вообще неохотно делится информацией о своих фургонах-детекторах ТВ. Пусть они ещё и ездят по улицам, но с учётом разнообразия доступных вещательных, кабельных и спутниковых каналов есть основание подозревать, что их дни практически сочтены...
#Разное
• Нашел бесплатный и объемный курс для изучения Linux, который рассчитан на изучение в течении месяца. Включает в себя практические задания, теоретический материал и множество дополнительный ссылок на различные ресурсы в качестве дополнения.
• Начинающим будет хорошей тренировкой, а опытные специалисты могут проверить - хорошо ли они помнят аспекты работы с Linux. Единственный минус - курс написан на английском языке. Если у вас с этим трудности, то воспользуйтесь chatgpt и deepl.
➡️ https://linuxupskillchallenge.org
➡️ https://github.com/livialima/linuxupskillchallenge
➡️ https://theleo.zone/posts/linux-upskill/
#Курс #Linux
• Начинающим будет хорошей тренировкой, а опытные специалисты могут проверить - хорошо ли они помнят аспекты работы с Linux. Единственный минус - курс написан на английском языке. Если у вас с этим трудности, то воспользуйтесь chatgpt и deepl.
#Курс #Linux
Please open Telegram to view this post
VIEW IN TELEGRAM
• Вчера на сайте 404 Media была опубликована новость о том, что ЦРУ использовало фан-сайт по «Звёздным войнам» для связи со своими агентами за рубежом. Речь идёт о сайте starwarsweb.net, который сейчас перенаправляет на сайт ведомства.
• Сообщается, что этот сайт оказался одним из многих других секретных сайтов подобного формата, которые в Иране раскрыли более 10 лет назад.
• Для связи с управлением агенту нужно было ввести специальную команду или пароль в строке поиска на сайте — это инициировало сеанс связи.
• В ЦРУ не стали комментировать статью 404 Media. Сам исследователь, который провел данное расследование, называет это разоблачение «попыткой внести ясность в историю» и «своеобразным музейным экспонатом».
➡️ https://www.404media.co/
• Кстати, еще в 2022 году агентство Reuters подробно описало такие сайты, которые представляли собой старомодные странички на такие безобидные темы как спорт, красота и машины. Строка поиска на них была строкой для ввода пароля. Когда информатор его вводил, у него открывался интерфейс для обмена сообщениями с ЦРУ. Почитайте статью по этой ссылочке, если интересно, там всё в мельчайших подробностях.
• Суть таких сайтов проста - держать связь со своими шпионами, особенно из таких стран, как Иран, где с ними невозможно было организовать личную встречу. За каждым информатором был закреплен отдельный сайт, чтобы избежать эффекта домино в случае разоблачения хотя бы одного человека. Но избежать эффекта домино не удалось. Хостинг для них покупался у одних и тех же интернет-провайдеров. А еще IP-адреса у многих сайтов шли по порядку, как номера домов на одной улице. Обнаружив один сайт, найти другие было несложно — тем более, что названия у некоторых были похожи. Кроме того, строка пароля и интерфейс для переписки с ЦРУ на этих сайтах никак не маскировались; их можно было найти в коде страницы, просто кликнув по ней правой кнопкой мыши.
• За пару лет до того, как сеть подставных сайтов обнаружили иранцы, сотрудник компании-подрядчика ЦРУ Джон Рейди предупреждал руководство, что ее нетрудно раскрыть и что это поставит в опасность целый класс американских информаторов в десятках стран. К его опасениям не прислушались, а он через несколько лет потерял работу. Однако еще до увольнения Рейди узнал, что «кошмарный сценарий», который он описал в своем отчете, реализовался.
• Кибераналитики Citizen Lab, которые помогали Reuters анализировать подставные сайты ЦРУ, насчитали в общей сложности 885 таких страниц на 29 языках. Они были ориентированы как минимум на 36 стран. Большая часть обнаруженных сайтов была активна между 2004 и 2013 годами. В последние годы их не использовали как канал общения, но они могли сохранить связь с действующими агентами и информаторами ЦРУ... Вот такие дела...
#Разное
• Сообщается, что этот сайт оказался одним из многих других секретных сайтов подобного формата, которые в Иране раскрыли более 10 лет назад.
• Для связи с управлением агенту нужно было ввести специальную команду или пароль в строке поиска на сайте — это инициировало сеанс связи.
• В ЦРУ не стали комментировать статью 404 Media. Сам исследователь, который провел данное расследование, называет это разоблачение «попыткой внести ясность в историю» и «своеобразным музейным экспонатом».
• Кстати, еще в 2022 году агентство Reuters подробно описало такие сайты, которые представляли собой старомодные странички на такие безобидные темы как спорт, красота и машины. Строка поиска на них была строкой для ввода пароля. Когда информатор его вводил, у него открывался интерфейс для обмена сообщениями с ЦРУ. Почитайте статью по этой ссылочке, если интересно, там всё в мельчайших подробностях.
• Суть таких сайтов проста - держать связь со своими шпионами, особенно из таких стран, как Иран, где с ними невозможно было организовать личную встречу. За каждым информатором был закреплен отдельный сайт, чтобы избежать эффекта домино в случае разоблачения хотя бы одного человека. Но избежать эффекта домино не удалось. Хостинг для них покупался у одних и тех же интернет-провайдеров. А еще IP-адреса у многих сайтов шли по порядку, как номера домов на одной улице. Обнаружив один сайт, найти другие было несложно — тем более, что названия у некоторых были похожи. Кроме того, строка пароля и интерфейс для переписки с ЦРУ на этих сайтах никак не маскировались; их можно было найти в коде страницы, просто кликнув по ней правой кнопкой мыши.
• За пару лет до того, как сеть подставных сайтов обнаружили иранцы, сотрудник компании-подрядчика ЦРУ Джон Рейди предупреждал руководство, что ее нетрудно раскрыть и что это поставит в опасность целый класс американских информаторов в десятках стран. К его опасениям не прислушались, а он через несколько лет потерял работу. Однако еще до увольнения Рейди узнал, что «кошмарный сценарий», который он описал в своем отчете, реализовался.
• Кибераналитики Citizen Lab, которые помогали Reuters анализировать подставные сайты ЦРУ, насчитали в общей сложности 885 таких страниц на 29 языках. Они были ориентированы как минимум на 36 стран. Большая часть обнаруженных сайтов была активна между 2004 и 2013 годами. В последние годы их не использовали как канал общения, но они могли сохранить связь с действующими агентами и информаторами ЦРУ... Вот такие дела...
#Разное
Please open Telegram to view this post
VIEW IN TELEGRAM
• Немного оффтопа: Вы что-нибудь слышали про Apple Pippin? Нет? Дело в том, что в 1996 году компания из Купертино предприняла попытку экспансии на рынок игровых приставок с этим проектом, — как вы уже догадались, провальную.
• Исходная идея казалась вроде бы здравой: настольную персоналку путем несложного инженерного колдунства вполне можно превратить в игровую платформу, рынок которых выглядел весьма перспективным. За основу взяли железо от Macintosh Classic II, а технологическим партнером Apple, взявшимся превратить «мак» в консоль, стала японская фирма Bandai. Так на свет появился Apple Pippin.
• Однако померяться пиппинами с корпорацией Sony и ее PlayStation, с помощью которой японцы буквально гребли деньги экскаваторами, не получилось. Несмотря на то, что приставка работала под управлением Mac System 7, игры для нее выпускала только сама Bandai, и их ассортимент был весьма скуден. Консоль стоила 599 баксов, против $300, которые просила Sony за «плойку». В результате столь мудрой ценовой и маркетинговой политики Apple удалось продать всего лишь 12 000 приставок в США и 42 000 — по всему миру, в то время как PlayStation разошлась 102-миллионным тиражом. Осознав всю бесперспективность дальнейших попыток завоевать рынок игровых консолей, в 1997 году Apple свернула проект.
➡️ https://lenta.ru/articles/2017/06/23/pippin/
#Разное #Оффтоп
• Исходная идея казалась вроде бы здравой: настольную персоналку путем несложного инженерного колдунства вполне можно превратить в игровую платформу, рынок которых выглядел весьма перспективным. За основу взяли железо от Macintosh Classic II, а технологическим партнером Apple, взявшимся превратить «мак» в консоль, стала японская фирма Bandai. Так на свет появился Apple Pippin.
• Однако померяться пиппинами с корпорацией Sony и ее PlayStation, с помощью которой японцы буквально гребли деньги экскаваторами, не получилось. Несмотря на то, что приставка работала под управлением Mac System 7, игры для нее выпускала только сама Bandai, и их ассортимент был весьма скуден. Консоль стоила 599 баксов, против $300, которые просила Sony за «плойку». В результате столь мудрой ценовой и маркетинговой политики Apple удалось продать всего лишь 12 000 приставок в США и 42 000 — по всему миру, в то время как PlayStation разошлась 102-миллионным тиражом. Осознав всю бесперспективность дальнейших попыток завоевать рынок игровых консолей, в 1997 году Apple свернула проект.
#Разное #Оффтоп
Please open Telegram to view this post
VIEW IN TELEGRAM
• Представьте, что вам нужно запустить некоторый процесс Linux в изолированной среде. Так, чтобы он не смог нанести вред системе, на которой запускается. Какие инструменты мы используем в таких случаях? Первое, что приходит в голову, это технологии виртуализации или контейнеризации. Но что, если нам нужно что-то более легковесное и простое в использовании? Bubblewrap — это утилита командной строки, которая является одним из проектов сообщества Containers (знаменито авторством таких инструментов, как Podman, Buildah, Skopeo и др.).
• Когда может быть полезен:
• Стоит сказать, что bubblewrap — это не то ПО, которое предоставляет готовую "песочницу" с определенной политикой безопасности. В некоторых вариантах использования bubblewrap требуется граница безопасности между изолированной средой и реальной системой; в других вариантах использования требуется возможность изменять расположение файловой системы для процессов внутри изолированной среды, но не ставится цель создания границы безопасности. В результате уровень защиты между изолированными процессами и хост-системой определяется аргументами, передаваемыми bubblewrap.
• Таким образом, используя аргументы командной строки, вы сами определяете уровень изоляции запускаемого процесса. При этом под капотом Bubblewrap использует стандартные средства Linux, которые не требуют повышения привилегий пользователя:
chroot, clone, seccomp, cgroups, landlock.• Основные плюсы:
• Основной минус — это то, что ограничение на ресурсы системы устанавливаются только с использованием
cgroup. Это значит, что для полноценной работы bwrap в Docker/Kubernetes-контейнере последний придется запустить в privileged-режиме!• Дополнительно:
• Firejail — гибкий и мощный инструмент изоляции, который не просто контролирует доступ к файловой системе, а полностью отрезает приложение от основной системы с помощью механизма Linux Namespaces. Подробнее тут: https://www.group-telegram.com/it_secur.com/1053
#Linux #Песочница
Please open Telegram to view this post
VIEW IN TELEGRAM