Forwarded from сладко стянул
Романтика для пьяниц: стартуя в произвольных точках Манхэттена или Майкопа и наугад перемещаясь между барами (по одному бару на каждом перекрестке), он и она наверняка встретятся. (Потому что их разность — тоже симметричное случайное блуждание по Z², так что см. например https://arxiv.org/abs/1301.3916 )
Город будущего трехмерен, там это уже неверно. Можно почти наверняка сказать только следующее: бесконечно много баров, которые посетит и он, и она (но, видимо, не одновременно💔): https://doi.org/10.1007/BF02020942
Город будущего трехмерен, там это уже неверно. Можно почти наверняка сказать только следующее: бесконечно много баров, которые посетит и он, и она (но, видимо, не одновременно💔): https://doi.org/10.1007/BF02020942
arXiv.org
Polya's random walk theorem
This note presents a proof of Pólya's random walk theorem using classical methods from special function theory and asymptotic analysis.
Сижу себе спокойно, редактирую документ в overleaf (сайт, на котором можно править latex-документы совместно с несколькими коллегами), никому не мешаю... и ВНЕЗАПНО прямо поверх текста выпрыгивает эта штука, которая говорит, что я ГОРЮ. Уже не в первый раз такое происходит, но я каждый раз вздрагиваю.
Хотя не то, чтобы эта табличка была не права: после таких скриммеров я и правда горю пониже спины.
Хотя не то, чтобы эта табличка была не права: после таких скриммеров я и правда горю пониже спины.
Forwarded from Sinекура
С тех самых пор, как мой курс искусственного интеллекта более или менее оформился, я мечтал написать книгу, учебник, который бы начинался от азов и понемногу строил здание машинного обучения Больших форм я никогда не боялся, так что начал книгу с энтузиазмом, но, как это всегда бывает, оказалось, что работы во много раз больше, чем представляется поначалу. Активно писал я её несколько лет, с большими перерывами и депрессивными эпизодами, потом ещё несколько месяцев доделывал вёрстку, вносил замечания редактора и всё такое.
И вот — готово. Книга "Машинное обучение: основы" подписана в печать, доступна для предзаказа, должна физически появиться во второй половине марта. 600 страниц (25 из них, правда, список литературы), шесть больших глав. Полное оглавление на сайте издательства тоже выложено.
https://www.piter.com/collection/all/product/mashinnoe-obuchenie-osnovy
Эта книга — существенно расширенный первый семестр моего курса. Кроме основ байесовского вывода, линейной и логистической регрессии и тому подобного, о чём я неизбежно рассказываю каждый год, в книге есть ещё много разных сюжетов — объясняющих, развивающих и иллюстрирующих. И продвинуто-математических, и более "общечеловеческих": история AI, эффект "горячей руки", кризис воспроизводимости в науке, разоблачение закона Ципфа, робастные виды регрессии, оценка Джеймса-Штейна, проспективные и ретроспективные исследования... Эпиграфы и котики тоже прилагаются. Главное для меня, наверное, в том, что я старался писать книгу, которую было бы интересно читать, даже (а может, особенно) если не пытаться проследить за всеми выводами и формулами.
Здесь наверняка будет ещё много постов об этой книге, уж точно сфотографирую, когда получу реальные экземпляры. И это как раз тот случай, когда очень прошу всех расшаривать, давать ссылки на канал и на книжку. Очень надеюсь, что успею написать что-нибудь ещё, пока писать книги ещё не вовсе бессмысленно; эту, кажется, успел.
И вот — готово. Книга "Машинное обучение: основы" подписана в печать, доступна для предзаказа, должна физически появиться во второй половине марта. 600 страниц (25 из них, правда, список литературы), шесть больших глав. Полное оглавление на сайте издательства тоже выложено.
https://www.piter.com/collection/all/product/mashinnoe-obuchenie-osnovy
Эта книга — существенно расширенный первый семестр моего курса. Кроме основ байесовского вывода, линейной и логистической регрессии и тому подобного, о чём я неизбежно рассказываю каждый год, в книге есть ещё много разных сюжетов — объясняющих, развивающих и иллюстрирующих. И продвинуто-математических, и более "общечеловеческих": история AI, эффект "горячей руки", кризис воспроизводимости в науке, разоблачение закона Ципфа, робастные виды регрессии, оценка Джеймса-Штейна, проспективные и ретроспективные исследования... Эпиграфы и котики тоже прилагаются. Главное для меня, наверное, в том, что я старался писать книгу, которую было бы интересно читать, даже (а может, особенно) если не пытаться проследить за всеми выводами и формулами.
Здесь наверняка будет ещё много постов об этой книге, уж точно сфотографирую, когда получу реальные экземпляры. И это как раз тот случай, когда очень прошу всех расшаривать, давать ссылки на канал и на книжку. Очень надеюсь, что успею написать что-нибудь ещё, пока писать книги ещё не вовсе бессмысленно; эту, кажется, успел.
www.piter.com
Машинное обучение: основы
Вы узнаете, как методы машинного обучения получаются из основных принципов теории вероятностей, пройдёте путь от теоремы Байеса до обобщённых линейных моделей и узнаете в лицо тех китов, на которых стоит весь современный искусственный интеллект.
Поздравьте с подачей двух коротких статей на ACL... Если даст Бог-Машина, расскажу о них здесь через несколько дней когда приду в себя. Я правда не первый автор ни в одной
Forwarded from здесь были драконы
Буря утихла, а поэтому настало время рассказать, о чем же было упражнение, которое привлекло столько внимания на прошлой неделе. В нём предлагалось определить, кто является более надежным источником информации, полученной из личной беседы. По условиям в личном общении Василий в 8 из 10 случаев сообщает ложную информацию, а Андрей в 8 из 10 случаев сообщает истинную информацию. На этом важные для выбора вводные заканчиваются.
Всё остальное – отвлекающий маневр. Поскольку на момент написания этого поста 51% (294 из 572) голосов был отдан ненадежному Василию, то вынужден признать, что я, видимо, выбрал весомое сочетание смущающих факторов. Во-первых, Василию был выдан престижный ярлык профессора физики. Во-вторых, Андрею был выдан не самый престижный ярлык эзотерика. В-третьих, была выбрана познавательная ситуация, где оба агента сообщают информацию в личной беседе (и мы знаем, насколько они надежны в этом отношении по условиям), но это информация о физике, то есть она тематически связана с ярлыком, выданным Василию.
Подчеркну, что это даже не философский мысленный эксперимент в обычном смысле этих слов, поскольку здесь нет какого-то открытого вопроса. Ответ уже дан в условиях. Всё, что нужно – это идентифицировать важные входные данные и не позволить неважным отвлечь (и тем более увлечь) себя.
Если вдруг кто-то ещё не понял, как же так получается, то представьте, что всё это время с Василием и Андреем в личных беседах вы говорили только о физике. Следовательно, Василий сообщал вам верную информацию о физике в 2 из 10 случаев, а Андрей в 8 из 10. «Профессор физики» и «эзотерик широкой специализации» — это не взаимоисключающие ярлыки. Как говорится, может, и хотелось бы, но... Из того, что кого-то назвали «эзотериком», не следует, что он точно не разбирается в физике, черпает знания о ней из мистических источников и в целом плох в познании. Тут важно обуздать аффективную эвристику, чтобы из негативного отношения к определенной практике не вывести суждения о том, что ей занимаются только «какие-то не такие».
Если и делать какие-то выводы, то можно заметить, что неважной информации придается различное значение в зависимости от её конкретного содержания. Когда выбор был не между физиком и эзотериком, а между более крутым и менее крутым физиком, то только 35% проголосовавших посчитали надежным источник, который ненадежен, но более престижен.
В случае же, когда была дана возможность отдать свой голос источнику с неизвестной надежностью, 54% проголосовавших сделали это. Возможно, тут происходит принятие желаемого за действительное, если учесть, что можно было выбрать источник, который и так в 80% случаев сообщал верную информацию. Справедливости ради, в этой формулировке надежный источник чаще предпочитали ненадежному, чем в прошлых формулировках. Вероятно, здесь не было особого давления от престижа ярлыков. Если «профессор физики» — это для многих однозначное «ура», а «эзотерик» — «фу», то «фуд-блогер», «турист» и «таксист» — это «🤷».
Когда же было предложено выбрать между одинаково надежными источниками с практически идентичным описанием, то 59% проголосовавших оценили их как одинаково заслуживающие доверия. 27% решили никому не доверять, что, возможно, связано с тем, что наличие неважной информации уменьшает уверенность людей в значимости важной. Ну и надежного мужчину посчитали более заслуживающим доверия 10%, а женщину только 4%.
Как кажется, такие результаты можно было предсказать, ориентируясь на имеющиеся наработки когнитивной психологии, поведенческой экономики, экспериментальной философии и т.д. В общем, повеселились и ладно.
Всё остальное – отвлекающий маневр. Поскольку на момент написания этого поста 51% (294 из 572) голосов был отдан ненадежному Василию, то вынужден признать, что я, видимо, выбрал весомое сочетание смущающих факторов. Во-первых, Василию был выдан престижный ярлык профессора физики. Во-вторых, Андрею был выдан не самый престижный ярлык эзотерика. В-третьих, была выбрана познавательная ситуация, где оба агента сообщают информацию в личной беседе (и мы знаем, насколько они надежны в этом отношении по условиям), но это информация о физике, то есть она тематически связана с ярлыком, выданным Василию.
Подчеркну, что это даже не философский мысленный эксперимент в обычном смысле этих слов, поскольку здесь нет какого-то открытого вопроса. Ответ уже дан в условиях. Всё, что нужно – это идентифицировать важные входные данные и не позволить неважным отвлечь (и тем более увлечь) себя.
Если и делать какие-то выводы, то можно заметить, что неважной информации придается различное значение в зависимости от её конкретного содержания. Когда выбор был не между физиком и эзотериком, а между более крутым и менее крутым физиком, то только 35% проголосовавших посчитали надежным источник, который ненадежен, но более престижен.
В случае же, когда была дана возможность отдать свой голос источнику с неизвестной надежностью, 54% проголосовавших сделали это. Возможно, тут происходит принятие желаемого за действительное, если учесть, что можно было выбрать источник, который и так в 80% случаев сообщал верную информацию. Справедливости ради, в этой формулировке надежный источник чаще предпочитали ненадежному, чем в прошлых формулировках. Вероятно, здесь не было особого давления от престижа ярлыков. Если «профессор физики» — это для многих однозначное «ура», а «эзотерик» — «фу», то «фуд-блогер», «турист» и «таксист» — это «🤷».
Когда же было предложено выбрать между одинаково надежными источниками с практически идентичным описанием, то 59% проголосовавших оценили их как одинаково заслуживающие доверия. 27% решили никому не доверять, что, возможно, связано с тем, что наличие неважной информации уменьшает уверенность людей в значимости важной. Ну и надежного мужчину посчитали более заслуживающим доверия 10%, а женщину только 4%.
Как кажется, такие результаты можно было предсказать, ориентируясь на имеющиеся наработки когнитивной психологии, поведенческой экономики, экспериментальной философии и т.д. В общем, повеселились и ладно.
⬆️ подписчики дуреют от этой прикормки 😈
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from здесь были драконы
Я не хотел этого делать, но обстоятельства вынуждают. Тридцатое тысячелетие. Вы – один из потерянных примархов. Так сложилось, что вас воспитывал наставник, который никогда и ни при каких обстоятельствах вам не сообщал ложной информации.
Наставник рассказывал, что один из врагов человечества – это бог хаоса Тзинч, которому известны буквально все истины о физическом устройстве мира, но в 8 из 10 случаев он врёт своим адептам, сообщая ложную информацию. Также наставник рассказал об Императоре Человечества, который не имеет степени профессора физики, да и совсем другим в жизни занимался, но если о чем-то и говорит своим последователям, то в 8 из 10 случаев сообщает верную информацию. Когда вы спросили, почему же в 2 из 10 случаев Император ошибается, то наставник порекомендовал забыть об этом вопросе и впредь никогда больше не поднимать его.
Однажды с помощью астральной телепатии с вами связывается Тзинч, который сообщает, что физический мир устроен так, что p. Следом телепатическое сообщение вам отправляет сам Император, сообщая, что физический мир устроен так, что ¬p. Кого в такой ситуации считать более надежным источником информации о том, как устроен физический мир?
Наставник рассказывал, что один из врагов человечества – это бог хаоса Тзинч, которому известны буквально все истины о физическом устройстве мира, но в 8 из 10 случаев он врёт своим адептам, сообщая ложную информацию. Также наставник рассказал об Императоре Человечества, который не имеет степени профессора физики, да и совсем другим в жизни занимался, но если о чем-то и говорит своим последователям, то в 8 из 10 случаев сообщает верную информацию. Когда вы спросили, почему же в 2 из 10 случаев Император ошибается, то наставник порекомендовал забыть об этом вопросе и впредь никогда больше не поднимать его.
Однажды с помощью астральной телепатии с вами связывается Тзинч, который сообщает, что физический мир устроен так, что p. Следом телепатическое сообщение вам отправляет сам Император, сообщая, что физический мир устроен так, что ¬p. Кого в такой ситуации считать более надежным источником информации о том, как устроен физический мир?
Forwarded from здесь были драконы
Кто для вас является более надёжным источником информации в описанной познавательной ситуации?
Anonymous Poll
23%
Тзинч
77%
Император Человечества
Forwarded from Math cool. Олимпиадная математика
☀️Летние школы. Стипендия на обучение для детей из регионов
Мы считаем очень важным давать возможность талантливым детям из регионов получить хорошее мат.образование вне зависимости от их материальных возможностей. Основатели школы и многие из педагогов выросли в регионах и по себе знают этот тернистый путь. Поэтому благодаря спонсорской помощи мы смогли сделать 15 мест на летних выездах со скидкой 100%
Необходимые условия участия:
1️⃣ вы проживаете и учитесь в школе не в Москве, Мособласти, Санкт-Петербурге;
2️⃣ вы хорошо себя проявили в этом учебном году (24/25) в математике, то есть:
• вы набрали на региональном этапе олимпиады Эйлера от 38 баллов;
• вы набрали на региональном этапе ВсОШ от 44 баллов;
• прошли отбор в Сириус на математическую смену;
• стали призером или победителем олимпиады ЮМШ или других значимых для вашего региона олимпиад;
• вы хорошо себя проявили лично в прошлых мероприятиях нашей школы (олимпиада, кружки, выезды)
Оговоренные выше критерии подходят в первую для учеников 7-10 классов, но мы будем рады принять и учеников помладше. В случае получения слишком большого количества заявок организаторы проведут устное собеседование с претендентами в спорных ситуациях
✅Регистрация на льготное место
🌐Сайт смен
📅Регистрация для получения бесплатного места на участие закрывается 1 марта. Итоговые результаты будут подведены в течение 2-3 недель (в зависимости от наличия устных собеседований)
Мы считаем очень важным давать возможность талантливым детям из регионов получить хорошее мат.образование вне зависимости от их материальных возможностей. Основатели школы и многие из педагогов выросли в регионах и по себе знают этот тернистый путь. Поэтому благодаря спонсорской помощи мы смогли сделать 15 мест на летних выездах со скидкой 100%
Необходимые условия участия:
1️⃣ вы проживаете и учитесь в школе не в Москве, Мособласти, Санкт-Петербурге;
2️⃣ вы хорошо себя проявили в этом учебном году (24/25) в математике, то есть:
• вы набрали на региональном этапе олимпиады Эйлера от 38 баллов;
• вы набрали на региональном этапе ВсОШ от 44 баллов;
• прошли отбор в Сириус на математическую смену;
• стали призером или победителем олимпиады ЮМШ или других значимых для вашего региона олимпиад;
• вы хорошо себя проявили лично в прошлых мероприятиях нашей школы (олимпиада, кружки, выезды)
Оговоренные выше критерии подходят в первую для учеников 7-10 классов, но мы будем рады принять и учеников помладше. В случае получения слишком большого количества заявок организаторы проведут устное собеседование с претендентами в спорных ситуациях
✅Регистрация на льготное место
🌐Сайт смен
📅Регистрация для получения бесплатного места на участие закрывается 1 марта. Итоговые результаты будут подведены в течение 2-3 недель (в зависимости от наличия устных собеседований)
Google Docs
Регистрация для получения стипендиальных мест на обучение в Летних школах Math Cool 2025
Мы будем рады взять взять в наши летние матшколы 15 учеников из российских регионов со скидкой 100% (для школы в Грузию перелет из Москвы тоже будет включен).
Необходимые условия для участия:
вы проживаете и учитесь в школе не в Москве, Мособласти, Санкт…
Необходимые условия для участия:
вы проживаете и учитесь в школе не в Москве, Мособласти, Санкт…
Рис. 1 - сегодня подруга подарила мне гигиеническую помаду "Барби", что привело к быстрой и необратимой бимбофикации 💅💋
Теперь все посты будут выходить с розовыми смайликами, а сам канал превращается в бьюти-блог 💆♀️ #о_себе
Теперь все посты будут выходить с розовыми смайликами, а сам канал превращается в бьюти-блог 💆♀️ #о_себе
Доброе утро, дорогие девочки 💋 и фембойчики 💅. Спешу поделиться радостной новостью: вчера я выложила на архив новый препринт (short paper), в написании которого принимала участие - Quantifying Logical Consistency in Transformers via Query-Key Alignment: https://arxiv.org/abs/2502.17017 .
Статья посвящена анализу того, как разные головы внимания LLMок реагируют на логические задачки. Главный прием, который в ней используется, изображен на рис. 1 и аналогичен приему из нашей с коллегами статьи про использование Query-Key Alignment для MCQA (часть 1, часть 2). Мы подаем на вход модели текст логической задачки вместе с вариантом ответа "true" и считаем скалярное произведение токена "true" из Query на выбранной голове внимания, на последний токен перед словом "Answer:" из Key на той же голове внимания. Получается одно число. Далее то же самое повторяется для варианта ответа "false". Получается второе число. Если первое число больше второго, то мы считаем, что голова выбрала вариант "true", а если наоборот, то "false" (в некоторых задачах более уместно вместо "true" и "false" использовать "yes" и "no", но принцип остается таким же). Таким образом можно проэкзаменовать каждую голову внимания и посмотреть, насколько хорошо из её query и key извлекаются правильные ответы (условно говоря, насколько хорошо голова "решает" логические задачки).
Задачки различались по степени сложности: во-первых, по количеству логических шагов, которые нужно предпринять для нахождения ответа ("steps" на рис. 2), а во-вторых, по количеству нерелевантных, шумных элементов в условии ("distractors" на рис. 2).
В статье было проанализировано много разных моделей (от 1.5B до 70B), и везде нашлись головы, которые "решают" сложные (5 шагов/5 дистракторов) задачки лучше, чем сама модель (если ответ модели оценивать по логитам, аналогично тому, как это делается в MCQA задачах). Более того, часть таких "хороших" голов, отобранных на валидационной выборке одного датасета, сохраняет высокое качество и на других датасетах, являясь более-менее универсальными. Мы выдвигаем гипотезу, что именно эти головы могут отвечать за логические рассуждения в модели.
Этот феномен аналогичен тому, что происходит в MCQA задачах (см. ссылки на разбор статьи выше): модель находит правильный ответ на задачу/вопрос где-то на промежуточных слоях, но этот ответ, по каким-то причинам, не всегда доходит до финального слоя. При чем, что интересно, чем сложнее задача, тем чаще правильный ответ не доходит до выхода. А это значит, что все рассмотренные модели не полностью раскрывают свой потенциал и имеют пространство для улучшения.
#объяснения_статей
Статья посвящена анализу того, как разные головы внимания LLMок реагируют на логические задачки. Главный прием, который в ней используется, изображен на рис. 1 и аналогичен приему из нашей с коллегами статьи про использование Query-Key Alignment для MCQA (часть 1, часть 2). Мы подаем на вход модели текст логической задачки вместе с вариантом ответа "true" и считаем скалярное произведение токена "true" из Query на выбранной голове внимания, на последний токен перед словом "Answer:" из Key на той же голове внимания. Получается одно число. Далее то же самое повторяется для варианта ответа "false". Получается второе число. Если первое число больше второго, то мы считаем, что голова выбрала вариант "true", а если наоборот, то "false" (в некоторых задачах более уместно вместо "true" и "false" использовать "yes" и "no", но принцип остается таким же). Таким образом можно проэкзаменовать каждую голову внимания и посмотреть, насколько хорошо из её query и key извлекаются правильные ответы (условно говоря, насколько хорошо голова "решает" логические задачки).
Задачки различались по степени сложности: во-первых, по количеству логических шагов, которые нужно предпринять для нахождения ответа ("steps" на рис. 2), а во-вторых, по количеству нерелевантных, шумных элементов в условии ("distractors" на рис. 2).
В статье было проанализировано много разных моделей (от 1.5B до 70B), и везде нашлись головы, которые "решают" сложные (5 шагов/5 дистракторов) задачки лучше, чем сама модель (если ответ модели оценивать по логитам, аналогично тому, как это делается в MCQA задачах). Более того, часть таких "хороших" голов, отобранных на валидационной выборке одного датасета, сохраняет высокое качество и на других датасетах, являясь более-менее универсальными. Мы выдвигаем гипотезу, что именно эти головы могут отвечать за логические рассуждения в модели.
Этот феномен аналогичен тому, что происходит в MCQA задачах (см. ссылки на разбор статьи выше): модель находит правильный ответ на задачу/вопрос где-то на промежуточных слоях, но этот ответ, по каким-то причинам, не всегда доходит до финального слоя. При чем, что интересно, чем сложнее задача, тем чаще правильный ответ не доходит до выхода. А это значит, что все рассмотренные модели не полностью раскрывают свой потенциал и имеют пространство для улучшения.
#объяснения_статей
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сергей Богорад
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AbstractDL
LLM-Microscope: трансформеры хранят контекст в запятых и артиклях
Как писал выше — мою новую статью приняли на NAACL 🎉
Мы обнаружили, что самыми контекстуализированными токенами в языковых моделях являются... артикли и знаки препинания! Именно в них хранится больше всего информации о контексте.
Мы научились измерять, сколько контекстной информации "помнит" каждый токен, и оказалось, что существительные и глаголы сильно проигрывают по этому показателю всяким "the", запятым и точкам. Если удалить эти "незначительные" токены из текста (даже если с помощью GPT-4 удалить только не влияющие на смысл токены), то качество работы моделей резко падает, особенно на длинных текстах.
Ещё из интересного — токены, активации на которых хранят больше контекста, имеют более линейные преобразования между слоями (привет моей прошлой статье про линейность трансформеров).
Весь код для анализа внутренностей LLM (измерение контекстуальности токенов, нелинейности, logit lens и прочее) выложили в открытый доступ.
Статья, GitHub
Как писал выше — мою новую статью приняли на NAACL 🎉
Мы обнаружили, что самыми контекстуализированными токенами в языковых моделях являются... артикли и знаки препинания! Именно в них хранится больше всего информации о контексте.
Мы научились измерять, сколько контекстной информации "помнит" каждый токен, и оказалось, что существительные и глаголы сильно проигрывают по этому показателю всяким "the", запятым и точкам. Если удалить эти "незначительные" токены из текста (даже если с помощью GPT-4 удалить только не влияющие на смысл токены), то качество работы моделей резко падает, особенно на длинных текстах.
Ещё из интересного — токены, активации на которых хранят больше контекста, имеют более линейные преобразования между слоями (привет моей прошлой статье про линейность трансформеров).
Весь код для анализа внутренностей LLM (измерение контекстуальности токенов, нелинейности, logit lens и прочее) выложили в открытый доступ.
Статья, GitHub
⬆️ Результат перекликается с некоторыми наблюдениями из нашей старой статьи про QK score + MCQA (см. Рис. 1 и пост https://www.group-telegram.com/tech_priestess.com/1851 ). Там мы тоже заметили, что query-key score оказывается эффективнее считать по некоторым знакам пунктуации (точки после опций) и по переносам строки после текста опций, как будто они концентрируют больше информации.
#объяснения_статей
#объяснения_статей