DLStories
Помните, рассказывала, что помогаю готовить школьников к межнару по AI? Так вот, финальный тур прошел 11 числа, и наши дети взяли первое место! Причем с огромным отрывом от второго =) Через пару часов будет награждение, прямая трансляция будет тут. А вот…
По поводу межнара по AI (IOAI) на следующий год: в следующем году отбор и подготовка к нему будет идти более структурированно и продуманно. А отвечать за все будет Саша Гущин. И он просил передать, что один из вариантов отобраться в сборную в следующем году — попасть на всерос по AI (да, оказывается, такой есть). Регистрация на всерос открыта ещё 4 дня, так что заполняйте заявку, если ещё не.
В преддверии завтрашней презентации своей статьи на ECCV-2024 накатала подробный пост о том, про что статья. Кратко — о новом способе использовать CLIP guidance для обучения модели image enhancement. Если будут вопросы по статье, спрашивайте в комментариях!
А если вы на ECCV, то приходите завтра в утреннюю постер-сессию к стенду #103, буду очень рада =)
А если вы на ECCV, то приходите завтра в утреннюю постер-сессию к стенду #103, буду очень рада =)
Teletype
Новый подход к CLIP guidance для задачи backlit image enhancement.
Тут я расскажу о своей статье, которая опубликована на ECCV-2024. Она называется RAVE: Residual Vector Embedding for CLIP-Guided Backlit...
Это я и мой научник по PhD с моим постером сегодня утром на ECCV. Это был мой первый раз, было прикольно. Приходилось говорить нон-стоп, потому что люди подходили один за другим, и в какой-то момент я даже не могла больше говорить из-за пересушенного горла)
Очень жду ещё конференций и презентации своих работ там🙃
Очень жду ещё конференций и презентации своих работ там🙃
Наша с коллегами статья "Boundary detection in mixed AI-human texts" получила outstanding paper award на COLM! (на который, как помните, никто из нас не поехал из-за визовых трудностей в US ¯\_(ツ)_/¯)
Поздравляю коллег! По такому поводу Лаида (первый автор статьи) написала у себя в канале серию постов про то, как эта статья создавалась. История нескучная, там есть надежды, разочарования, падения и взлеты :)
Ну и ссылки ещё раз:
📃Статья
👨💻 Код на GitHub (будем рады звездочкам🌝)
Поздравляю коллег! По такому поводу Лаида (первый автор статьи) написала у себя в канале серию постов про то, как эта статья создавалась. История нескучная, там есть надежды, разочарования, падения и взлеты :)
Ну и ссылки ещё раз:
📃Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
А тем временем вышел новый эпизод подкаста Deep Learning Stories!
Гость эпизода — Михаил Васильев, — deep learning engineer, который начал свой путь в IT и ML после 35 лет. Начинал Михаил с курсов Яндекс.Практикума и нашей Deep Learning School, а сейчас он еще организатор одного из сообществ выпускников Практикума.
О чем поговорили с Михаилом:
- путь в IT после 35: какие сложности и вызовы ждали на пути;
- впечатления и польза от курсов. Важность коммьюнити и поддержки;
- как искать работу после курсов;
- как Михаил создавал сообщество выпускников и зачем.
Слушать:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка
------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️
Гость эпизода — Михаил Васильев, — deep learning engineer, который начал свой путь в IT и ML после 35 лет. Начинал Михаил с курсов Яндекс.Практикума и нашей Deep Learning School, а сейчас он еще организатор одного из сообществ выпускников Практикума.
О чем поговорили с Михаилом:
- путь в IT после 35: какие сложности и вызовы ждали на пути;
- впечатления и польза от курсов. Важность коммьюнити и поддержки;
- как искать работу после курсов;
- как Михаил создавал сообщество выпускников и зачем.
Слушать:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка
------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️
В ноябре будет два года, как я на PhD в Queen Mary University of London. По этому поводу написала пост с моментами, на которые стоит обратить внимание, если вы задумываетесь над тем, чтобы сделать PhD в Лондоне/UK.
Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.
Пост
Тизер к статье: когда я выбирала место для PhD, я по личным причинам рассматривала только Лондон. Поэтому я не особо погружалась в нюансы и различия между PhD программами в UK и в других странах. А зря =( Общую идею поста, наверное, можно подвести так: если бы я заранее осознавала моменты, описанные ниже, я бы выбрала поехать куда-то еще.
Пост
Teletype
PhD в Лондоне: важные моменты
В ноябре будет два года, как я на PhD в Queen Mary University of London. В этом посте опишу некоторые моменты, которые стоит учитывать...
Завела раздел "blog" на своем сайте, добавила туда пост о PhD в Лондоне на английском, а еще запостила об этом в Твиттер.
Буду очень рада лайкам и новым людям в Твиттере🥰
Буду очень рада лайкам и новым людям в Твиттере
Please open Telegram to view this post
VIEW IN TELEGRAM
Еще небольшая ремарка по PhD
Познакомилась сегодня в универе с новым постдоком, с которым у нас нашелся общий интерес в рисерче. Мб выйдет даже коллаборация. Так вот, он сказал фразу типа "я ожидал, тут будет много людей, с которыми можно будет поработать. На самом деле, я особо не вижу тут заинтересованных в подобной теме людей"
Я ответила "Yeah, I agree". Когда я только начала PhD, я была довольно сильно удивлена, что в моей группе все PhD студенты занимаются довольно разными вещами, и нет никого, кто делал бы что-то похожее на мою тему. Постдоков в нашем недавно созданном институте DERI (это типа AI рисерч центр внутри универа) тогда не было вообще, их стали нанимать недавно, и то большинство занимаются medical domain. Только у двоих людей из моей группы есть пересечение тем, и они даже статью совместную написали, но, опять же, это medical imaging.
Когда я шла на PhD, я как-то даже не думала, что так может быть. Мне казалось, что обычно в универах PhD группы довольно плотны по темам, и, наверное, если я обсудила тему со своим научником, то эта тема соотносится с тем, что делает группа. Мне искренне хотелось найти в лабе людей, с которыми я могла бы обсуждать темы, статьи, и делать совместные проекты. У нас в лабе даже не было митинга, где бы студенты собирались и рассказывали друг другу про свою работу или разбирали статьи. Теперь такой митинг есть (c моей подачи), но и на нем чаще всего обсуждаются оргмоменты (как писать/ревьюить статьи, куда подавать) или чья-то работа, но уже после публикации или прямо перед презентацией на конфе.
Это мое упущение, что я не задумалась об этих аспектах до того, как пойти на PhD сюда. Но вы, если думаете о PhD, не будьте как я и имейте это в виду: что полезно собрать информацию про то, как живет лаба у научника, прежде чем туда идти.
Я в своей ситуации при этом нахожу плюсы: по крайне мере, мне дают делать то, что нравится, не загоняя в рамки определенных тем. Я учусь сама находить тему, ставить вопросы, планировать эксперименты, писать статьи. И мой научник реально очень классный как человек и ментор в научном сообществе. Это тоже очень важно, потому что я слышала много историй о том, как какой-нибудь известный и "крутой" в научных кругах профессор оказывался ужасным ментором, у которого делать PhD было очень неприятно. Это тоже стоит попытаться выяснить до того, как коммититься куда-то на PhD.
Познакомилась сегодня в универе с новым постдоком, с которым у нас нашелся общий интерес в рисерче. Мб выйдет даже коллаборация. Так вот, он сказал фразу типа "я ожидал, тут будет много людей, с которыми можно будет поработать. На самом деле, я особо не вижу тут заинтересованных в подобной теме людей"
Я ответила "Yeah, I agree". Когда я только начала PhD, я была довольно сильно удивлена, что в моей группе все PhD студенты занимаются довольно разными вещами, и нет никого, кто делал бы что-то похожее на мою тему. Постдоков в нашем недавно созданном институте DERI (это типа AI рисерч центр внутри универа) тогда не было вообще, их стали нанимать недавно, и то большинство занимаются medical domain. Только у двоих людей из моей группы есть пересечение тем, и они даже статью совместную написали, но, опять же, это medical imaging.
Когда я шла на PhD, я как-то даже не думала, что так может быть. Мне казалось, что обычно в универах PhD группы довольно плотны по темам, и, наверное, если я обсудила тему со своим научником, то эта тема соотносится с тем, что делает группа. Мне искренне хотелось найти в лабе людей, с которыми я могла бы обсуждать темы, статьи, и делать совместные проекты. У нас в лабе даже не было митинга, где бы студенты собирались и рассказывали друг другу про свою работу или разбирали статьи. Теперь такой митинг есть (c моей подачи), но и на нем чаще всего обсуждаются оргмоменты (как писать/ревьюить статьи, куда подавать) или чья-то работа, но уже после публикации или прямо перед презентацией на конфе.
Это мое упущение, что я не задумалась об этих аспектах до того, как пойти на PhD сюда. Но вы, если думаете о PhD, не будьте как я и имейте это в виду: что полезно собрать информацию про то, как живет лаба у научника, прежде чем туда идти.
Я в своей ситуации при этом нахожу плюсы: по крайне мере, мне дают делать то, что нравится, не загоняя в рамки определенных тем. Я учусь сама находить тему, ставить вопросы, планировать эксперименты, писать статьи. И мой научник реально очень классный как человек и ментор в научном сообществе. Это тоже очень важно, потому что я слышала много историй о том, как какой-нибудь известный и "крутой" в научных кругах профессор оказывался ужасным ментором, у которого делать PhD было очень неприятно. Это тоже стоит попытаться выяснить до того, как коммититься куда-то на PhD.
Про нашу статью "Boundary detection in mixed AI-human texts" написали в газете "Коммерсантъ" 🌝🌝🥴🥴
(это та статья, у которой Outstanding Paper Award на COLM)
Мда, подано в "Коммерсанте" так, будто мы прям отлично научились решать задачу fake text detection, а еще какие-то "уникальные разработки" для этого придумали. А еще всегда весело в таких статьях читать, как пытаются объяснить всякие термины типа frozen models))
Короче, не верьте всецело тому, что пишут про "научные прорывы" в обычной прессе
Блин еще и фамилию мою неправильно написали, черточку над "и" забыли😠
(это та статья, у которой Outstanding Paper Award на COLM)
Мда, подано в "Коммерсанте" так, будто мы прям отлично научились решать задачу fake text detection, а еще какие-то "уникальные разработки" для этого придумали. А еще всегда весело в таких статьях читать, как пытаются объяснить всякие термины типа frozen models))
Короче, не верьте всецело тому, что пишут про "научные прорывы" в обычной прессе
Блин еще и фамилию мою неправильно написали, черточку над "и" забыли
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Техножрица 👩💻👩🏫👩🔧
Газета "коммерсантъ" - место, где я меньше всего ожидала увидеть свою фамилию и фамилии своих соавторов в контексте рассказа о нашей статье AI-generated text boundary detection with RoFT 🫣
https://www.kommersant.ru/doc/7326999
#объяснения_статей (?)
https://www.kommersant.ru/doc/7326999
#объяснения_статей (?)
Один из авторов задач межнара по AI (IOAI) просил передать, что сейчас открыт набор задач на следующую олимпиаду IOAI 2025.
Предложить задачу могут все желающие. Чтобы это сделать, нужны описание задачи, датасет, бейзлайн и метрики. Задача должна быть нетривиальной, иметь возможность частичных решений и не требовать большого количества времени и ресурсов. В качестве примера можно посмотреть на задачи IOAI 2024 — они правда были очень интересные!
Авторов лучших задач пригласят на саму олимпиаду в Китае летом 2025. Дедлайн подачи — 31 января 2025. Подробности и любые вопросы можно спросить у Евгения в канале
Предложить задачу могут все желающие. Чтобы это сделать, нужны описание задачи, датасет, бейзлайн и метрики. Задача должна быть нетривиальной, иметь возможность частичных решений и не требовать большого количества времени и ресурсов. В качестве примера можно посмотреть на задачи IOAI 2024 — они правда были очень интересные!
Авторов лучших задач пригласят на саму олимпиаду в Китае летом 2025. Дедлайн подачи — 31 января 2025. Подробности и любые вопросы можно спросить у Евгения в канале
С Новым Годом! Желаю всем не продолбать этот новый год. А если вам скучно на январских, то у меня для вас есть новый выпуск подкаста Deep Learning Stories!
Гость этого выпуска — Лаида Кушнарева, выпускница мехмата МГУ, старший академический консультант в компании Хуавей и автор телеграмм канала "Техножрица". А еще Лаида — первый автор нашей совместной статьи "Boundary detection in mixed AI-human texts", которая получила outstanding paper award на COLM в октябре.
Обсудили с Лаидой в подкасте:
- Путь Лаиды в рисерче;
- Задачу fake text detection: почему она сложная, что там интересного, как сейчас обстоят дела, и что насчет будущего этой задачи;
- Устройство процесса ревью и принятия научных статей. Как остаться честным в этом всем;
- Как Лаида использует математику в работе, и помогает ли ей математическое образование.
Ссылки:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка
------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️
Гость этого выпуска — Лаида Кушнарева, выпускница мехмата МГУ, старший академический консультант в компании Хуавей и автор телеграмм канала "Техножрица". А еще Лаида — первый автор нашей совместной статьи "Boundary detection in mixed AI-human texts", которая получила outstanding paper award на COLM в октябре.
Обсудили с Лаидой в подкасте:
- Путь Лаиды в рисерче;
- Задачу fake text detection: почему она сложная, что там интересного, как сейчас обстоят дела, и что насчет будущего этой задачи;
- Устройство процесса ревью и принятия научных статей. Как остаться честным в этом всем;
- Как Лаида использует математику в работе, и помогает ли ей математическое образование.
Ссылки:
🔊YouTube
🔊VK
🔊Apple Podcasts
🔊Spotify
🔊Яндекс.Музыка
------------------
Школа DLSchool и подкаст живут во многом благодаря вашей поддержке. Поддержать нас можно на Boosty, мы будем очень рады❤️
Открыт набор на весенний семестр Deep Learning School!
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и GAN.
- Вторая часть полностью посвящена обработке естественного языка (NLP). Начинаем с эмбеддингов слов и заканчиваем GPT-2,3, RLHF, RAG и другими актуальными темами вокруг LLM.
Как обычно, этом семестре мы продолжили улучшать многие занятия и домашки, записывать новые версии лекций и семинаров.
Сейчас идет набор на оба потока обучения — часть 1 (введение в DL + CV) и часть 2 (NLP).
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и программы обучения можно найти тут.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций в обеих частях курса.
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Для первой чати курса также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, дополнительные вебинары и возможность переноса дедлайнов по домашкам. Подробнее о нем читайте на нашем сайте.
Старт обучения — 15 февраля. В этот день откроется первое занятие.
Чтобы зарегистрироваться на курс, нажмите на кнопку "поступить" на нашем сайте.
Ссылки:
Наш сайт
Подробная программа и оргинформация обоих частей курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
🧡 Поддержать нашу школу на Boosty
Если остались вопросы, пишите нам на почту ([email protected]) или в комментарии под этим постом.
Ждём вас в чатиках курса в новом семестре!
DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и GAN.
- Вторая часть полностью посвящена обработке естественного языка (NLP). Начинаем с эмбеддингов слов и заканчиваем GPT-2,3, RLHF, RAG и другими актуальными темами вокруг LLM.
Как обычно, этом семестре мы продолжили улучшать многие занятия и домашки, записывать новые версии лекций и семинаров.
Сейчас идет набор на оба потока обучения — часть 1 (введение в DL + CV) и часть 2 (NLP).
Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и программы обучения можно найти тут.
Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций в обеих частях курса.
Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Для первой чати курса также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, дополнительные вебинары и возможность переноса дедлайнов по домашкам. Подробнее о нем читайте на нашем сайте.
Старт обучения — 15 февраля. В этот день откроется первое занятие.
Чтобы зарегистрироваться на курс, нажмите на кнопку "поступить" на нашем сайте.
Ссылки:
Наш сайт
Подробная программа и оргинформация обоих частей курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
🧡 Поддержать нашу школу на Boosty
Если остались вопросы, пишите нам на почту ([email protected]) или в комментарии под этим постом.
Ждём вас в чатиках курса в новом семестре!
В этот вторник в Лондоне завершился первый поток курса Intro to ML from an LLM Standpoint, в котором я тоже принимала участие как лектор. Это очный бесплатный курс, который создавал и организовывал Стас Федотов, который долгое время курировал ШАД в Москве, а теперь вот перебрался в Лондон, и делает курсы по ML тут. Это был моей первый опыт преподавания на английском, еще и сразу оффлайн перед людьми, но мне очень понравилось! На первом занятии еще ощущала волнение, и, наверное, это было заметно, но к четвертому уже привыкла и вошла в обычное свое состояние во время чтения лекций. Правда, я обычно очень увлекаюсь, забываю про перерывы и никогда не справляюсь закончить лекцию в отведенное время (а тут лекции были по 3 часа!) 😅 Тут происходило так же)
Из интересного — этот курс был в некоторой мере экспериментальный, мы рассказывали об устройстве современных LLM не "с основ ML до сложных Transformers и LLM", а почти наоборот — начиная с обзора устройства LLM и идей вроде промптинга, reasoning, RAG, и постепенно спускаясь ниже, внутрь, попутно изучая основы ML, которые нужны для понимания всех частей LLM. Мой внутренний перфекционист ощущал от этого немного боли, потому что я люблю в курсах основательный фундаментальный подход от простого к сложному, когда все сложные идеи постепенно составляются из более простых частей и не приходится нигде махать руками и говорить фразы типа "ну вот тут такая идея, а как именно это работает, узнаем потом". Но я при этом понимаю, что не все хотят идти на огромный курс и несколько недель изучать основы, чтобы понять, как устроены LLM, поэтому нужно учиться балансировать и создавать курсы типа этого. Получилось, вроде бы, даже хорошо. Короче, эксперимент классный. Ну и, в любом случае, мои четыре занятия в этом курсе были довольно фундаментальные без махания руками, поэтому у меня точно все хорошо)
Если вы в Лондоне и вам было бы интересны подобные курсы — следите за Стасом и Nebius Academy. Кажется, скоро должен быть курс по LLM engineering, и там, по словам Стаса, получается довольно насыщенная программа с кучей практики. Ну и, зная Стаса и людей, которые с ним делают курсы, курс будет точно хороший.
Вот пост в LinkedIn про окончание курса еще, порадуйте Стаса, поставьте лайк🙃
Из интересного — этот курс был в некоторой мере экспериментальный, мы рассказывали об устройстве современных LLM не "с основ ML до сложных Transformers и LLM", а почти наоборот — начиная с обзора устройства LLM и идей вроде промптинга, reasoning, RAG, и постепенно спускаясь ниже, внутрь, попутно изучая основы ML, которые нужны для понимания всех частей LLM. Мой внутренний перфекционист ощущал от этого немного боли, потому что я люблю в курсах основательный фундаментальный подход от простого к сложному, когда все сложные идеи постепенно составляются из более простых частей и не приходится нигде махать руками и говорить фразы типа "ну вот тут такая идея, а как именно это работает, узнаем потом". Но я при этом понимаю, что не все хотят идти на огромный курс и несколько недель изучать основы, чтобы понять, как устроены LLM, поэтому нужно учиться балансировать и создавать курсы типа этого. Получилось, вроде бы, даже хорошо. Короче, эксперимент классный. Ну и, в любом случае, мои четыре занятия в этом курсе были довольно фундаментальные без махания руками, поэтому у меня точно все хорошо)
Если вы в Лондоне и вам было бы интересны подобные курсы — следите за Стасом и Nebius Academy. Кажется, скоро должен быть курс по LLM engineering, и там, по словам Стаса, получается довольно насыщенная программа с кучей практики. Ну и, зная Стаса и людей, которые с ним делают курсы, курс будет точно хороший.
Вот пост в LinkedIn про окончание курса еще, порадуйте Стаса, поставьте лайк🙃