Итоги года, которые вы ждали: топ-10 лучших мемов 2024
Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего👉
А какими мемами запомнился вам ушедший год? Присылайте в комментарии👇
Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего
А какими мемами запомнился вам ушедший год? Присылайте в комментарии
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets | Карьера
Когда большая часть новогоднего стола съедена, а от вида оливье становится дурно... наступает то самое время отвлечься и немного попрактиковаться в ML!
Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас:
⭐ Konwinski Prize
Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании.
Призовой фонд 1 225 000$
Крайний срок подачи решения: 6 марта.
⭐ Forecasting Sticker Sales
Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!".
Призовой фонд выбор подарков от Kaggle
Крайняя дата подачи решения: 1 февраля.
⭐ Autoimmune Disease Machine Learning Challenge
Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли.
Призовой фонд 50 000$
Крайняя дата подачи заявки: 31 января.
⭐ Kuyesera AI Disaster Damage and Displacement Challenge
Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно.
Призовой фонд 12 500$
Крайний срок подачи заявления: 1 февраля.
⭐ Santa 2024 - The Perplexity Permutation Puzzle
Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь.
Призовой фонд 50 000$.
Крайний срок подачи решения: 25 января.
Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!
Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас:
Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании.
Призовой фонд 1 225 000$
Крайний срок подачи решения: 6 марта.
Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!".
Призовой фонд выбор подарков от Kaggle
Крайняя дата подачи решения: 1 февраля.
Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли.
Призовой фонд 50 000$
Крайняя дата подачи заявки: 31 января.
Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно.
Призовой фонд 12 500$
Крайний срок подачи заявления: 1 февраля.
Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь.
Призовой фонд 50 000$.
Крайний срок подачи решения: 25 января.
Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!
Please open Telegram to view this post
VIEW IN TELEGRAM
Продолжаем подводить итоги года: в X нарисовали лаконичный график основных релизов 2024
Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени).
Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию.
В общем, то ли еще будет. А картинка очень залипательная
Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени).
Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию.
В общем, то ли еще будет. А картинка очень залипательная
Новогодний ML-гороскоп
Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для васастрологические даталогические прогнозы на 2025 для каждой профессии.
Accuracy – 100%, честное слово
Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для вас
Accuracy – 100%, честное слово
Кажется, скоро нас ждет еще один ИИ-подарок – на этот раз от Илона Маска
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
Это поможет вам в 2025 начать карьеру в аналитике или решить, куда вам развиваться дальше📊
Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год🔥
Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
🟠 чек-листы и тесты
🟠 записи прямых эфиров и подкасты с вдохновляющими историями
🟠 разборы тестовых заданий в крупные компании
Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.
Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.
Перейти в адвент-календарь
Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год
Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.
Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.
Перейти в адвент-календарь
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В Meta уже оправились от новогодних праздников и выкатили свежее исследование про memory layers
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.