Итоги года, которые вы ждали: топ-10 лучших мемов 2024
Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего👉
А какими мемами запомнился вам ушедший год? Присылайте в комментарии👇
Мы провели глубокую аналитику, просмотрели все мемы, которые выкладывали в этом году, и отобрали те, которые понравились вам больше всего
А какими мемами запомнился вам ушедший год? Присылайте в комментарии
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets | Карьера
Когда большая часть новогоднего стола съедена, а от вида оливье становится дурно... наступает то самое время отвлечься и немного попрактиковаться в ML!
Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас:
⭐ Konwinski Prize
Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании.
Призовой фонд 1 225 000$
Крайний срок подачи решения: 6 марта.
⭐ Forecasting Sticker Sales
Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!".
Призовой фонд выбор подарков от Kaggle
Крайняя дата подачи решения: 1 февраля.
⭐ Autoimmune Disease Machine Learning Challenge
Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли.
Призовой фонд 50 000$
Крайняя дата подачи заявки: 31 января.
⭐ Kuyesera AI Disaster Damage and Displacement Challenge
Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно.
Призовой фонд 12 500$
Крайний срок подачи заявления: 1 февраля.
⭐ Santa 2024 - The Perplexity Permutation Puzzle
Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь.
Призовой фонд 50 000$.
Крайний срок подачи решения: 25 января.
Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!
Идеальный вариант заняться практикой – это принять участие в хакатоне! Поэтому сегодня мы собрали для вас пост-новогоднюю подборку соревнований, которые идут прямо сейчас:
Цель команды: стать первыми, кто выбьет 90% на бенчмарке SWE-bench. Неожиданно, но организатором является сам Энди Конвински - сооснователь Perplexity и Databricks. Если вдруг станет инетерсно, то вот здесь мы подробно рассказали об этом соревновании.
Призовой фонд 1 225 000$
Крайний срок подачи решения: 6 марта.
Цель: спрогнозировать продажи наклеек в разных странах. Соревнование проводит Kaggle, но на денежные призы рассчитывать не приходится. Сами же организаторы говорят про свое соревнование так: "В Kaggle мы относимся к наклейкам серьезно!".
Призовой фонд выбор подарков от Kaggle
Крайняя дата подачи решения: 1 февраля.
Цель: определить генные маркеры раковых областей по фотографии кишечника. Ученые из Клеточной обсерватории Клармана надеются, что такой такой конкурс поможет врачам лучше выявлять злокачественные опухоли.
Призовой фонд 50 000$
Крайняя дата подачи заявки: 31 января.
Цель: разработать модель по определению местоположения домов, поврежденных циклоном Фредди. Особенность этого соревнования в том, что победители соревнования смогут внедрить свое решение в реальную систему при поддержке Амазон. Ходят слухи, что победителей возьмут в штат AWS, но это неточно.
Призовой фонд 12 500$
Крайний срок подачи заявления: 1 февраля.
Цель: переставить слова в тексте так, чтобы получить связный и логичный текст. Хакатон уже в самом разгаре, но вы еще можете испытать удачу и поучаствовать в нем. Для тех, кто еще думает, подробнее о соревновании мы рассказывали здесь.
Призовой фонд 50 000$.
Крайний срок подачи решения: 25 января.
Для самых юных наших подписчиков скоро начнется соревнование от Академии ИИ «По следам животных». Важное условие: чтобы принять участие в этом хакатоне, вам должно быть от 14 до 18 лет!
Please open Telegram to view this post
VIEW IN TELEGRAM
Продолжаем подводить итоги года: в X нарисовали лаконичный график основных релизов 2024
Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени).
Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию.
В общем, то ли еще будет. А картинка очень залипательная
Их было настолько много, что даже в таком масштабе не все помещаются. Не зря говорят, что 2024 был самым «медленным» годом, который проживало человечество (по метрике плотности событий и прорывов на единицу времени).
Представьте, еще год назад у нас и близко не было никаких рассуждающих моделей, да и GPT-4o вышел только в мае, кстати. Более того, на арене появились новые игроки, а xAI, Google и Anthropic за год наконец стали серьезными конкурентами OpenAI и разрушили монополию.
В общем, то ли еще будет. А картинка очень залипательная
Новогодний ML-гороскоп
Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для васастрологические даталогические прогнозы на 2025 для каждой профессии.
Accuracy – 100%, честное слово
Что будет с вами с новом году? Мы посоветовались со звездами и всей командой сделали для вас
Accuracy – 100%, честное слово
Кажется, скоро нас ждет еще один ИИ-подарок – на этот раз от Илона Маска
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
Сегодня в Твиттере он сообщил, что предобучение Grok-3 закончилось, и скоро модель увидит свет. Для претрейна, кстати, стартап использовал в 10 раз (!) больше компьюта, чем потребовалось для Grok-2.
Учитывая, какой был скачок у Grok-2 относительно Grok-1, Grok-3 ждем с нетерпением
Это поможет вам в 2025 начать карьеру в аналитике или решить, куда вам развиваться дальше📊
Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год🔥
Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
🟠 чек-листы и тесты
🟠 записи прямых эфиров и подкасты с вдохновляющими историями
🟠 разборы тестовых заданий в крупные компании
Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.
Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.
Перейти в адвент-календарь
Команда Simulative подготовила адвент-календарь для аналитиков, который поможет заручиться вдохновением, поддержкой и знаниями для того, чтобы мощно ворваться в 2025 год
Внутри вас ждут материалы по аналитике, машинному обучению и дата-инженерии:
Регистрируйтесь и ежедневно получайте порцию бесплатного качественного контента.
Если вы подписались на календарь не с самого начала января, не переживайте — вам всё равно откроются все материалы.
Перейти в адвент-календарь
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В Meta уже оправились от новогодних праздников и выкатили свежее исследование про memory layers
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.
Это архитектурный хак, который может сделать языковые модели умнее и при этом легче в плане вычислительных ресурсов. Эта идея не нова, но раньше такие архитектуры довольно скверно масштабировались и существовали на уровне игрушечных примеров — теперь же Meta довела их до левела взрослых моделей с миллиардами параметров.
Основная идея состоит в том, чтобы заменить часть плотных feed-forward слоев в трансформерах на memory layers — слои, которые работают по принципу key-value lookup. Feed-forward слои в трансформерах, которые обрабатывают входные данные, обычно супер прожорливые. Memory layers, напротив, используют sparse-активации. Они хранят отдельные ассоциации (например, факты) и извлекают их только тогда, когда это действительно нужно, тем самым экономя вычислительную мощность.
В экспериментах memory layers превзошли dense-модели, которые используют в 4 раза больше FLOPs, и даже обошли MoE. Особенно крутые результаты получили на задачах фактологического QA вроде TriviaQA и NaturalQuestions, где точность улучшилась аж на 100% по сравнению с базовыми моделями.
Многообещающе, в общем. Правда, такое пока сложно внедрять в прод, но если Meta доведет это до production-ready уровня, то это будет следующий шаг для идеального трейдоффа качество-ресурсы.
Код тут: GitHub Meta FAIR.
Альтман подтвердил, что OpenAI теперь точно знает, как достигнуть AGI и уже готовится к созданию ASI
В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.
Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.
«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)
Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.
В общем, интересный сторителлинг, прочитать полностью можно тут
В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично.
Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал.
«Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд)
Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге.
В общем, интересный сторителлинг, прочитать полностью можно тут
Сегодня прошел первый день CES – самой крупной техно-выставки в мире. Nvidia залетела на нее сразу с несколькими крутыми релизами:
➖ Во-первых, новое поколение видеокарт RTX, 50 серия. Самая мощная из них – RTX 5090 – будет стоить $2000. В ней 4000 AI TOPS, 380 ray-tracing TFLOPS, пропускная способность 1,8 ТБ/с (вау!). Еще в продаже будут RTX 5070 ($549), RTX 5070 Ti ($749) и RTX 5080 ($999).
➖ Следующая, пожалуй самая крутая новинка – DIGITS. Это ИИ-суперкомпьютер у вас дома за 3 тысячи долларов. Представляет из себя небольшую коробочку, но внутри аж 128Gb оперативки. Комп тащит 1 петафлопс операций в секунду, это примерно в 1000 раз быстрее среднего ноута. На одном таком чемоданчике можно запустить LLM весом до 200B параметров. То есть имея две таких, можно запустить локально почти любую из существующих моделек.
➖ Cosmos – моделирование физического мира с помощью ИИ, аналог недавно прогремевшей Genesis (пост). Нужна для обучения роботов и беспилотных автомобилей, в партнерах уже числится Uber и Toyota.
Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете»🤖
Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете»
Please open Telegram to view this post
VIEW IN TELEGRAM
Виталик Бутерин предлагает ввести «глобальную кнопку паузы ИИ»
В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».
Идея, кстати, не нова. В один из таких проектов уже даже можно донатить
В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели».
Идея, кстати, не нова. В один из таких проектов уже даже можно донатить