Одно из лучших иллюстрированных объяснение внутренностей DeepSeek-R1.
▪ Читать
▪ https://pika.art/
Наивное квантование всех слоев полностью ломает модель, вызывая бесконечные циклы и тарабарщину на выходе. Их динамические кванты решают эту проблему.
1,58-битный квант помещается в 160 ГБ VRAM (2x H100 80 ГБ) для быстрого вывода со скоростью ~140 токенов/сек.
Изучив архитектуру DeepSeek-R1, разработчики выборочно квантовали определенные слои в более высокие биты (например, в 4-битные), а большинство слоев MoE оставили в 1,5 бита.
▪Бенчмарки + блог
▪GGUF (131-212 ГБ) на Hugging Face:
▪Код
▪Демо
▪Qwen-2.5-VL
▪Qwen-2.5-1M
Netflix выпустили новый алгоритм искажения шума для генерации видео, достаточно быстрый, чтобы работать в реальном времени, который заменяет случайную временную гауссиану на коррелированный искаженный шум, полученный из полей оптического потока, который сохраняет при этом пространственную гауссиану. Эффективность алгоритма позволяет тонко настраивать современные модели диффузии видео с минимальными расходами и предоставляет универсальное решение для широкого спектра управления движением на видео. Обширные эксперименты и исследования демонстрируют преимущества метода, делая его надежным и масштабируемым подходом для управления движением в диффузионных моделях видео.
▪HF
▪Github
▪ Github
@ai_machinelearning_big_data
#ai #ml #news #llm #deepseek #Netflix #Qwen #Pika #news #ainews
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
ICT.Moscow выпустили подборку отечественных Open Source проектов для разработки ИИ: здесь библиотеки и фреймворки для ML, готовые нейросети, датасеты для обучения и методы оптимизации.
Какие решения популярные вошли в подборку:
- YaFSDP позволяет ускорить обучение моделей ИИ за счет оптимизации хранения промежуточных весов и вычисления их градиентов.
- Yandex Cloud ML SDK помогает в использовании платформы AI Studio, в частности взаимодействовать с моделями и эмбеддингами — векторными представлениями текста.
- ReBased позволяет создавать большие языковые модели, быстро обрабатывающие длинные тексты.
- Платформа YTsaurus позволяет управлять кластерами графических процессоров, на которых проводится обучение моделей.
▪️ Статья
@ai_machinelearning_big_data
#opensource #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️NVIDIA выпустили Eagle 2 — 1B, 2B и 9B VLM.
Eagle 2 - это обновление семейство мощных vision language моделей.
Модель 9B превосходит GPT4o ChartQA, OCRBench и MathVista, а также Llama 3.2 Vision 90B и llava 70B 🔥
Может работать с длинным контекстом, поддерживает 4K, HD.
> Eagle2-9B превосходит InternVL2-8B и MiniCPM-v2.6 по всем 14 тестам
> Он превосходит Qwen2-VL-7B в 9 из 14 тестов и превосходит его в OpenCompass
> Конкурирует с более крупными моделями, такими как InternVL2-26B, LLaVa-OneVision-72B и LLaMa-3.2-90B-Vision
> Eagle2-9B превосходит GPT-4o на ChartQA, OCRBench и MathVista и близок к GPT-4o на DocVQA, MMStar, AI2D и OpenCompass
> В открытом доступе выложены модель и чекпоинты
🤗 Hf: https://huggingface.co/collections/nvidia/eagle-2-6764ba887fa1ef387f7df067
▪️Demo: http://eagle.viphk1.nnhk.cc
▪️Paper: https://arxiv.org/abs/2501.14818
@ai_machinelearning_big_data
#eagle #nvidia #vision #ml #ai
Eagle 2 - это обновление семейство мощных vision language моделей.
Модель 9B превосходит GPT4o ChartQA, OCRBench и MathVista, а также Llama 3.2 Vision 90B и llava 70B 🔥
Может работать с длинным контекстом, поддерживает 4K, HD.
> Eagle2-9B превосходит InternVL2-8B и MiniCPM-v2.6 по всем 14 тестам
> Он превосходит Qwen2-VL-7B в 9 из 14 тестов и превосходит его в OpenCompass
> Конкурирует с более крупными моделями, такими как InternVL2-26B, LLaVa-OneVision-72B и LLaMa-3.2-90B-Vision
> Eagle2-9B превосходит GPT-4o на ChartQA, OCRBench и MathVista и близок к GPT-4o на DocVQA, MMStar, AI2D и OpenCompass
> В открытом доступе выложены модель и чекпоинты
▪️Demo: http://eagle.viphk1.nnhk.cc
▪️Paper: https://arxiv.org/abs/2501.14818
@ai_machinelearning_big_data
#eagle #nvidia #vision #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Команда API Яндекс Карт поделилась тем, как модернизировала Геокодер. Это инструмент, который способен найти точную локацию по запросу "Мяснитская 8" или вообще "Келес ауданы Сыртав 2".
Инженеры построили весь Геокодер с помощью deep learning, который:
- Работает даже с опечатками и народными названиями
- Понимает адреса на разных языках
- Запускается в новой стране за пару недель
- Использует под капотом контрастивное обучение, active learning, аугментацию и LLM-генерацию
- Показывает результат на 14% точнее предыдущей версии
По заверениям разработчиков, чтобы поддерживать такой Геокодер, достаточно всего пять ML-инженеров.
▪️Статья
@ai_machinelearning_big_data
#ai #ml #machinelearning #deeplearning
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Inference Providers on the Hub!
С сегодняшнего дня вы можете получить доступ к тысячам моделей, таким как DeepSeek R1, Llama, Flux, Whisper и прямо из Hugging Face!
https://huggingface.co/blog/inference-providers
@ai_machinelearning_big_data
#huggingface #ml #providers
С сегодняшнего дня вы можете получить доступ к тысячам моделей, таким как DeepSeek R1, Llama, Flux, Whisper и прямо из Hugging Face!
https://huggingface.co/blog/inference-providers
@ai_machinelearning_big_data
#huggingface #ml #providers
Alibaba релизнули еще одну модель: Qwen2.5-Max.
- MoE
- предварительно обученная на масштабных датасетах и пост-обученная с помощью SFT и RLHF
- превосходит DeepSeek V3 на бенчмарках: Arena Hard, LiveBench, LiveCodeBench, GPQA-Diamond
📖 Релиз: https://qwenlm.github.io/blog/qwen2.5-max/
💬 Chat: https://chat.qwenlm.ai (choose Qwen2.5-Max as the model)
⚙️ API: https://alibabacloud.com/help/en/model-studio/getting-started/first-api-call-to-qwen?spm=a2c63.p38356.help-menu-2400256.d_0_1_0.1f6574a72ddbKE
🤗 HF: https://huggingface.co/spaces/Qwen/Qwen2.5-Max-Demo
@ai_machinelearning_big_data
#Qwen #ml #llm #Alibaba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Исследователи из Беркли воспроизвели Ahah-moment в задачах на обратный отсчет и умножение.
Благодаря RL их модель LM 3B самостоятельно развивает способности к самопроверке и поиску.ю правильного ответа.
▪ Github▪Полный лог эксперимента ▪Тред
1. OpenThoughts: 114 тыс датасет, полученный из R1 по математике, кодингу и другим наукам
2. R1-Distill-SFT: 1.7M, полученный из R1-32B на NuminaMath и Tulu data
lmmslab провели интересное исследование мультимодальной R1, используя математически-ориентированные обучающие примеры RL* и *натренированные модели GRPO*.
▪Github ▪Dataset ▪Wandb Logs
Этот новый флуоресцентный белок, похожий на белки, обнаруженные у медуз, может найти применение в медицине.
Он существует только в виде цифровой последовательности и существенно отличается от известных белков.
Исследователи из компании EvolutionaryScale опубликовали результаты, которые сейчас проходят рецензирование.
Новые методы белковой инженерии могут произвести революцию во многих областях, включая разработку новых лекарств.
Флуоресцентные белки, такие как esmGFP, уже используются в исследованиях для визуализации биологических процессов.
ИИ значительно ускоряет этот процесс и расширяет возможности модификации белков.
▪Подробнее
Официальный API DeepSeek сбоит уже почти сутки, так что многие пользователи ищут варианты.
▪Вот список открытых и не очень альтернатив.
Релиз кода для Stable Flow - метода, не требующего обучения, который позволяет выполняет различные типы операций по редактированию изображений (например, редактирование, добавление, замена объектов) с помощью моделей потока.
▪Github ▪Paper ▪Video
▪Установить ▪Github
@ai_machinelearning_big_data
#rl #ml #experiment #deepseek #reasoning #education #llm #news #ainews #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Мощный фреймворк Python для создания синтетических данных для AI и не только для этого
Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.
Позволяет легко синтезировать и оценивать данные с помощью встроенных инструментов. Отлчиный инструмент для улучшении данных и обучении моделей.
Процесс прост:
- Вводим запрос.
- Два LLM генерируют ответы
- LLM-судья оценивает полученные ответы
- Лучший ответ сопоставляется с изначальным вопросов.
И что самое интересное? Все это с открытым исходным кодом. Лицензия позволяет использовать результаты модели для улучшения других моделей.
▪ GitHub
▪ Доки
@ai_machinelearning_big_data
#Distilabel #python #ai #openai #python #ai #syntheticdata #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ Hailuo AI выпустили новую версию своего генератора видео T2V 01 Director, в которой упор сделан на контроль камеры!
✨ Что нового:
- Уменьшена хаотичность движений генераций.
- Повышена точность управления.
- Улучшена эстетика движения камеры.
Модель управления и движения камеры работает просто великолепно.
📌 Попробовать
@ai_machinelearning_big_data
#video #ai #videogenerator #Hailuo
✨ Что нового:
- Уменьшена хаотичность движений генераций.
- Повышена точность управления.
- Улучшена эстетика движения камеры.
Модель управления и движения камеры работает просто великолепно.
📌 Попробовать
@ai_machinelearning_big_data
#video #ai #videogenerator #Hailuo
Конкурс Data Fusion Awards в этом году впервые объявляет номинацию «Научный прорыв года в ИИ». Российские ученые, которые публикуют статьи по вопросам ИИ или науки о данных в 2024 году, могут претендовать на один из трех призов по 1 000 000 рублей.
Срок подачи заявок: до 31 января 2025 года.
Please open Telegram to view this post
VIEW IN TELEGRAM