Камбэк Рокета

Банк закрылся ещё в 21 году, но теперь с двух ног готов вернуться в игру. На своем лендинге они оставили заметки разработчиков, в которых размышляют об умной аналитике финансов, кастомизируемом интерфейсе.

Аналитика финансов звучит интересно — excel уже как-то поднадоел, плюс вручную все вбивать. В других банках вроде бы есть что-то похожее, но данные отображаются криво, и сложно оценить реальные траты. В общем, нормальных решений пока не нашлось (есть, конечно всякие приложеньки, но это все не то...).

Ну а полная кастомизация звучит как дикая песочница. Вот бы был свой Linux среди банков.

И вишенка на торте — это рекомендации. Куда же без них, но концепт интересный с точки зрения того, что только у банка есть инфа о том, на что вы реально тратите деньги. Так что в теории эти рекомендации должны быть полезными (во всяком случае, точно полезнее ленты в Тиктоке).

Все это пока лишь размышления Рокета, но вектор мысли интересный. Посмотрим, что будет дальше.

@ai_newz

Тем временем прошла WWDC от Apple

Самая интересная ИИ фича с WWDC — Foundation Models Framework

Apple теперь дают доступ к LLM в Apple Intelligence сторонним разработчикам. Хоть и LLM у эппла не лучшие, но они доступны оффлайн, на куче устройств и абсолютно бесплатно. Из фич в фреймворке доступен как минимум тулюз и guided generation, подробности расскажут чуть позже.

Бета доступна разработчикам уже сегодня. Хороший такой способ неплохо сэкономить на API костах и проще интегрировать LLM в приложения (чтобы начать использовать фреймворк нужно всего лишь три строчки кода на Swift).

Блогпост

@ai_newz

Magistral — Mistral наконец-то сделали ризонера

И сразу же стало понятно почему они так медлили — это катастрофа. Magistral Medium не может обогнать даже январскую DeepSeek R1 в одинаковых условиях, что уже говорить про R1-0528, которую они не могут догнать даже с maj@64. Доступна модель лишь в API, при цене в $2/$5 за миллион токенов, то есть она дороже o4-mini ($1.1/$4.4) и почти на уровне новых цен на o3 ($2/$8), а это всё модели на голову или две лучше.

Выпустили они и открытую модель — Magistral Small, 24B модель, которая отстаёт на большинстве бенчей даже от Qwen 3 8B (8B просто не замеряли на Aider, так что обогняет ли она Magistral и там непонятно). А ведь существуют и Qwen 3 побольше.

Из хорошего — они опубликовали пейпер о тренировке модели, где довольно детально описали процесс тренировки. А благодаря партнёрству с Cerebras, в LeChat Magistral работает крайне быстро — больше 1000 токенов в секунду (правда бесплатным юзерам дают лишь 3 таких запроса в день).

UPD: Magistral Medium тренировали исключительно при помощи RL, без SFT, так что сравнивать её стоит скорее с R1-Zero. Может когда-то они докинут SFT и модель станет более адекватно работать.

Пейпер
Блогпост
Веса Magistral Small
Веса Qwen 3 8B

@ai_newz

Авито показали технологическую внутрянку компании

На фестивале Data Fest Авито показали, как работают языковые и визуальные модели, обучаются агенты поддержки, функционируют бизнес-метрики внедрения. А еще — чем занимаются стажеры в компании.

Выяснилось, что собственный токенизатор модели требует на русском языке в среднем на 29% меньше токенов. Это делает модель до двух раз быстрее чем Qwen такого же размера. В итоге на фесте A-Vibe заняла первое место среди небольших моделей в бенчмарке MERA. Кстати, стажеры в компании тоже занимаются обучением A-Vibe. Для них нет тестовых проектов — ребята сразу попадают в гущу событий.

Визуальная модель не отстает от языковой: она умеет делать описание изображения, распознавать текст, считать объекты на фото и даже определять названия брендов. Быстрый токенизатор опять же помогает выполнять все эти задачи в ускоренном режиме.

А для автоматизации 80-95% рутинных задач Авито создал ML-платформу. Платформа объединяет хранилище готовых признаков, систему разметки с взаимным контролем качества между людьми и ИИ, а также open-source решение Aqueduct для оптимизации инференса, экономящее до 30% ресурсов. Конечная цель ー no-code интерфейс, позволяющий любому сотруднику запускать модели без написания кода.

@ai_newz

OpenAI ещё раз удвоили лимиты на o3 для Plus подписчиков

Как оказалось обычным подписчикам вчера тоже завезли подарочек — теперь в неделю дают 200 сообщений, вместо 100 (изначально вообще было 50). А как часто вы утыкались в лимиты?

@ai_newz

Прямо сейчас на CVPR слушаю доклад от легендарного Tri Dao – автора Flash Attention (штука которая принесла значительные ускорения в трансформеры).

#конфа
@ai_newz

Advancing AI 2025 — выжимка из презентации AMD

Хоть Nvidia и лидер на рынке GPU, но они там не одни. Выбрал для вас самое сочное:

➖ MI350x и MI355x (тот же кристалл, выше TDP) будут доступны в третьем квартале — 288 ГБ HBM3e, поддержка FP4/FP6, 8TB/s пропускной способности, до 20 петафлопс в FP4, держат больше полутриллиона параметров на одной карте.

➖ Такие характеристики позволяют нехило сэкономить — AMD обещают прирост в токенах в секунду до 40% за те же деньги, по сравнению с Nvidia Blackwell.

➖ MI400x — 40 петафлопс в fp4, 432 гигабайта HBM4 на скорости 19.6TB/s, релиз в 2026. MI450 уже проектируют вместе с OpenAI — об этом лично сказал Сэм Альтман на сцене.

➖ Helios AI-Rack — прямой конкурент NVL144 Vera Rubin от Nvidia. 72 MI400x дают 2.9 экзафлопса в FP4, 1.4PB/s пропускной способности и 31TB VRAM, при этом давая такой же уровень интерконнекта внутри. Выйдет тоже в 2026.

➖ Helios и вся линейка строятся на открытом интерконнекте, вместо проприетарного NVLink.

➖ AMD Developer Cloud — официальное облако от AMD, специально для разработчиков, для регистрации нужен всего лишь GitHub аккаунт. Предлагают MI300x за $2 в час, что заметно дешевле других провайдеров.

Видюхи AMD выглядят очень вкусно для инференса — при схожей производительности по компьюту, они дают больше VRAM и пропускной способности, что означает заметно больший батчсайз и более дешёвые токены. А за последний год уровень поддержки видюх AMD стандартным софтом для инференса, вроде SGLang, вырос на голову. Но тренировать на них пока что всё ещё рано — всё ещё слишком нестабильно. Хотя прогресс за последнее время всё равно впечатляет.

Полная презентация

@ai_newz

Вайбы на CVPR.

Есть и такие классные докладчики.

@ai_newz

Мой интерн Юнгмин презентует нашу статью: Autoregressive Distillation of Diffusion Transformers перед залом в тысячу человек.

Молодец, отлично справился!

#конфа
@ai_newz

Нейродайджест за неделю (#73)
Я на CVPR 2025, поэтому с задержкой)

CVPR 2025
- Кружочек анонс — это же крупнейшая конференция по моему любимому computer vision.
- Да кто такой этот ваш CVPR — небольшой ликбез по конфе и почему это важно.
- Автор FlashAttention на CVPR — легенда рассказывает про эффективные алтернативы аттеншену. Прямое включение!
- Вайбы с Oral докладов
- Мой интерн на сцене, презентует нашу статью! — красавчик, иначе и не скажешь.

LLM
- Magistral — первый ризонер от Mistral и крайне неудачный (есть надежда, что ещё будет дотрейнён с SFT).
- Релиз o3 pro — по традиции в pro-подписке. При этом по API в несколько раз дешевле o1 pro.
- AI в Avito — челы не поленились и сделали свою ЛЛМ, причём ещё и шуструю на русском.
- o3 в два раза больше — увеличили лимиты, так что теперь можно совсем забыть о лимитах.

Прочее
- Apple WWDC — презентация Apple для разработчиков. Теперь можно юзать Apple Intelligence в своих апках.
- Дайджест презы AMD — «ответка» Nvidia, со статусом «топ за свои деньги» и большой упор в оптимизацию инференса.

> Читать дайджест #72

#дайджест
@ai_newz

После CVPR в Нэшвилле полетел в Сан-Франциско на другую сходку – YC AI Startup School.

Сижу слушаю байки старичка Сэмы.

@ai_newz