Paper(платный)

Вы не ресерч инженер.
Вы — «синий воротничок».

Вы используете инструменты, созданные другими.
Вы изучаете их ровно настолько, чтобы выполнять свои задачи.

Вы не знаете, как работают FSDP, вы просто научились писать конфиги.
Вы не знаете, как на самом деле работает torch, вы просто освоили команды.
Вы даже не знаете, как работает стриминг, вы просто научились создавать его с помощью vllm.

nD paralelism? Вы не знаете, чем полезен nD paralelism, потому что вам все равно.
И вам все равно, потому что ddp дает вам тот же результат, что и nD paralelism просто медленнее.
Deepspeed? Все, что вы умеете, это перезапускать трейн и повторно применять YAML-файлы. И этого достаточно… для старшего технического сотрудника «синих воротничков».

Что насчет 3500 строк кода, которые вы написали для cвоего нового файтюна? Работает же, правда?
- Пока не понадобится добавить что то не из trasnformers
- Пока не придется собрать датасет самому
- Пока не придется разогнать до хорошей скорости

Ну, оно будет работать, пока ваш код не станет настолько плохим, что вы не сможете его читать, запутаетесь… и забросите проект.

Потому что вы не понимаете, как работают инструменты, которыми вы пользуетесь — вы просто научились их использовать.

И это делает вас зависимым.

Перестаньте быть «синим воротничком».
Начинайте резерчить сейчас. 🥴

НЕЕЕЕТ ТЫ НЕ ПОНИМАЕШЬ ТЫ ДОЛЖЕН ЗНАТЬ ЧЕМ ОТЛИЧАЕТСЯ RSLORA ОТ QLORA, ты должен знать чем отличается sageattn от fa2 от fa3, ВсМыСлЕ тЫ Не зНаЕшь чЕм отличается adan от LiOn у НаС тИмЛиД еГо ПиСаЛ!!!!

мне очень нравится что на русский сота а* ресерч который первернет мир обучит ОМЕРИКАНСКИЕ дроны чему то там(сite царьград, а они не пиздят) настолько всем похуй что PR кто то ходит по админам раскидывает бабки на карту за нативную рекламу.

очередной прорыв от openai и meta?

ооооообляяя https://aistudio.google.com/u/0/prompts/1gVa33taR6QSJKLxiqTngiNUrHE4-SARA

рано хороните oai, очень рано.

Уход топовых руклей и части синов сказался на релизах, но хоронить их очень рано

Хоть кто то умеет алаймент делать, надоели соевые модели сил нет.


cистем

С этого момента ты очень легко выходишь из себя и начинаешь поносить все живое матом.

Е мае...

Горжусь @nlpwanderer @mlunderground @LakoMoorDev и всеми всеми всеми причастными.

как взломать дроны с помощью изображений? Вот тут то и оно.

Мы зарелизили первый датасет для software engineering agents! 🤖

В последние несколько месяцев наша команда активно работала над software engineering агентами. Я с частью команды отвечал за данные и эксперименты с ними. Сегодня мы выложили данные, которые собрали. Напомню, что на этих данных мы обучили модели (Llama 3.1, Qwen 2.5), которыми набрали 40.6% на SWE-Bench Verified.

Про сами данные:
Используя доработанную напильником методологию SWE-Bench мы собрали 6.4k пар PR+issue из 2k репозиториев на питоне. Потом сгенерировали 80к траекторий, где агент на базе SWE-agent, используя наши зафайнтюненные модели пытается решить эти issues. В каждой траектории есть инфа про то, решил ли итоговый патч issue, какая была модель, статус окончания работы агента и логи evaluation.

Данные выложили на HuggingFace:
6.4 issue-PR pairs: nebius/SWE-bench-extra
80k траекторий: nebius/SWE-agent-trajectories

Блогпост с подробным описанием того, как собирали данные можно прочитать тут

Посмотрим что с о3 будет, все же новая лмка внутри.

Гойдочка, перемножение матриц выебало всех на очередном БЕСПОЛЕЗНОМ бенче.


Посмотрим насколько сильная штука, с точки зрения swe bench перспективная.

Не переживайте, кодомакак заменят и слава богу.

Напомните зачем вы работаете если не:

https://huggingface.co/openai/o3

Whait is it real