😗llm.c теперь быстрее PyTorch - запускаем GPT-2 на рисоварке экстра быстро!
Андрей Карпатый и комьюнити показывают чудеса продуктивности – за 3 недели проект из игрушки (https://www.group-telegram.com/us/ai_newz.com/2557) превратился в настоящего зверя: добавили поддержку CUDA, FlashAttention, тренировку на нескольких видеокартах и кучу оптимизаций. Результат – llm.c тренирует GPT-2 на 46% быстрее чем текущий релиз PyTorch. Это возможно подстегнуло разрабов торча оптимизировать фреймворк и значительно сократить отставание - Nightly билды всего на 7% медленнее llm.c.
С большим функционалом код стал комплекснее, теперь там 3 тысячи строк кода и компилируется он заметно дольше изначальной секунды.
Несмотря на головокружительный прогресс нужно ещё много чего сделать: * сейчас использование нескольких видеокарт лишь ускоряет тренировку, но размер модели всё ещё ограничен памятью одной видяхи * подготовить кодбазу к полноценному воспроизведению GPT-2 (модели всех размеров на нормальном датасете) * добавить поддержку моделей кроме GPT-2. * ещё больше оптимизаций
Всё это на самом деле сложные задачи, но после наблюдения за темпами разработки у меня возникло впечатление что всё это мы увидим ещё в этом месяце.
😗llm.c теперь быстрее PyTorch - запускаем GPT-2 на рисоварке экстра быстро!
Андрей Карпатый и комьюнити показывают чудеса продуктивности – за 3 недели проект из игрушки (https://www.group-telegram.com/us/ai_newz.com/2557) превратился в настоящего зверя: добавили поддержку CUDA, FlashAttention, тренировку на нескольких видеокартах и кучу оптимизаций. Результат – llm.c тренирует GPT-2 на 46% быстрее чем текущий релиз PyTorch. Это возможно подстегнуло разрабов торча оптимизировать фреймворк и значительно сократить отставание - Nightly билды всего на 7% медленнее llm.c.
С большим функционалом код стал комплекснее, теперь там 3 тысячи строк кода и компилируется он заметно дольше изначальной секунды.
Несмотря на головокружительный прогресс нужно ещё много чего сделать: * сейчас использование нескольких видеокарт лишь ускоряет тренировку, но размер модели всё ещё ограничен памятью одной видяхи * подготовить кодбазу к полноценному воспроизведению GPT-2 (модели всех размеров на нормальном датасете) * добавить поддержку моделей кроме GPT-2. * ещё больше оптимизаций
Всё это на самом деле сложные задачи, но после наблюдения за темпами разработки у меня возникло впечатление что всё это мы увидим ещё в этом месяце.
Artem Kliuchnikov and his family fled Ukraine just days before the Russian invasion. But because group chats and the channel features are not end-to-end encrypted, Galperin said user privacy is potentially under threat. Perpetrators of such fraud use various marketing techniques to attract subscribers on their social media channels. Telegram was co-founded by Pavel and Nikolai Durov, the brothers who had previously created VKontakte. VK is Russia’s equivalent of Facebook, a social network used for public and private messaging, audio and video sharing as well as online gaming. In January, SimpleWeb reported that VK was Russia’s fourth most-visited website, after Yandex, YouTube and Google’s Russian-language homepage. In 2016, Forbes’ Michael Solomon described Pavel Durov (pictured, below) as the “Mark Zuckerberg of Russia.” Additionally, investors are often instructed to deposit monies into personal bank accounts of individuals who claim to represent a legitimate entity, and/or into an unrelated corporate account. To lend credence and to lure unsuspecting victims, perpetrators usually claim that their entity and/or the investment schemes are approved by financial authorities.
from us