Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
"Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. READ MORE "Your messages about the movement of the enemy through the official chatbot … bring new trophies every day," the government agency tweeted. Investors took profits on Friday while they could ahead of the weekend, explained Tom Essaye, founder of Sevens Report Research. Saturday and Sunday could easily bring unfortunate news on the war front—and traders would rather be able to sell any recent winnings at Friday’s earlier prices than wait for a potentially lower price at Monday’s open. Two days after Russia invaded Ukraine, an account on the Telegram messaging platform posing as President Volodymyr Zelenskiy urged his armed forces to surrender.
from in
