НИИ Антропогенеза (ARI)

Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface

Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей

Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации
Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти

Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU

Результаты поданы в виде куче графиков и интерактивных визуализаций

Всего 100 страниц, рекомендую почитать
К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги

https://huggingface.co/spaces/nanotron/ultrascale-playbook

huggingface.co

The Ultra-Scale Playbook - a Hugging Face Space by nanotron

The ultimate guide to training LLM on large GPU Clusters

www.group-telegram.com/id/anthropogenes.com/43151

247 viewsFeb 20 at 12:05

Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface

Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей

Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации
Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти

Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU

Результаты поданы в виде куче графиков и интерактивных визуализаций

Всего 100 страниц, рекомендую почитать
К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги

https://huggingface.co/spaces/nanotron/ultrascale-playbook

BY НИИ Антропогенеза (ARI)