Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
"The result is on this photo: fiery 'greetings' to the invaders," the Security Service of Ukraine wrote alongside a photo showing several military vehicles among plumes of black smoke. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change. However, the perpetrators of such frauds are now adopting new methods and technologies to defraud the investors. Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." What distinguishes the app from competitors is its use of what's known as channels: Public or private feeds of photos and videos that can be set up by one person or an organization. The channels have become popular with on-the-ground journalists, aid workers and Ukrainian President Volodymyr Zelenskyy, who broadcasts on a Telegram channel. The channels can be followed by an unlimited number of people. Unlike Facebook, Twitter and other popular social networks, there is no advertising on Telegram and the flow of information is not driven by an algorithm.
from fr
