Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface
Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей
Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти
Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU
Результаты поданы в виде куче графиков и интерактивных визуализаций
Всего 100 страниц, рекомендую почитать К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги
Multiple pro-Kremlin media figures circulated the post's false claims, including prominent Russian journalist Vladimir Soloviev and the state-controlled Russian outlet RT, according to the DFR Lab's report. "Russians are really disconnected from the reality of what happening to their country," Andrey said. "So Telegram has become essential for understanding what's going on to the Russian-speaking world." In the United States, Telegram's lower public profile has helped it mostly avoid high level scrutiny from Congress, but it has not gone unnoticed. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website. "He has to start being more proactive and to find a real solution to this situation, not stay in standby without interfering. It's a very irresponsible position from the owner of Telegram," she said.
from ru
