Хоть NVIDIA B200 и кажется жутко мощной, именно перемножением матриц там занимается очень малая транзисторов чипа. Матричное умножение - это базовая операция в нейронках, под которую заточены tensor cores, и их как раз всего 528 штук в H100. В итоге получается, что в H100 за эти операции отвечает всего около 3% транзисторов. [тут должна быть картинка с чуваком копающим яму - сделайте мем плиз]. А оставшиеся 97% транзисторов отвечают за управление и снабжение вычислительной части данными, плюс на всякий вторичный функционал.
Стартапу Etched, за счёт крайне сильной специализации (их чип может запускать только трансформеры) удалось сильно сократить накладные расходы и повысить количество компьюта на чип. Выросла и эффективность использования компьюта (MFU) - тут она более 90%! Для контекста: на H100 максимальная достигнутая эффективность чуть больше 50%.
Результаты поражают - LLaMa 70B на одной ноде из 8 новых чипов Sohu выдаёт полмиллиона токенов в секунду! Стартап только что привлёк 120 миллионов финансирования, так что, надеюсь, релиз не за горами.
Хоть NVIDIA B200 и кажется жутко мощной, именно перемножением матриц там занимается очень малая транзисторов чипа. Матричное умножение - это базовая операция в нейронках, под которую заточены tensor cores, и их как раз всего 528 штук в H100. В итоге получается, что в H100 за эти операции отвечает всего около 3% транзисторов. [тут должна быть картинка с чуваком копающим яму - сделайте мем плиз]. А оставшиеся 97% транзисторов отвечают за управление и снабжение вычислительной части данными, плюс на всякий вторичный функционал.
Стартапу Etched, за счёт крайне сильной специализации (их чип может запускать только трансформеры) удалось сильно сократить накладные расходы и повысить количество компьюта на чип. Выросла и эффективность использования компьюта (MFU) - тут она более 90%! Для контекста: на H100 максимальная достигнутая эффективность чуть больше 50%.
Результаты поражают - LLaMa 70B на одной ноде из 8 новых чипов Sohu выдаёт полмиллиона токенов в секунду! Стартап только что привлёк 120 миллионов финансирования, так что, надеюсь, релиз не за горами.
Russians and Ukrainians are both prolific users of Telegram. They rely on the app for channels that act as newsfeeds, group chats (both public and private), and one-to-one communication. Since the Russian invasion of Ukraine, Telegram has remained an important lifeline for both Russians and Ukrainians, as a way of staying aware of the latest news and keeping in touch with loved ones. For Oleksandra Tsekhanovska, head of the Hybrid Warfare Analytical Group at the Kyiv-based Ukraine Crisis Media Center, the effects are both near- and far-reaching. Some people used the platform to organize ahead of the storming of the U.S. Capitol in January 2021, and last month Senator Mark Warner sent a letter to Durov urging him to curb Russian information operations on Telegram. Continuing its crackdown against entities allegedly involved in a front-running scam using messaging app Telegram, Sebi on Thursday carried out search and seizure operations at the premises of eight entities in multiple locations across the country. After fleeing Russia, the brothers founded Telegram as a way to communicate outside the Kremlin's orbit. They now run it from Dubai, and Pavel Durov says it has more than 500 million monthly active users.
from ye
