Хоть NVIDIA B200 и кажется жутко мощной, именно перемножением матриц там занимается очень малая транзисторов чипа. Матричное умножение - это базовая операция в нейронках, под которую заточены tensor cores, и их как раз всего 528 штук в H100. В итоге получается, что в H100 за эти операции отвечает всего около 3% транзисторов. [тут должна быть картинка с чуваком копающим яму - сделайте мем плиз]. А оставшиеся 97% транзисторов отвечают за управление и снабжение вычислительной части данными, плюс на всякий вторичный функционал.
Стартапу Etched, за счёт крайне сильной специализации (их чип может запускать только трансформеры) удалось сильно сократить накладные расходы и повысить количество компьюта на чип. Выросла и эффективность использования компьюта (MFU) - тут она более 90%! Для контекста: на H100 максимальная достигнутая эффективность чуть больше 50%.
Результаты поражают - LLaMa 70B на одной ноде из 8 новых чипов Sohu выдаёт полмиллиона токенов в секунду! Стартап только что привлёк 120 миллионов финансирования, так что, надеюсь, релиз не за горами.
Хоть NVIDIA B200 и кажется жутко мощной, именно перемножением матриц там занимается очень малая транзисторов чипа. Матричное умножение - это базовая операция в нейронках, под которую заточены tensor cores, и их как раз всего 528 штук в H100. В итоге получается, что в H100 за эти операции отвечает всего около 3% транзисторов. [тут должна быть картинка с чуваком копающим яму - сделайте мем плиз]. А оставшиеся 97% транзисторов отвечают за управление и снабжение вычислительной части данными, плюс на всякий вторичный функционал.
Стартапу Etched, за счёт крайне сильной специализации (их чип может запускать только трансформеры) удалось сильно сократить накладные расходы и повысить количество компьюта на чип. Выросла и эффективность использования компьюта (MFU) - тут она более 90%! Для контекста: на H100 максимальная достигнутая эффективность чуть больше 50%.
Результаты поражают - LLaMa 70B на одной ноде из 8 новых чипов Sohu выдаёт полмиллиона токенов в секунду! Стартап только что привлёк 120 миллионов финансирования, так что, надеюсь, релиз не за горами.
Overall, extreme levels of fear in the market seems to have morphed into something more resembling concern. For example, the Cboe Volatility Index fell from its 2022 peak of 36, which it hit Monday, to around 30 on Friday, a sign of easing tensions. Meanwhile, while the price of WTI crude oil slipped from Sunday’s multiyear high $130 of barrel to $109 a pop. Markets have been expecting heavy restrictions on Russian oil, some of which the U.S. has already imposed, and that would reduce the global supply and bring about even more burdensome inflation. "Someone posing as a Ukrainian citizen just joins the chat and starts spreading misinformation, or gathers data, like the location of shelters," Tsekhanovska said, noting how false messages have urged Ukrainians to turn off their phones at a specific time of night, citing cybersafety. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. Since January 2022, the SC has received a total of 47 complaints and enquiries on illegal investment schemes promoted through Telegram. These fraudulent schemes offer non-existent investment opportunities, promising very attractive and risk-free returns within a short span of time. They commonly offer unrealistic returns of as high as 1,000% within 24 hours or even within a few hours.
from cn
