group-telegram.com/ai_newz/2916
Last Update:
🔥Sohu - первый ASIC для трансформеров
Хоть NVIDIA B200 и кажется жутко мощной, именно перемножением матриц там занимается очень малая транзисторов чипа. Матричное умножение - это базовая операция в нейронках, под которую заточены tensor cores, и их как раз всего 528 штук в H100. В итоге получается, что в H100 за эти операции отвечает всего около 3% транзисторов. [тут должна быть картинка с чуваком копающим яму - сделайте мем плиз]. А оставшиеся 97% транзисторов отвечают за управление и снабжение вычислительной части данными, плюс на всякий вторичный функционал.
Стартапу Etched, за счёт крайне сильной специализации (их чип может запускать только трансформеры) удалось сильно сократить накладные расходы и повысить количество компьюта на чип. Выросла и эффективность использования компьюта (MFU) - тут она более 90%! Для контекста: на H100 максимальная достигнутая эффективность чуть больше 50%.
Результаты поражают - LLaMa 70B на одной ноде из 8 новых чипов Sohu выдаёт полмиллиона токенов в секунду! Стартап только что привлёк 120 миллионов финансирования, так что, надеюсь, релиз не за горами.
Блогпост с анонсом чипа
@ai_newz
BY эйай ньюз
Share with your friend now:
group-telegram.com/ai_newz/2916