На этот раз специально оптимизировали под H100 и H800.
Для FP16, достигает ускорения в 1.6x-2.0x по сравнению с FA-2! Особенно большой прирост заметен, когда побольше размерность голов в аттеншен, например 128 или 256. Очередной разрыв!💥
Используют те же оптимизации что в ThunderKittens, но куда больше мелких оптимизаций, поэтому и быстрее. К этому бонусом идёт улучшенная в два раза точность аттеншна в fp8.
На этот раз специально оптимизировали под H100 и H800.
Для FP16, достигает ускорения в 1.6x-2.0x по сравнению с FA-2! Особенно большой прирост заметен, когда побольше размерность голов в аттеншен, например 128 или 256. Очередной разрыв!💥
Используют те же оптимизации что в ThunderKittens, но куда больше мелких оптимизаций, поэтому и быстрее. К этому бонусом идёт улучшенная в два раза точность аттеншна в fp8.
In 2018, Russia banned Telegram although it reversed the prohibition two years later. "He has kind of an old-school cyber-libertarian world view where technology is there to set you free," Maréchal said. Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." Lastly, the web previews of t.me links have been given a new look, adding chat backgrounds and design elements from the fully-features Telegram Web client. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981.
from sg
