На этот раз специально оптимизировали под H100 и H800.
Для FP16, достигает ускорения в 1.6x-2.0x по сравнению с FA-2! Особенно большой прирост заметен, когда побольше размерность голов в аттеншен, например 128 или 256. Очередной разрыв!💥
Используют те же оптимизации что в ThunderKittens, но куда больше мелких оптимизаций, поэтому и быстрее. К этому бонусом идёт улучшенная в два раза точность аттеншна в fp8.
На этот раз специально оптимизировали под H100 и H800.
Для FP16, достигает ускорения в 1.6x-2.0x по сравнению с FA-2! Особенно большой прирост заметен, когда побольше размерность голов в аттеншен, например 128 или 256. Очередной разрыв!💥
Используют те же оптимизации что в ThunderKittens, но куда больше мелких оптимизаций, поэтому и быстрее. К этому бонусом идёт улучшенная в два раза точность аттеншна в fp8.
Recently, Durav wrote on his Telegram channel that users' right to privacy, in light of the war in Ukraine, is "sacred, now more than ever." And indeed, volatility has been a hallmark of the market environment so far in 2022, with the S&P 500 still down more than 10% for the year-to-date after first sliding into a correction last month. The CBOE Volatility Index, or VIX, has held at a lofty level of more than 30. I want a secure messaging app, should I use Telegram? The perpetrators use various names to carry out the investment scams. They may also impersonate or clone licensed capital market intermediaries by using the names, logos, credentials, websites and other details of the legitimate entities to promote the illegal schemes. The message was not authentic, with the real Zelenskiy soon denying the claim on his official Telegram channel, but the incident highlighted a major problem: disinformation quickly spreads unchecked on the encrypted app.
from de
